SE の雑記

SQL Server の情報をメインに Microsoft 製品の勉強内容を日々投稿

Archive for the ‘Fabric Data Warehouse’ Category

ADF を使用して Fabric Data Warehouse にデータを投入する際に必要となる権限

leave a comment

ADF はデータセットとして Fabric として次のデータストアを使用することができます。

  • Microsoft Fabric Lakehouse テーブル
  • Microsoft Fabric Lakehouse ファイル
  • Microsoft Fabric ウェアハウス

image

Fabric へのデータ投入は、Fabric 内のデータパイプラインだけでなく、Azure 内でパイプラインを作成することでデータの投入を行うこともできます。

Microsoft Fabric ウェアハウス (Data Warehouse) に ADF を使用してデータを投入する際に、必要となる権限についてまとめておきたいと思います。

なお、Data Warehouse へのデータ投入については「データのコピー」のアクティビティを使用しており、ステージングストレージが必要となります。

Read the rest of this entry »

Written by Masayuki.Ozawa

5月 6th, 2024 at 8:10 pm

Microsoft Fabric の Synapse Data Warehouse の特性を把握するためのドキュメント

leave a comment

Microsoft Fabric の Synapse Data Warehouse は、OneLake に対して T-SQL のエンドポイントを提供し、T-SQL による既存データの参照 (SELECT) だけでなく、テーブルの作成 (CREATE TABLE) / 更新系 (INSERT / DELETE / UPDATE) を可能とする機能となっています。

Synase Analytics の Dedicated SQL Pool と Serverless SQL Pool と近しい機能がいくつか実装されています。(Data Warehouse に対してエラーが発生した際に「Synapse SQL」というメッセージが返ってくることがあるため、Data Warehouse でも Synapse の Serverless SQL プールの分散クエリのアーキテクチャは採用されているかと思いますが)

大きな変更点として実データを格納するデータストアとして、SQL Server ベースのデータベースではなく、Delta Lake が採用されているという点があるのではないでしょうか。

厳密には SQL Server のクエリエンジンを使用するため SQL Server ベースのデータベース相当のものも一部存在しているとは思いますが。

Fabric の Data Warehouse の特性を把握するために、一読しておく必要があるドキュメントとしてはどのようなものがあるかをまとめておきたい思います。

Read the rest of this entry »

Written by Masayuki.Ozawa

4月 26th, 2024 at 8:41 am