SE の雑記

Azure Data Factory (ADF) / Synpase Analytics / Fabric でパイプラインを作成し、アクティビティの実行時にエラーとなったことを検知する方法についてまとめておきたいと思います。

Read the rest of this entry »

ADF はデータセットとして Fabric として次のデータストアを使用することができます。

• Microsoft Fabric Lakehouse テーブル
• Microsoft Fabric Lakehouse ファイル
• Microsoft Fabric ウェアハウス

Fabric へのデータ投入は、Fabric 内のデータパイプラインだけでなく、Azure 内でパイプラインを作成することでデータの投入を行うこともできます。

Microsoft Fabric ウェアハウス (Data Warehouse) に ADF を使用してデータを投入する際に、必要となる権限についてまとめておきたいと思います。

なお、Data Warehouse へのデータ投入については「データのコピー」のアクティビティを使用しており、ステージングストレージが必要となります。

Read the rest of this entry »

Azure Data Factory の Web Activity を使用すると、パイプライン内で REST API をコールすることができます。

Azure のリソースにアクセスするのであれば、Data Factory の MSI を使用するアクティビティを作成すればよいのですが、MSI を使わない場合、どうやるのかを忘れて最初から調べなおすことがあるので、まとめておこうかと。

Azure Data Factory の MSI を使用するケースについては、次の情報を参照してください。

• Data Factory のマネージド ID

• マネージド ID (Web Activity で MSI を使用する)

今回は Data Factory の実行状況を確認するための REST API をコールしてみます。

Read the rest of this entry »

Azure Functions で関数を作成する際、作業用の環境で作成しやすいので、PowerShell で書いています。

Azure Data Factory から Azure Functions を呼び出す際には Functions 側はどのように書けばよいのかをメモとして。

Read the rest of this entry »

Azure Data Factory (ADF) で、コピーアクティビティを使用して、データの投入 (インポート) を行う場合、ポータルからシンプルに設定を行場合は、次のようにマッピングの情報を指定することになります。
(同一の構成 (同一列名) のテーブル to テーブルであれば、明示的なマッピングを設定する必要が不要なケースもあると思いますが)

このようなインポートを実行する場合に、マッピングを設定するのが面倒だったので、コピーアクティビティのマッピング情報を動的に設定してみたいと思います。

Read the rest of this entry »

Build 2019 でアナウンスの合った、Azure Data Factory (ADF) の Mapping Data Flow と Wrangling Data Flow についてメモを残しておこうかと。 Read the rest of this entry »

ADF v2 も 一般提供が開始 され、ブラウザの UI ベースでのデータ取り込みの一連の処理 (パイプライン) を記載しやすくなってきました。
(v1 と v2 の違いはこちらから。Azure Data Factory と Data Factory バージョン 1 の比較)
今まで、簡単なデータコピーしか試したことがなかったのですが、複数のアクティビティを使用したパイプラインの作成方法をまとめてみたいと思います。
アクティビティの利用方法を理解することを目的としているため、効率的なデータ取り込みについては考慮していません。
(一度の取り込みで済むものを行単位でストアドを実行したりしていますが、これは、アクティビティの利用方法を理解するために意図的に組んでいます)
ADF については、Azure Data Factory のドキュメント が公式のドキュメントとなっており、何かあったら、このドキュメントを見ることになります。
書籍については日本語のものはほとんどないと思うのですが、Hands-On Data Warehousing with Azure Data Factory という書籍が、現時点で発刊されている唯一のものではないでしょうか。
まだ途中までしか読めていないのですが、様々なデータソースを ADF で取り込む (利用する) ための基本的な操作が、ハンズオン形式で学習ができるものとなっており、操作をしながら学習したいときには、こちらの書籍の購入を検討してもよいのではないでしょうか。
Read the rest of this entry »