SE の雑記

SQL Server の情報をメインに Microsoft 製品の勉強内容を日々投稿

Archive for the ‘Azure Data Factory’ Category

Azure Data Factory の Web Activity で REST API をコールする (MSI を使用しないケース)

leave a comment

Azure Data Factory の Web Activity を使用すると、パイプライン内で REST API をコールすることができます。

image

Azure のリソースにアクセスするのであれば、Data Factory の MSI を使用するアクティビティを作成すればよいのですが、MSI を使わない場合、どうやるのかを忘れて最初から調べなおすことがあるので、まとめておこうかと。

Azure Data Factory の MSI を使用するケースについては、次の情報を参照してください。

今回は Data Factory の実行状況を確認するための REST API をコールしてみます。

Read the rest of this entry »

Written by Masayuki.Ozawa

9月 10th, 2020 at 8:37 pm

Posted in Azure Data Factory

Tagged with

Azure Data Factory から Azure Functions (PowerShell) を実行する

leave a comment

Azure Functions で関数を作成する際、作業用の環境で作成しやすいので、PowerShell で書いています。

Azure Data Factory から Azure Functions を呼び出す際には Functions 側はどのように書けばよいのかをメモとして。

Read the rest of this entry »

Written by Masayuki.Ozawa

6月 17th, 2020 at 8:38 pm

Posted in Azure Data Factory

Tagged with

Azure Data Factory でテーブルの定義に合わせて動的にコピーアクティビティのマッピングを設定する

leave a comment

Azure Data Factory (ADF) で、コピーアクティビティを使用して、データの投入 (インポート) を行う場合、ポータルからシンプルに設定を行場合は、次のようにマッピングの情報を指定することになります。
(同一の構成 (同一列名) のテーブル to テーブルであれば、明示的なマッピングを設定する必要が不要なケースもあると思いますが)

image

このようなインポートを実行する場合に、マッピングを設定するのが面倒だったので、コピーアクティビティのマッピング情報を動的に設定してみたいと思います。

Read the rest of this entry »

Written by Masayuki.Ozawa

5月 17th, 2020 at 4:22 pm

Posted in Azure Data Factory

Tagged with

Azure Data Factory の Mapping Data Flow と Wrangling Data Flow について

leave a comment

Build 2019 でアナウンスの合った、Azure Data Factory (ADF) の Mapping Data Flow と Wrangling Data Flow についてメモを残しておこうかと。 Read the rest of this entry »

Written by Masayuki.Ozawa

5月 15th, 2019 at 11:25 pm

Posted in Azure Data Factory

Tagged with

ADF v2 の基本的なパイプラインの構築方法

leave a comment

ADF v2 も 一般提供が開始 され、ブラウザの UI ベースでのデータ取り込みの一連の処理 (パイプライン) を記載しやすくなってきました。
(v1 と v2 の違いはこちらから。Azure Data Factory と Data Factory バージョン 1 の比較)
今まで、簡単なデータコピーしか試したことがなかったのですが、複数のアクティビティを使用したパイプラインの作成方法をまとめてみたいと思います。
アクティビティの利用方法を理解することを目的としているため、効率的なデータ取り込みについては考慮していません。
(一度の取り込みで済むものを行単位でストアドを実行したりしていますが、これは、アクティビティの利用方法を理解するために意図的に組んでいます)
ADF については、Azure Data Factory のドキュメント が公式のドキュメントとなっており、何かあったら、このドキュメントを見ることになります。
書籍については日本語のものはほとんどないと思うのですが、Hands-On Data Warehousing with Azure Data Factory という書籍が、現時点で発刊されている唯一のものではないでしょうか。
まだ途中までしか読めていないのですが、様々なデータソースを ADF で取り込む (利用する) ための基本的な操作が、ハンズオン形式で学習ができるものとなっており、操作をしながら学習したいときには、こちらの書籍の購入を検討してもよいのではないでしょうか。
Read the rest of this entry »

Written by Masayuki.Ozawa

7月 25th, 2018 at 5:39 pm