SE の雑記

SQL Server の情報をメインに Microsoft 製品の勉強内容を日々投稿

Archive for the ‘Data Factory’ Category

パイプラインによるデータコピーで ADL Gen2 をステージングアカウントとして使用した場合にディレクトリが残る問題についての対応方法

leave a comment

Data Factory のコピーアクティビティーを使用したデータコピーでは、ステージングコピー を使用することができます。ステージングは、DWH に対してデータコピーを行う際に使用されるケースがあるのではないでしょうか。

ステージング コピーのしくみ には次の記載があります。

コピー アクティビティの実行後に一時データをクリーンアップできるように、ステージング ストレージ内の Azure Data Factory に削除アクセス許可を付与する必要があります。

コピーアクティビティにより格納されたステージングデータですがアクティビティ内のクリーンアップで自動的に削除が行われます。

しかし、Azure BLOB ストレージを使用している場合は問題ないのですが、ADL Gen2 をステージングアカウントとして使用した場合、コピーアクティビティが実行されるたびに、指定したステージングデータを格納するコンテナー内にファイルは存在しないのですが、GUID のディレクトリが残った状態となるという事象が発生します。

image

本事象ですが、ADL Gen2 をステージングアカウントととして指定した場合に必ず発生するわけではなく、コピー先によって発生有無が変わってくるようです。今回は、Fabric の Data Warehouse に対してデータのコピーを実施する際に発生しましたが、Synapse DWH でも発生するはずです。

この動作は現時点では想定された動作となり (SR で確認済み) 、ディレクトリの削除をパイプライン内で実行するためには本投稿のような対応を検討する必要がありますので、対応方法を残しておきたいと思います。

Read the rest of this entry »

Written by Masayuki.Ozawa

6月 13th, 2024 at 7:23 pm

Synapse Analytics のパイプライン / トリガーの実行状況の取得

leave a comment

Synapse Analytics は Azure Data Factory のようなパイプラインの実行機能を持っており、クラウドベースの ETL の実行を行うことができます。

Synapse Analytics と Data Factory のパイプラインの違いについては、Data integration in Azure Synapse Analytics versus Azure Data Factory に記載されており、いくつかの違いがあります。

image

Monitoring についても機能差があり、Synapse のパイプラインは Azure Monitor に統合が行われていません。
これにより、現時点では、パイプライン (またはトリガー) の実行状況の取得方法が、Data Factory とは異なります。

また、Azure Monitor と統合がされていないことにより、診断設定の利用可否も変わってくるかと思います。

Read the rest of this entry »

Written by Masayuki.Ozawa

12月 29th, 2020 at 10:41 pm

Azure Data Factory の Private Link 対応が GA したので試してみる

leave a comment

Azure Data Factory での Azure Private Link のサポートの提供が開始されました がアナウンスされていますが、Azure Data Factory (ADF) が Private Link をサポートしました。

詳細については、Azure Data Factory 用の Azure Private Link で公開されていますが、何ができるのかいまいちわかっていなかったので試してみました。

デフォルトの Azure 統合ランタイム (Azure IR) ではなく、Self-Hosted Integration Runtime (SHIR) を使用する場合に、通信を Private Endpoint 経由にするために使用するものなんでしょうかね。

データ周りを Private Link 経由にする方法もいろいろと調査しないと。

Read the rest of this entry »

Written by Masayuki.Ozawa

9月 16th, 2020 at 6:22 pm

Posted in Data Factory

Tagged with

Data Factory の任意のアクティビティで Key Vault の情報を使用するためにシークレットから情報を取得

leave a comment

Azure Key Vault への資格情報の格納 で解説されていますが、Azure Data Factory (ADF) では、Linked Service を設定する際にパスワードの情報を Key Vault のシークレットから取得することができます。
image

Key Vault のコンテナーに対して、ADF の Managed Identity (マネージド ID) 権限を付与しておくことで、Linked Service としてリンクした Key Vault からシークレットから情報を取得して、Linked Service 内の設定で使用することができます。

これにより、Linked Service でパスワードを入力する必要がなくなり、パスワード変更が発生した場合も Key Vault の情報を変更することで対応ができるようになる等、いくつかのメリットを享受することができます。

Linked Service の情報を設定する際だけでなく、パイプライン内で Key Vault から情報を取得することができるかを試してみたので、メモとして。

今回はサブスクリプション ID を Key Vault のシークレットから取得しているのですが、この程度の情報であれば、パイプライン実行時のパラメーターで指定してもよいと思いますが。

Read the rest of this entry »

Written by Masayuki.Ozawa

7月 8th, 2020 at 7:49 pm

Posted in Data Factory

Tagged with