SE の雑記

SQL Server の情報をメインに Microsoft 製品の勉強内容を日々投稿

Azure Purview で Google BigQuery をスキャンするときにサポートされるデータセットのロケーションについて

leave a comment

Azure Purview では、Azure Purview で Google BigQuery プロジェクトに接続して管理する (プレビュー) で解説が行われているように、Google BigQuery 上のデータセットについても、Purview のスキャン対象とすることができます。

BigQuery のスキャンについては、セルフホステッド統合ランタイム (SHIR) 経由で実施する必要があるため、PaaS だけでは完結がしないのですが、SHIR をインストールした環境に、BigQuery 用の JDBC ドライバーを設定することで、BigQuery のスキャンが可能となります。

BigQuery ではデータセット単位に、データセットを配置する場所 (Location) を指定する必要があり、データセットのロケーション で解説が行われています。

以下のデータセットであれば US に配置されていることになります。

image

今年になってドキュメントに追記が行われたようなのですが、Purview で BigQuery をスキャンする場合、現時点では BigQuery のデータセットのロケーションについては、US が設定されている必要があり、それ以外のロケーションに設定されているデータセットについては、Purview でスキャンすることができません。

現在 Purview は、米国の複数地域の場所にある Google BigQuery データセットのスキャンのみをサポートしています。 指定されたデータセットが us-east1 や EU などの別の場所にある場合、スキャンは完了しますが、資産は Purview に表示されません。

BigQuery は東京 (asia-northeast1) にデータセットを作成することができるのですが、残念ながら、現時点では、東京に作成されたデータセットは、Purview で認識することができないという状況になっています。(データセットが見つからないというような状態となります)

昨年、この動作について、SR で確認をしていて、その中でドキュメントへの追記の検討や、データセットのロケーションを指定できる or 全ロケーションを対象とするような改善要望の提案なども、ご対応いただいていたので、もしかしたらそのうち改善がされるかもしれません。

現時点では、US 以外のロケーションにあるデータセットについては、US にコピーを行わないと Purview のスキャン対象とすることはできないようです。

Share

Written by Masayuki.Ozawa

1月 24th, 2022 at 8:32 am

Posted in Azure Purview

Tagged with

Leave a Reply