SE の雑記

SQL Server の情報をメインに Microsoft 製品の勉強内容を日々投稿

Archive for the ‘Azure Purview’ Category

Azure Purview で Google BigQuery をスキャンするときにサポートされるデータセットのロケーションについて

leave a comment

Azure Purview では、Azure Purview で Google BigQuery プロジェクトに接続して管理する (プレビュー) で解説が行われているように、Google BigQuery 上のデータセットについても、Purview のスキャン対象とすることができます。

BigQuery のスキャンについては、セルフホステッド統合ランタイム (SHIR) 経由で実施する必要があるため、PaaS だけでは完結がしないのですが、SHIR をインストールした環境に、BigQuery 用の JDBC ドライバーを設定することで、BigQuery のスキャンが可能となります。

BigQuery ではデータセット単位に、データセットを配置する場所 (Location) を指定する必要があり、データセットのロケーション で解説が行われています。

以下のデータセットであれば US に配置されていることになります。

image

今年になってドキュメントに追記が行われたようなのですが、Purview で BigQuery をスキャンする場合、現時点では BigQuery のデータセットのロケーションについては、US が設定されている必要があり、それ以外のロケーションに設定されているデータセットについては、Purview でスキャンすることができません。

現在 Purview は、米国の複数地域の場所にある Google BigQuery データセットのスキャンのみをサポートしています。 指定されたデータセットが us-east1 や EU などの別の場所にある場合、スキャンは完了しますが、資産は Purview に表示されません。

BigQuery は東京 (asia-northeast1) にデータセットを作成することができるのですが、残念ながら、現時点では、東京に作成されたデータセットは、Purview で認識することができないという状況になっています。(データセットが見つからないというような状態となります)

昨年、この動作について、SR で確認をしていて、その中でドキュメントへの追記の検討や、データセットのロケーションを指定できる or 全ロケーションを対象とするような改善要望の提案なども、ご対応いただいていたので、もしかしたらそのうち改善がされるかもしれません。

現時点では、US 以外のロケーションにあるデータセットについては、US にコピーを行わないと Purview のスキャン対象とすることはできないようです。

Written by Masayuki.Ozawa

1月 24th, 2022 at 8:32 am

Posted in Azure Purview

Tagged with

Azure Purview のパブリックネットワークアクセスを拒否した際の挙動について

leave a comment

Azure Purview では、「ネットワーク」の設定に「パブリックネットワークアクセスを拒否 (Deny Public Network Access)」という設定があります。

image

デフォルトでは「許可」となっており、初期状態であれば、Purview へのアクセス / Purview からのデータ収集 (インジェスト) を阻害する要因はないのですが、この設定を「拒否」にすると、様々なネットワークアクセスに影響が出てきます。

本投稿では、パブリックネットワークアクセスを「拒否」にした場合の挙動についてまとめておきたいと思います。

Read the rest of this entry »

Written by Masayuki.Ozawa

12月 15th, 2021 at 2:16 pm

Posted in Azure Purview

Tagged with

Azure Purview を触ってみる

leave a comment

データと分析によって未来を形作る で発表された Azure Purview (Preview) を触れていなかったので、軽くですが使ってみました。

Azure Purview を活用することで、企業が保有しているデータを自動的に検出 / 分類 / データ系列の付与を行うことができ、企業が保有しているデータ項目の管理と検索性の向上をすることができるようになります。

2021/1 時点では、データソースは Azure 上のデータサービスと Power BI を設定することができ、それ以外のデータサービスに格納されているデータをデータ資産 (アセット) として登録することはできません。
(Azure Data Factory や、Power BI のデータセットとして、上記以外をデータソースとして使用している場合、系列として、データの取り込みのフローを確認することはできます)

Purview により、これらのデータソースに格納されている (または、データソースこれから格納する) データ資産による、データカタログを作成することが容易にできるようになります。

Azure Purview は現在プレビュー中のサービスであり、フィードバックについては Azure Purview で受け付けていますので、使用していて気になった点などは、こちらからフィードバックすると良いかと。

すでに、かなりの数のフィードバックがありますので、ほかの方がどのような観点で Purview を検証しているかの参考にもなるかと思います。

Read the rest of this entry »

Written by Masayuki.Ozawa

12月 30th, 2020 at 5:29 pm

Posted in Azure Purview

Tagged with