SE の雑記

Microsoft Fabric の Synapse Data Warehouse は、OneLake に対して T-SQL のエンドポイントを提供し、T-SQL による既存データの参照 (SELECT) だけでなく、テーブルの作成 (CREATE TABLE) / 更新系 (INSERT / DELETE / UPDATE) を可能とする機能となっています。

Synase Analytics の Dedicated SQL Pool と Serverless SQL Pool と近しい機能がいくつか実装されています。(Data Warehouse に対してエラーが発生した際に「Synapse SQL」というメッセージが返ってくることがあるため、Data Warehouse でも Synapse の Serverless SQL プールの分散クエリのアーキテクチャは採用されているかと思いますが)

大きな変更点として実データを格納するデータストアとして、SQL Server ベースのデータベースではなく、Delta Lake が採用されているという点があるのではないでしょうか。

厳密には SQL Server のクエリエンジンを使用するため SQL Server ベースのデータベース相当のものも一部存在しているとは思いますが。

Fabric の Data Warehouse の特性を把握するために、一読しておく必要があるドキュメントとしてはどのようなものがあるかをまとめておきたい思います。

Read the rest of this entry »

Fabric が Public Preview でリリースされた当初は、Warehouse に対しての変更の Delta Lake ログの発行は「Insert Only」となっていました。

そのため Microsoft Fabric のウェアハウスの Delta Lake ログ には次の制限が記載されていました。

Currently, tables with inserts only are supported.

現在、挿入のみを含むテーブルはサポートされています。

Warehouse に対して Insert を実行した場合は、Lakehouse で Warehouse のショートカットとして追加している Warehouse の結果に対しても反映が行われていましたが、Update / Delete を Warehouse に実行した場合、同期が停止されるという動作となっていました。

これにより、Warehouse で Insert 以外の変更を実行すると、以降は Lakehouse で検索を行っても期待した結果が返ってきませんでした。

最近、Fabric を触る機会があったので、このあたりの動作が今はどうなっているのか確認してみたところ、現状、この制限が解消されていたようでした。

ドキュメントの更新履歴を確認したところ 20231025 Kevin Conan – Removed insert only limitation for Delta Log Publishing で Insert のみ、同期がサポートされるという制限は撤廃されていたようです。

実際に今の Fabirc の Warehouse に対して Insert 以外の変更を実施すると Lakehouse に変更が反映されていました。

本日、Microsoft Fabric の Mirroing Databases の機能が Public Preview で提供されました。

• Announcing the Public Preview of Mirroring in Microsoft Fabric
• Public Preview: Azure SQL Database Mirroring in Microsoft Fabric

Mirroring については、What is Mirroring in Fabric? のドキュメントツリーから確認することができます。

Mirroring は SQL Database だけでなく Cosmos DB / Snowflake からも同期することができ、面白そうな機能ですね。

• Mirroring Azure SQL Database (Preview)
• Mirroring Azure Cosmos DB (Preview)
• Mirroring Snowflake (Preview)

基本的な内容についてはドキュメントを確認すれば把握できますが、SQL Database からの連携について、実際に設定しながら試してみて気づいた内容を残しておきたいと思います。

Read the rest of this entry »

Build 2023 で発表されていますが、Power BI / Microsoft Fabric のレポート開発において Git 統合 / 開発者モードが提供されます。

アナウンスについては Introducing git integration in Microsoft Fabric for seamless source control の Git integration and Power BI Desktop ‘Developer Mode’ となるのではないでしょうか。

Power BI のレポート作成を行う際に、従来までの Power BI ファイル (pbix) では 1 ファイルで管理されるため (pbix は zip 圧縮されたファイルのため、実際には複数のファイルで構成はされているのですが) 、ファイルをソース管理で管理するには効率が悪い点があったかと思います。

今回から導入される Git 統合 / 開発者モードでは、Power BI のレポートを作成する際に Power BI プロジェクト (pbip) や Power BI レポート (pbir) というようなファイルを使用して、レポートの構成要素に応じた複数のファイルで管理されるようになります。

この機能についてどの情報を確認すればよいかが、公開されている情報が増えてきたので、内容をまとめておきたいと思います。

Read the rest of this entry »