SE の雑記

SQL Server の情報をメインに Microsoft 製品の勉強内容を日々投稿

Build 2023 で個人的に気になった内容

one comment

Build 2023 が開催され、様々な情報が公開されました。

自分がかかわる範囲では、新しいデータプラットフォームとなる Microsoft Fabric が大きなアナウンスとなっていますが、気になった内容を追えるようにまとめておきたいと思います。

全体的なアナウンス

全体的なアナウンスについては、今回も Book of News が公開されていますので、そちらを確認するとよいかと思います。

 

Keynote はこちらから。

Keynote ではないのですが、Microsoft Fabric の全体像に関しては、Data analytics for the era of AI を確認しておくとよいかと思いました。

 

ブログ / アナウンス

Build のようなイベントが開催されると、様々な機能のブログが公開されますが、次の URL から直近で公開された投稿を確認することができます。

 

各領域のアナウンスについては、こちらから確認することができます。

 

Build 2023 Session

Data / AI については、どのようなセッションがあるかを紹介した記事がありましたのでこれを確認するとよいかもしれません。

Data Platform セッションについては このようなセッション があります。

Microsoft Fabric Launch Event | May 24-25 として、Build 内でローンチイベントのセッションがいくつか実施されています。

 

Azure SQL Database

 

Data Factory

 

Microsoft Fabric

 

Microosft Fabric Launch Digital Event

 

Microsoft Fabric

https://twitter.com/Azure_Synapse/status/1661025442122588164

 

Microsoft Fabric についての全体的なアナウンス

 

新しいデータ分析基盤となる Microsoft Fabric のアナウンスが Data Platform 関連としては大きな比重を占めていました。

Microsoft Fabric は組織で必要となるデータ / 分析ツールを一つにまとめた End to End の SaaS の統合分析プラットフォームとなります。Synapse Analytics や Microsoft Inteligent Data Platform が目指したデータ統合を、新しいプラットフォームとして単一のファブリックとして再構築して実現したものとなるのではないでしょうか。

Microsoft Fabric としては 4 つの原則があります、この観点でプロダクトが SaaS として構成されていると考えるとよいのではないでしょうか。

  • Complete Analytics Platform
    • Everything, Unified / SaaS-ified / Secured and governed
  • Lake Centric and Open
    • OneLake / One copy / Open at every tier
  • Empower Every Business User
    • Familar and intuitive / Built into Microsoft 365 / Insight to action
  • AI Powered
    • Copilot accelerated / GTP on your data / AI-driven insights

 

統合プラットフォームとして次の機能が統合されており、Microsoft Fabric が有効になった Power BI ワークスペースから各機能をシームレスに利用することができます。

  • OneLake
  • Power BI
  • Data Factory
  • Synapse Data Engineering
    • テーブルが Spark によって管理されているデータベース
  • Synapse Data Science
  • Synapse Data Warehouse
    • テーブルが SQL トランザクションシステムによって管理されているデータベース
  • Synapse Time Analytics
  • Data Activator (近日公開)

従来の Synapse Analytics では、Dedicated SQL Pool / Serverless SQL Pool / Spark Pool/ SynapseML / Synapse Data Explorer がありましたが、Microsoft Fabric の機能と対応させると次のようになるのかと。

  • Spark Pool : Synapse Data Engineering
  • SynapseML : Synapce Data Science
  • Serverless SQL Pool : Synapse Data Warehouse
  • Synapse Data Explorer : Synapse Time Analytics
  • Dedicated SQL Pool : 該当サービスなし

Microsoft Fabric では OneLake として、単一の Data Lake に各サービスで使用するデータを格納することでデータのサイロ化を防ぎ、外部のデータに関しては、OneLake に Data Factory で取り込むか、ADSL Gen2 / Amazon S3 / Google Storage (近日追加) のデータをショートカットとして、参照させることで活用できるデータを増やします。

OneLake 内に取り込んでいるデータについては Delta フォーマットを各機能で使用するデータの共通フォーマットとして格納されており、Microsoft Fabric の各機能から同一のデータを活用することができるようになっています。

従来型の RDBMS のデータでは取り込みは行われないため Dedicated SQL Pool 相当の機能はなくなっています。(Synapse Data Warehouse で Delta Lake に対して SELECT 以外の DML が実行できるようになっているため、細かなデータ修正については Synapse Data Warehouse の機能で対応できます)

Data Engineerging (Lake House) と Data Warehouse の使い分けについては、Microsoft Fabric decision guide: data warehouse or lakehouse が参考になるかと。

 

Synapse Analytics の場合は各サービス (機能) 毎にコストが発生しましたが、Microsoft Fabric では、すべてのワークロードを提供する単一のプールとして購入することができ、シンプルなコスト体系で利用をすることができるようです。

セキュリティについては、OneLake でのデータのセキュリティ保護の概要 が現在公開されている情報となりますが、アナウンス では次の記載がありますのでセキュリティモデルについては今後も改善が行われるようです。(基本コンセプトとしては One Security)

Managing data security (table, column, and row levels) across different data engines can be a persistent nightmare for customers. Fabric will provide a universal security model that is managed in OneLake, and all engines enforce it uniformly as they process queries and jobs. This model is coming soon.

 

Microsoft Fabric は、Power BI 管理ポータルから有効にすることができ、管理者が設定を変更しない限りは、2023/7/1 以降は、すべての Power BI テナントで Microsoft Fabric が有効 になるとのことです。

現状 60 日の Public Preview として各種機能を使用することができ、一部の機能については、Private Preview となっています。
image

 

Microsoft Fabric 製品ページ

 

Microsoft Fabric のセッション

Launch Digital Event

Build 2023

 

Microsoft Fabric Document

管理

 

各ロール向けのドキュメント

 

チュートリアル

 

First Step

Microosft Learn

 

Microsoft Fabric Blog / Power BI BLog

Microsoft Fabric Blog

2023/5/23

2023/5/24

2023/5/25

 

Power BI Blog

 

動画

 

Tools

  • Synapse VS Code
    • Visual Studio Code の拡張機能となり、Microsoft Fabric のデータ操作を Visual Studio Code から実行することができるようになります。
    • 私が試した際には、Visual Studio Code の Extension に表示されたものはインストールできなかったため、vsix をダウンロードして直接インストールしました。
  • Microsoft OneLake file explorer for Windows
    • OneLake を OneDrive のように、エクスプローラーから操作することができるようになります。
    • プログラムの追加と削除からはアンインストールできなかったので、アンインストールする際には「get-appxpackage -Name "*OneLake*" | Remove-AppxPackage」を実行しました。
  • Introducing GitHub Copilot for Azure Data Studio
    • Azure Data Studio で Github Copilot Extension を使用することができるようになりました。
    • 1.44.0 以降の Stable 版で Extension に表示されるようになります。
  • Announcing Azure Data Studio 1.44
    • ADS 1.44 自体についてのアナウンスも行われています。
  • Always Encrypted Wizard now supports secure enclaves and in-place encryption
    • SSMS 19.1 がリリースされ、Always Encripted のウィザードで Secure Enclaves のインプレース暗号化がサポートされたようです。
      • 19.1 から 脆弱性評価アセスメントが削除されているようでした。

 

Power BI

  • Direct Lake (PREVIEW)
    • OneLake へのデータアクセスに使用することができる Direct Lake モードについての解説となります。
      • 現状、Lakehouse へのクエリが Public Preview となっており、Warehouse への Direct Lake については Private Preview となっているようです。
    • OneLake を直接参照するという方式ですが、DirectQuery と異なりエンジンの変換等のコストは無いため、効率的にデータに対してのアクセスが可能となります。

まだ、詳細な情報は出ていないよう見えますが、Power BI Developer Mode による Git 統合についても、Microsoft Fabric でレポートを作成する際に重要な機能となってくるかと思います。

 

Azure SQL Database Updates

Hyperscale の Elastic Pool サポート

Hyperscale で Elastic Pool のサポートが開始されました。プールあたり最大 25 データベース / 合計 100TB のデータベースを作成することができるようになります。

 

Managed Instance Update

Managed Instance で Ledger テーブルのサポートがプレビューで開始されました。Ledger overview も 対象として Managed Instance が含まれるようになりました。

フェールオーバーグループのライセンスフリースタンバイのプレビューがとれ、一般提供開始となりました。

 

SQL Binding for Azure Functions

入力 / 出力バインドとして、Azure SQL を指定した Functions の一般提供開始されました。(SQL トリガーについては、まだプレビュー)
PowerShell でも実装ができるのでどこかで試してみなければ。

 

Oracle Migration

Oracle Migration のためのツールについてのアナウンスがいくつか発表されました。

Introducing assessment tooling for Oracle database migration to Azure SQL and PostgreSQL- Preview

 

基本的には Azure Data Studio の Extension だと思うのですが、機能の中でどの部分が GA  / Preview なのかが判断できておらず。

 

Synapse Link

Synapse Link for Cosmos DB で Spark Pool を使用して Time-Travel のアクセスが可能となったようです。(Analytica Store、Delta Lake なんですかね)

アクセス方法についてはまだ公開されていなさそうですが、What is Azure Synapse Link for Azure Cosmos DB? がそのうち更新されるのではないでしょうか。

 

Power Platform

Power Apps / Power Automate / Logic Apps で、Azure Database for MySQL – Flexible Server に接続するためのコネクターが一般提供開始となりました。

 

Native JSON Type Support Private Preview

SQL Database で、データ型としてネイティブな JSON 型の提供が Private Preview で開始されました。

 

Azure Updates (SQL Database 以外で気になったもの)

 

AI Updates

 

Windows 11 Updates

開発環境周りでいくつかの発表がありましたので、Set up your development environment on Windows 内のドキュメントを確認しておきたいですね。

Share

Written by Masayuki.Ozawa

5月 24th, 2023 at 1:04 am

Posted in Build　2023

Tagged with

«
»

One Response to 'Build 2023 で個人的に気になった内容'

Subscribe to comments with RSS or TrackBack to 'Build 2023 で個人的に気になった内容'.

  1. […] Build 2023 で個人的に気になった内容 at SE の雑記 (engineer-memo.com) […]

    Microsoft Build 2023 Opening Session - メモログ

    27 5月 23 at 02:58

Leave a Reply