SE の雑記

SQL Server の情報をメインに Microsoft 製品の勉強内容を日々投稿

Ignite 2019 で SQL Server / SQL Database に関する様々なアップデートが発表されています

leave a comment

SQL Server 2019 については SQL Server 2019 が GA しました！！ でまとめていますが、それ以外にも様々な情報が公開されています。
発表内容は Microsoft Ignite 2019 や、 Book of News A complete guide to all the news for Ignite 2019 からも確認できるかと。
データベースサービスについてのアナウンスについては、次の情報から確認できます。

セッションのダウンロードスクリプトも公開されていますので、ダウンロードはこれらを利用するとよいかと。
(私はセッションリストの取得用に自分で作成したスクリプトがあったので、それを改修して使っています)

SQL Database

新しいハードウェアの追加
vCore モデルの SQL Database のハードウェア世代に

  • Fsv2 (コンピューティング最適化ハードウェア : 汎用目的で利用可能)
  • M (メモリ最適化ハードウェア : ビジネスクリティカルで利用可能)

が Preview としてリリースされています。
image
現時点では全リージョンでは使用することはできないようで、利用可能なリージョンについては制限があります。

 
SQL Database の活用
SQL Database のブレードに、データベースのデータを使用した、PowerApps / Flow への導線が、追加されています。
image
これらでは、SQL Database を使用したテンプレートが提供されていましたが、それらの作成を Azure Portal から実施できるようになったようです。

 
Stream Analytics の出力先として SQL Database 設定したジョブの作成が SQL Database のブレードに追加されています。
image
Event Hub / IoT Hub のデータを入力とした SQL Database のテーブルへのデータ取り込みを行う Stream Analytics Job の作成をシンプルな UI で設定できるようになったかと。

 
UTF-8 サポートの GA
UTF-8 対応の照合順序のサポートが GA したようです。
SQL Server 2019 と同様に「_UTF8」の照合順序を列レベルまたはデータベースレベルで設定することにより char / varchar に UTF-8 を格納できる実装となりますので、既存環境での利用は計画的に。

 
Ignite 2019 のセッションの発表も見てみましょう。
直近で追加された SQL Database のセキュリティ機能についてまとめられていました。

  • プライベートリンク
  • AlwaysEncrypted セキュアエンクレーブ
    • デモは SQL Server 2019 での実施でしたので、SQL DB としての利用はまだかと。
  • SQL Server on Azure VM の脅威検知や脆弱性評価

これらが新機能として挙げられていますね。
image
 
セキュリティでは、Azure Always Protected というプロジェクトも進んでいるようです。
imageimage
パフォーマンスのモニタリングとしては BRK3027 は必見のセッションだと思います。
Monitoring Azure SQL Database with Telegraf で紹介されているモニタリングの仕組みをはじめとして、様々な情報取得方法についての解説が行われています。
image
 
Azure 上の SQL Server ベースの環境は「Azure SQL」のブレードで管理できるようになっていますが、これについても、機能拡張は計画されているようです。
image
 
Ignite 2019 関連セッション

 

SQL Database Managed Instance

Managed Instance の仮想クラスターのアップグレードについての紹介は初めて見たかもしれません。
利用者側で設定は変更できないはずですが、ビジネスクリティカルのような、データ同期の仕組みを使用している環境では、Managed Instance でも内部的にFault Domain と Upgrade Domain の考え方があるようですね。
image
Managed Instance を使用したシステム構成も数パターン紹介されています。
imageimage
image
Managed Instance は新規環境としての利用はもちろん可能ですが、既存の SQL Server の移行先として使用されるケースも多いかと思いますので、移行に関しての基本的なパターンもチェックしておきたいですね。
imageimage
現在までのアップデートと、今後のロードマップについても発表されています。
image
現在までのアップデートで大き目な内容はインスタンスプールですかね。
インスタンスプールを使用することでプール内に複数の Managed Instance (最小 2 コア環境) を構築することができるようになりますので、複数の Managed Instance を使用する場合などはインスタンスプールの存在を覚えておくとよいかと。
image
直近の更新だけでなく、今後のロードマップも発表されました。
個人的に気になったのは次の二つですね。

  • Hyperscale service tier in SQL MI
  • Maintenance policy

imageimage
imageimage
 
Ignite 2019 関連セッション

 

SQL Database Hyperscale

ドキュメントでは確認できていないのですが、Hyperscale の最大 DB サイズが 100TB ではなく、200TB となっているスライドがいくつか紹介されています。
Inspire で 200TB のデモを実施していましたが、上限が 100TB から 200TB に緩和されているのかもしれませんね。
imageimage
Hyperscale のアーキテクチャについては BRK3028 で解説が行われています。
imageimageimageimageimageimageimage
 
Ignite 2019 関連セッション

SQL Database Serverless

SQL Database Serverless はプレビューだったものが、GAしました。
自動停止が 1 時間以上が最小ではあるのですが 1 時間以上は 10 分の間隔で調整ができるようになっています。

image
 
GA 後のロードマップについても発表がありました。
Hyperscale / 使用可能リソースの状況と合わせて、最小の自動停止期間についても、現在の 1 時間より短い期間での設定や、再開についても 1 分未満で完了させるというようなアップデートが予定されているようです。
image
Ignite 2019 関連セッション

SQL Database Edge

SQL Database Edge が Public Preview となり、ドキュメントが公開されました。
現在は承認制の Public Preview となっているため、利用するためには、SQL Database Edge 早期導入プログラムにサインアップする から申請をする必要があります。

image
SQL Database Edge は、IoT Edge にモジュールとして SQL Database Edge モジュールを追加することで利用可能となり、単体で使用するというわけではなく、IoT Edge の上で使用する形となります。
500MB より小さいフットプリントで動作させることができ、ARM64 にも対応した SQL Server のエンジンです。
機械学習については ONNX のフォーマットの学習済みモデルを PREDICT 関数 経由で使用するという方法となっているようです。
他にも AutoML / MLflow なども用語として出てきますので、次の情報を確認しておくとよさそうですね。
(MLOps についても確認しておく必要がありそうですが)

imageimage
image
 
SQL Database Edge を使用した Connected Scenario についても紹介されています。
image
 
Ignite 2019 関連セッション

Database Migration Assistant (DMA)

DMA が 5.0 となり、SQL Server 2019 を移行先としてサポートしました。
(移行元として SQL Server 2019 を指定することはできません)

 
DMA は SQL Server のマイグレーションの中心的なツールとなっていますので、どのような機能が含まれているかのキャッチアップは行っていきたいですね。
image
クエリストアも強力な機能ですので、SQL Server 2016 以降にマイグレーションを行う場合は、クエリストアを活用して、互換性レベルに対しての対応も行えると効果的かと。
SQL Server では基数指定のロジックなどもバージョンによって変わってきますので、クエリストア並びに、2017 のEnterprise Edition 以降を使用している場合は自動チューニング機能もクエリの実行効率の後退には強力な機能となります。
imageimage
image
SQL Server 2016 以降 + 最新の SQL Server を使用した場合、クエリチューニングアシスタントという機能がありますので、これによってクエリのワークロードがどのように変わるかの調査も可能となります。

imageimage
 
Data Access Migration Toolkit
.NET や Java のソースコードを解析し、移行のためのデータベースのアクセスについて評価を行う Visual Studio Code の Extension である Data Access Migration Toolkit が GA しました。

DMA 5.0 は Data Access Migration Toolkit で出力された JSON をアドホックなクエリとして入力情報として確認することができるようになっています。
Ignite 2019 関連セッション

 

Database Migration Servcie (DMS)

次のパターンについて、ハイブリッドモードという移行方法がサポートされるようになりました。

  • Azure SQL Database managed instance with near zero downtime (online).
  • Azure SQL Database single database with some downtime (offline).

ハイブリッドモードの場合、DMS を仮想ネットワーク内に作成する必要がなくなります。
移行対象を仮想ネットワーク内に認識させるのが難しい場合などは、移行元の SQL Server と DMS の両方にネットワークの疎通ができる環境に「ハイブリッドワーカー」のインストールを行い、 Windows サービス (ScenarioEngine.4.4.4595.4 (ScenarioEngineCmd.exe”)) を起動します。
これにより、ハイブリッドワーカーが DMS と移行対象の SQL Server のデータ移行のハブとなり、データベースのマイグレーションを行うことができるようになります。
(ハイブリッドワーカーが起動する HTTPS 経由で DMS とアクセスされるため、直接 TCP 1433 を外部に開いていなくてもデータの移行が可能となります。)
image
ハイブリッドモードは、DMS の作成時に指定をすることになり、現状は「米国東部」に作成した場合にハイブリッドを選択できるようになっています。
米国東部に作成した DMS から他のリージョンの SQL Database / Managed Instance にデータを移行することができますので、
image

 
ツールやサービスを活用して、効率的な移行を行うことがマイグレーションのポイントかと。
imageimage
アプリ側はマイグレーションに携わっていないので、使い勝手がわからないのですが、Migrate to Azure App Service も提供されています。
Azure Migration Program というものも提供されているようです。
 
直近であったアップデートは次のようになっているようです。
image
 
Ignite 2019 関連セッション

 

SQL Server on Azure VM

SQL Server on Azure VM で Advanced Data Security の提供が Preview で開始されたようです。
脆弱性評価 (Vulnerability Assesment) と Advanced Thread Protectoin が使えるようです。

SQL Server 2019 の場合は、次の 2 項目も追加で評価できるようで、SQL Database により近いセキュリティ対策ができるようです。

imageimage
SQL VM リソースプロバイダーについてもアナウンスされていますので、今後、SQL Server on Azure VM を利用される方は、リソースプロバイダーの存在も意識しておいていただけるとよいかと。
image
Azure Premium File Share を使用した SQL Server on Azure VM のドキュメントも公開されたようです。

image
「Premium File Share」 の「共有フォルダ型」のクラスターではなく、「Azure Shared Disks」による「共有ディスク型」のクラスターも今後の構成として出てきます。
image
 
DR 構築について SA を保有している場合は特典が使用できるようになっていますので、SA 特典の活用も新しい情報ですね。
image

 
Ignite 2019 関連セッション

Azure Synapse Analytics

新しいデータ分析サービスとして Azure Synapse Analytics が発表されました。

image
無限のスケール / パワフルな洞察 / 統一されたエクスペリエンス / 比類のないセキュリティを備えた、シンプルにいうと、SQL Data Warehouse が進化したものとなっています。
(Azure Synapse Analytics の提供開始により、SQL Data Warehouse の名称も Azure Synapse Analytics に代わっています)

image
クラウドのスケールで、End to End の分析を行うために、ビッグデータ /? データウェアハウス / データ統合を一つのサービスとして提供したものが Azure Synapse Analytics となっています。
従来まではそれぞれの用紙が独立したサービスとして提供されていました。
image
Azure Synapse Analytics では次のような統合されたサービスとして提供されます。
imageimageimage
Synapse ワークスペースという領域から SQL プール / Spark Pool が作成できるようになり、このワークスペースから、統合的な操作を行うための Synapse Studio を起動することもでるようです。
image
こちらが Synapse Studio の画面となります。
image
「Data」は、Azure Data Studio に近い、UI でデータや Azure Data Lake Storege の操作ができるようになっているようです。
SQL のスクリプトや Notebook によりデータの操作を行うことができます。
ADL に格納されているデータを参照するための SQL の作成や、Notebook の作成も UI 操作から簡単にできるようです。
imageimage
 
「Develop」は、開発用の領域tなり、クエリ / Notebook / データフロー / Spark Job / Power BI レポートを管理しておくことができるようです。
Data flows は、ADF の Maping Data Flow の UI が表示されていました。
PowerBI のレポートについても、Synapse Data Studio 上から操作ができるようです
imageimageimage
 
「Orchestrate」はパイプラインの作成となり、この部分は Azure Data Factory と同様の UI でパイプラインを作成できるようです。
image
従来の SQL Databa Warehouse は、Synapse Analytics では、Provisioned? Data Warehouse という形での提供となっており、こちらについては SQL DW ですので、すでに GA となっています。
imageimage
Serverless の部分として、On-demand Query as a Service があり、こちらについては? Preview が始まっています。
次のような機能が Serverless として使用することができるようです。

  • SQL Analytics
  • Spark Integration
  • Data Ingestion
  • Synapse Studio

機能の一覧については こちら の 「See the new features」から確認できます。
image
SQL Analytics については、 Pool と On-demand の 2 種類の利用形態を選択できるようです。
Data Lake に蓄積されたデータを直接検索するための On-demand という利用方法が可能となるようです。
(この利用方法が、Serverless の Query as a Service なのかなと)
imageimageimageimage
次のような、OPENROWSET を使用して、ADL に格納されているファイルに対してのクエリ実行 (または、Notebook による分析) を行い、外部テーブル (External Table / Spark SQL) を活用しながら Data Lake 上のデータ分析を行うものが、On-demand シナリオとなるようです。
imageimage
従来型の SQL DW としての機能 (Provisioned の SQL) も新しいものが提供されているようです。
image
SQL DW のパフォーマンスの最適化については DATA50 が参考になります。
すっかり忘れていたのですが、クエリストア、SQL DW でも使えるようになっていましたね。

image
 
Ignite 2019 関連セッション

 

Azure Arc

Azure Arc が新しいサービスとして公開されました。

現時点では次のようなリソースをしようすることができるようになっています。

  • Azure Arc for Servers
  • Azure Arc for Kubernetes
  • Azure data services on Azure Arc

image
 
Database に関連する機能については、許可制のプレビューでの利用となっています。
現時点では、Data Service として、次の 2 種類が提供されます。
(今後の計画としては、さらに多くの Data Servcie が追加される予定のようです)
image

  • Azure SQL Database MI – Azure Arc
  • Azure Database for PostgreSQL – Azure Arc
    • PostgreSQL は Hyperscale (Citus) を提供

デモの中で表示されていたバージョン情報が以下の画像になるのですが、Arc 上で稼働している Managed Instance として認識されていることが確認できますね。
Kubernetes 上で動作する SQL Server のため、SQL Server on Linux ベースとなっているようです。
(Version については、SQL Server 2019 RTM のバージョンとなっているようです)
imageimage
Kuberntes クラスター上に Azure データサービスを展開でき、実行場所を問わず Azure データサービスを展開することができ、ポリシーの管理やデータのレプリケーションを Azure Arc で統合的に管理できるようになるようです。
「Azure data services anywhere」がキーワードとなっており、Azure のデータサービスを Kubernetes が動作する環境であれば、場所を選ばずどこででも実行できるようになります。
imageimageimage
 
Arc for servers については、ブリックプレビューのようでこちらは申請をしないでもポータルに追加されているかと。
 
Arc の特徴としては、Azure の管理の中 (シングルコントロールプレーン) で、Azure のリソースと、Arc により展開したリソースの管理を行うことができるということも挙げられています。
imageimageimageimage
SQL Server 2019 の Big Data Cluster も Kubernetes 上に構築されており、Kubernetes の学習は避けられなさそうですね。
Microsoft が提供している Kubernetes の学習用コンテンツとしては次のようなものがありますので、ファーストステップにはこれらを利用することもよさそうですね。

 
Ignite 2019 関連セッション

Azure Data Factory

Wrangling Data Flow がパブリックプレビューとなりました。
imageimage

Maping Data FlowMaping Data Flow / Wrangling Data FlowWrangling Data Flow が使用できるようになることで、ADF の機能だけである程度の変換を伴う ETL / ELT を作成することができるようになったのではないでしょうか。
ADF のロードマップについても紹介されています。
ADF は最新の情報があまり追えていないので、時間を見てキャッチアップしたいですね。
今後のロードマップの SQL Agent to ADF via PowerShell はちょっと気になります。
imageimageimage
Ignite 2019 関連セッション

 

Azure Data Share

外部の Azure のサブスクリプションにデータを公開 (共有) することができる Data Share が GA し、SQL Database / SQL Data Warehouse のデータ共有が Public Preview となったようです。
(今までは SQL Database 向けのデータ共有は Private Preview でした)

imageimage
SQL Database / SQL Data Warehouse 内のデータをスナップショットとして Shata Share 経由で Azure の他のサブスクリプションに対して共有することが可能となります。
imageimage
 
Ignite 2019 関連セッション

Azure Functions

SQL Server / Database の管理者は PowerShell で、データベースの操作する機会が多いのではないと思うのですが、Azure Functions の PowerShell が GA しました。
これで管理がはかどりますね。

Share

Written by Masayuki.Ozawa

11月 5th, 2019 at 12:59 am

Posted in SQL Server

Tagged with

«
»

Leave a Reply