SQL Server 2022 については、Ignite 2021 で SQL Server 2022 がアナウンスされました で公開されている内容をまとめました。
SQL Server 関連の情報については、これ以外にも多数のアップデートがありましたので、どのような内容が発表されたのかをまとめておきたいと思います。
Azure 関連のアップデートについては、https://azure.microsoft.com/en-us/updates/ からも項目単位で情報を確認することができるかと。
Contents
全体アナウンス
- Ignite 2021 Book of News
- Transform your business with Microsoft’s unrivaled end-to-end data platform
Ignite 2021 ではないのですが、PASS DATA Community SUMMIT 2021 で、デモベースで様々な最新機能の紹介が行われている Azure SQL Demo Fest のセッションがありましたので、こちらの情報も見ておくとよさそうです。
Demo Fest の最後には、Ignite でリリースされた機能の一覧が発表されていましたので、全体をつかむのにも適しているのではないでしょうか。
Azure SQL Database
更新情報
- What’s new in Azure SQL Database?
- Azure SQL—general availability updates for early November 2021
- Azure SQL: Public preview updates for early November 2021
Azure AD 専用認証の一般提供開始
Azure SQL Database (Single Database) については、新しい機能の発表はなかったようですが、Azure AD-only authentication with Azure SQL が SQL Database と MI の両環境で一般提供が開始されました。
これにより、SQL 認証を禁止し、AAD のユーザー (マネージド ID 含む) を使用した認証のみを許可した SQL Database / Managed Instance を作成することができるようになります。
Azure SQL Managed Instance
更新情報
- What’s new in Azure SQL Managed Instance?
- Mission-critical app modernization made easy with Azure SQL Managed Instance
- Azure SQL Managed Instance Business Critical 16 TB is now in limited public preview
- Use case scenarios for the new SQL Managed Instance Hardware Offerings
- Announcing the new premium-series hardware for SQL Managed Instance
- Azure SQL Managed Instance supports mobility across the subnets
- Harden your Azure SQL Managed Instance workloads against data exfiltration
- Make Your Azure SQL Managed Instance Passwordless
- Distributed transactions available now for Azure SQL Managed Instance
- Linked Servers Azure AD authentication available now for Azure SQL Managed Instance
- Managed Instance link – connecting SQL Server to Azure reimagined
MI は多数のアップデートが発表されていて追うのがちょっとしんどいです。
Azure AD 専用認証の一般提供開始
SQL Database でも記載していますが、AAD 専用認証が一般提供開始されました。
16TB データベースのサポート
汎用目的 (General Purpose : GP) の 16TB データベースのプレビューが外れ一般提供が開始され、ビジネスクリティカル (Business Critical : BC) でもプレビューとして、16TB のデータベースが利用できるようになりました。
Overview of Azure SQL Managed Instance resource limits も 16TB がサポートされている記述に変更されています。
すべての環境で 16TB がサポートされるのではなく使用するハードウェア世代 / コア数によって利用可否が変わりますので Service tier characteristics の情報も確認するとよいかと。
ストレージと vCore の比率についても改善が行われていますので、大容量のストレージが必要となる場合は、最新情報をチェックするとよいかと。
新しいハードウェアサポート
MI では Gen5 のハードウェアがサポートされていますが、従来の Gen5は、Standard Series という扱いとなり、それ以外に Premium Series / Premium Series – Memory Optimized という新しいハードウェアサポートが追加されています。
- Standard Series (Gen5) : 従来から選択可能なハードウェア
- Intel® E5-2673 v4 (Broadwell) / Intel® SP-8160 (Skylake) and Intel® 8272CL (Cascade Lake) 2.5 GHz
- 5.1 GB RAM/vCore
- Premium Series
- Intel® 8370C (Ice Lake) 2.8 GHz processors
- 7 GB RAM/vCore
- Premium Series – Memory Optimized
- Intel® 8370C (Ice Lake) 2.8 GHz processors
- 13.6 GB RAM/vCore
ハードウェアの詳細については Azure SQL Managed Instance – Compute Hardware in the vCore Service Tier から確認することができます。
現状、利用可能なリージョンに関しては制限がありますので、検証したい場合は、Announcing the new premium-series hardware for SQL Managed Instance に記載されているリージョンを使用する必要があります。(日本は現時点ではまだサポートされていません)
サブネット間の移行のサポート
MI は仮想ネットワーク (VNET) 内にデプロイするインスタンスとなるため、VNET をどのように構成するかを最初に検討する必要があるのですが、VNET のサブネットの構成の柔軟性が向上するようです。
プレビューでなく一般提供が開始された機能となるようですね。
サブネット間を移動させたいケースとしては次のようなものが挙げられています。
- インスタンスをある環境から別の環境に移動 (サブネットの異なる開発から本番環境に移動)
- MI の追加等により、初期に設定したサブネットの IP レンジでは、IP が不足して新規にインスタンスを構築できなくなった
- サブネット内の IP レンジが不足してスケーリング操作やハードウェア世代の変更ができない
移動中は 10 秒程度のダウンタイムが発生するため、瞬間的な実行中のクエリ / トランザクションのキャンセルは発生するようです。
操作方法については Move Azure SQL Managed Instance across subnets で確認することができます。
移行先のサブネットについては次の要件があるようで、原則としては、同一の仮想ネットワーク内の異なるサブネットに移動を行うための機能となるようです。
サービスエンドポイントポリシーを使用したデータ流出の保護
MI は仮想ネットワーク内に閉じられた構成となるため、データ流出や不正なアクセスが行われる可能性は抑えられますが、DMS やログ再生サービスなどを利用する場合、Azure Storage アカウントにバックアップファイルを保存する必要があり、「ストレージアカウント」がデータフローを構成する要素として登場します。
新しい構成要素が増えると、何らかの設定ミスによって、データにアクセスされる可能性が増えるという考えを行うことができ、設定ミスや悪意のある内部アクセスからデータ流出が行われる危険性が増える可能性があります。
データ流出を防ぐための一つの機能として、サービスエンドポイントポリシーを使用したデータ流出の防止がプレビュー機能として導入され、今回アナウンスが行われました。
サービスエンドポイントポリシーを使用することで、MI のサブネットに対して、アクセス可能なストレージアカウントを限定することができるようになり、MI を起点としたストレージアカウントに対してのデータ流出の可能性を抑えることができます。
機能の詳細については Configure service endpoint policies (Preview) for Azure SQL Managed Instance で公開されています。このドキュメントでは 利用可能なリージョンの制限 についても記載されており、現時点では日本はサポートされていないようです。
MI のパスワードレス化
MI のパスワードレス化として、AAD ユーザー向けの Windows 認証プロトコルのプレビュー提供が開始されました。これは、一般提供が開始された、AAD 専用認証とは異なる機能となります。
プレビュー機能として提供が開始された AAD ユーザー向けの Windows 認証プロトコルは、SQL Server の Windows 認証を AAD で実現し、AAD ユーザーによる Windows 認証のシングルサインオンを MI 上で実現可能とする機能となります。
イメージとしては次の図のようになるようです。
MI で分散トランザクションが一般提供で利用可能
プレビューで提供されていた MI の分散トランザクション が一般提供開始となりました。
SQL Database については、現時点でもプレビューですが、MI は先行して GA となったようですね。
MI ではコードと T-SQL レベルで分散トランザクションを実行することができます。
リンクサーバーの Azure AD 認証をサポート
MI は SQL Server ベースの環境に対して リンクサーバー をサポートしています。
リンクサーバーでアクセスする際に、
- AAD パススルー認証
- Managed Identity 認証
を使用することができるようになり、リンクサーバーを設定する際に資格情報 (SQL 認証のログイン設定) を不要にして、設定を行うことができるようになりました。
今回、MI は様々な機能が追加されていますが、新しくこのような連携ができるようになるようです。
リンク機能による MI と SQL Server の接続
MI のリンク機能により、SQL Server と MI を分散型可用性グループ (Distributed Availability Group : DAG) の技術を使用して接続を行い、同期または、非同期モードにより、SQL Server と MI 間のデータ連携で新しいシナリオを利用することができるようになります。
現時点では、Limited Preview ですが、Link feature for Azure SQL Managed Instance (limited preview) でドキュメントが公開されています。
Limited Preview の申し込みは、Sign-up for link feature in SQL Managed Instance (limited preview) から実施できます。
MI に同期されているデータベースは読み取り / フェールオーバー先として使用することができ、有効に活用することができます。
- 読み取り専用ワークロードの Azure へのスケールアウト
- Azure への迅速かつシームレスなデータベースの移行
リンクはデータベース単位で設定をすることになり、一つのリンクで一つのデータベースを接続し、最大で 100 個のリンク (100 このデータベース) を同期することができ、複数の MI に対してリンクを設定することもできるようです。
SQL Server 側で、可用性グループを既存で組んでおく必要はない (組んでいてもよい) ようで、シングルノードの SQL Server から MI に DAG を設定することができるようです。
現時点で対応する SQL Server としては、SQL Server 2019 CU13 以降 / SQL Server 2022 となりますが、今後の計画として、SQL Server 2016 以降でリンク機能のサポートを可能とする予定のようです。
SQL Server on Azure VM
更新情報
- Announcing SQL Server on Ubuntu Pro in Azure Virtual Machines
- Preview: SQL Assessment for SQL Server on Azure Virtual Machines
- SQL Server on Azure VM – Now with 30% better price-performance on the new Ebdsv5 VM series!
- Automatic VM guest patching is now generally available
- Azure trusted launch for Virtual Machines now generally available
SQL Server on Ubuntu Pro
Azure Marketplace で、SQL Server on Ubuntu Pro のイメージ が提供されるようになりました。
Ubuntu Pro については、Ubuntu on Azure で記載されています。
Ubuntu Pro for Azure
Azure で実行される運用ワークロード向けに最適化されたプレミアム イメージです。カーネルのライブ パッチを利用でき、26,000 個のオープンソースのアプリケーション コンポーネントを対象とした安定性、セキュリティ、コンプライアンス機能が強化されていて、10 年間のサポートが提供されます。
Azure 向けに最適化されたイメージ上で、SQL Server が導入済みのイメージが提供されるようになりました。
SQL Server on Azure VM で SQL アセスメントをプレビューで提供
SQL IaaS エージェント拡張機能がインストールされている SQL Server on Azure VM でSQL アセスメントの機能を使用することができるようになりました。
SQL アセスメントについては、SQL Assessment for SQL Server on Azure VMs (Preview) でドキュメントが公開されています。
IaaS エージェント拡張機能をフルモードでインストールすることで利用することができるようになります。
SQL IaaS エージェント拡張機能は、無償で使用できる機能ですので、機能特典は活用したいですね。
Ebdsv5 シリーズの VM がプレビューで提供
メモリ最適化 VM の新しいシリーズである、 Ebsv5 / Ebdsv5 シリーズの VM が提供されました。
- Xeon Platinum 8370C (Icelake)
- 最大 120,000 IOPS / 4,000 MB/sec のリモートディスクストレージのスループット
- 最大 512GB のメモリ
- 最大 2,4000 GB のローカル SSD ストレージ
の構成を使用することができ、全世代の VM と比較して高いパフォーマンスを発揮することができます。
VM ゲストの自動パッチが一般提供開始
Automatic VM guest patching for Azure VMs で提供されている VM ゲストに対して自動パッチ適用する機能が GA しました。
SQL Server IaaS エージェント拡張機能でもパッチ適用はできるのですが、自動パッチ適用系の機能は VM 運用をする際に活用したいものとなるかと思いますので、更新はキャッチアップしたいですね。
Azure trusted launch for VM が一般提供開始
vTPM が使用できるタイプの VM の一般提供が開始されました。
SQL Server だと TPM が関係するのは Always Encrypted 周りですかね。
複数のサブネットでロードバランサー / DNN を使用しない HADR 環境の構成
Azure SQL Demo Fest で紹介されていたのですが、同一仮想ネットワーク内の複数のサブネットに配置した Azure VM について、Azure LB / DNN を使用しないで、HADR 環境が構成できるようになったようです。
これに伴い、ドキュメントが公開されています。
- チュートリアル: 複数のサブネットでの可用性グループの前提条件 (Azure VM 上の SQL Server)
- チュートリアル: 複数のサブネットに可用性グループを構成する (Azure VM 上の SQL Server)
- HADR 構成のベスト プラクティス (Azure VM 上の SQL Server)
- ベストプラクティスに複数のサブネットを使用した可用性グループの記載が追加されています。
Demo Fest の中では次のようなメリットが紹介されていましたので、今後はこの形態の導入が推奨されるかもしれませんね。
- Azure Load Balancer の必要性を排除
- Probe Port の監視が必要なくなるため、10 秒の監視期間のタイムアウトのレイテンシーを無しにアプリケーションのフェイルオーバーを高速化
- SQL Sever / Windows のバージョンに制限はない
- DNN のより柔軟に構築ができるようになります
- SQL Server のすべての機能がすぐに使用できる
現在、ドキュメントとしては、Always On 可用性グループについて公開が行われていますが、Demo Fest では、 AG / FCI の HADR と言っていましたので、FCI のドキュメントも拡充されるかもしれませんね。
Azure Disk
- Live resize of Azure Disk Storage in public preview
- Public preview: Cross-region snapshot copy for Azure Disk Storage
- General availability: Centralized management of keys for encrypting Azure disks
- General availability: Provisioned throughput increase for Azure Ultra Disk Storage
SQL Server on Auzre VM では Azure Disk の進化も影響しますのでディスクの更新もキャッチしておいたほうがよさそうですね。
Azure Arc
更新情報
- Azure Arc Ignite Fall 2021 resources
- Watch: Azure Arc at Ignite 2021 Learn More: Resources to help you get started with Azure Arc
- Directly connected mode for Azure Arc-enabled data services is generally available.
- Public preview: New Azure Arc capabilities in November 2021
Arc Enabled データサービスで直接接続モードが一般提供開始
Arc Enabled データサービスの 直接接続モード 一般提供開始されました。
Arc Enabled SQL Manage Instance については、汎用目的 (General Purpose : GP) が一般提供開始されていますが、提供開始直後は、展開方法については間接接続モードが一般提供開始で、直接接続モードについては、プレビューでの提供となっていました。
今回、直接接続モードが一般提供されるようになり、Azure ポータルから直接 Kubernetes に対して、Managed Instance の展開を活用できるようになりました。
Synapse Analytics
更新情報
- Ignite 2021 Announcements: Accelerate time-to-insight with Azure Synapse Analytics
- Now in preview – Support for custom partitioning in Azure Synapse Link for Azure Cosmos DB
Synaspe については、Synapse ワークスペースの「リリースノート/更新プログラム」で更新が公開されていることもあり、こちらでは次のようなアナウンスが行われています。
- Create lake databases using no-code database designer
- New Database templates tab in the Knowledge Center gallery
- Azure Synapse Data Explorer is now in public preview
- Retail – Product recommendations Industry AI solution added to the Knowledge Center gallery
- Max size of the result set for Serverless SQL pool is increased by 2.5x
- Query Multiple Files/paths using serverless SQL pool OPENROWSET
- Querying Delta Lake format using serverless SQL pool is generally available
- Handle invalid rows in CSV files using serverless SQL pool
- Pandas now supports ADLS Gen2 in Synapse Spark
- Cognitive service now support DEP VNET
- Form Recognizer is now generally available for Apache Spark for Azure Synapse
- Translator is now generally available for Apache Spark for Azure Synapse
- Azure Cognitive Services linked service for Azure Synapse Analytics is now generally available
- PREDICT keyword on Apache Spark for Azure Synapse now public preview
- GPU-accelerated Apache Spark pools
11/2～4 で公開されたアナウンスが上記の内容なのですが、なかなか多いですね。
ログおよびテレメトリー分析
Azure Synapse Data Explorer がプレビューとして提供開始されました。
What is Azure Synapse Data Explorer? (Preview) でドキュメントが公開されています。Synapse の機能の一部として Data Explorer が展開できる感じでしょうか。
Synapse の料金にもデータエクスプローラーの項目が追加されています。
Synapse Link for Dataverse の一般提供開始
Synapse Link for Dataverse の一般提供が開始されました。
これで、Dataverse 上のデータを Synapse で操作しやすくなりますね。
データベーステンプレート
Ignite で新しく発表された機能として、データベーステンプレートとして、特定のビジネス領域向けのデータベーステンプレートを使用して、データソースの統合を容易に実施することができる機能がプレビューとして公開されました。
Lake Database Template としてドキュメントが公開されています。Database templates in Azure Synapse Analytics としてブログも公開されました。
自分でデータベーステンプレートを一から作成することもできるようですが、いくつかのパターンのテンプレートが公開されており、そのテンプレートの内容からテーブルを組み合わせてテンプレートを作成することもできるようです。
Lake Database という概念が自分の中になかったので、活用方法等は考えていかないといけないと思っています。データベーステンプレートで定義したテーブルは、
Azure Storage 上の Data Lake 内のデータをデータベースデザイナーで構造化し、サーバーレス SQL プール / Spark プールでのデータの取り扱い方法を向上させるという形なのでしょうか。
GPU サポートの Sprk Pool の提供
11/7 週からとなるようですが、GPU サポートが行われた Spark Pool がプレビューとして提供されるようです。
ドキュメントは Apache Spark GPU-enabled Pool in Azure Synapse Analytics で公開されています。
Delta Lake サポートの一般提供開始
Synapse の Delta Lake サポートが一般提供開始となりました。
Query Delta Lake files using serverless SQL pool in Azure Synapse Analytics で公開されていた各種機能が GA で使用できるようになります。
Cognitive Service のビルトイン統合の一般提供開始
Cognitive Services in Azure Synapse Analytics で公開されていますが、Synapse Analytics で操作可能なデータと Cognitive Services を連携することで、データ分析に新しい価値をつけることができる機能が一般提供開始されました。
Azure Synapse Link for Azure Cosmos DB のカスタムパーティショニングのサポート
ドキュメントとしては Custom partitioning in Azure Synapse Link for Azure Cosmos DB (Preview) / Configure custom partitioning to partition analytical store data (Preview) で公開されています。
Cosmos DB の分析ストアのデータをパーティショニングすることで、Synapse Link for Azure Cosmos DB でカスタムパーティショニングを使用したクエリ実行による、クエリパフォーマンスの向上を行うことができます。
Azure Purview
更新情報
AWS RDS サポートのパブリックプレビュー
Amazon RDS Multi-Cloud Scanning Connector for Azure Purview (Public preview) で公開されていますが、Purview で RDS をスキャンできるようになりました。
クラウド間のデータを Purview で一貫して分析を行うことができるようになります。
Data Lake のアセットガバナンス
Dataset provisioning by data owner for Azure Storage で公開されています。
BLOB / ADL Gen2 に対して、ポリシー管理の作成を行い、ポリシーを発行することで、該当のデータソースに対して、Purview で設定したポリシーを設定することができる機能でしょうか。
データ変更の反映には 2 時間ぐらいかかるらしいのでテストをするときには気長に実施する必要がありそうです。
SQL Server 2022 の Purview 対応もこのようなイメージなのかもしれませんね。
Purview と Microsoft Defender for Cloud の統合による機密データの優先順位の指定
Prioritize security actions by data sensitivity (powered by Azure Purview) (in preview) / Prioritize security actions by data sensitivity で公開されています。
Defender for Cloud によるセキュリティの可視性に、Azure Purview が保持しているデータガバナンスも活用する事になるのでしょうかね。
「Purviewのデータの秘密度ラベルをDefender for Cloudに統合する」が機能を把握するときのポイントとなりそうです。
SQL Server 2022 で、「Classify data using built in and custom classifiers and Microsoft Information Protection sensitivity labels」つぃて Purview の統合が含まれていますので、Purview のデータガバナンスとの統合の例としてこの機能もキャッチしておいたほうがよさそうな気がします。