SE の雑記

SQL Server の情報をメインに Microsoft 製品の勉強内容を日々投稿

SQL Server 2022 で廃止となる機能の一部がアナウンスされました

leave a comment

The path forward for SQL Server analytics で発表されましたが、SQL Server 2022 で SQL Server 2019 までで実装されていた機能の一部の廃止 (Retirement) がアナウンスされています。

Today, we are announcing changes to SQL Server analytics which includes:

  • Customer feedback
  • Retirement of SQL Server 2019 Big Data Clusters
  • Retirement of PolyBase scale-out groups
  • Path forward

Big Data Cluster (BDC) の廃止

Big Data Cluster (BDC) は SQL Server 2019 で導入された、SQL Server をベースとして、大規模なデータ分析基盤を任意の Kubernetes 上に構築する機能となります。

SQL Server 2019 で新規に導入がされた機能となりますが、この機能は SQL Server 2019 のみとなり、次バージョンでは導入行われない機能 (廃止される機能) となることが発表されました。

BDC は、2025 年 2 月までのサポートとなり、BDC のドキュメントにも明記がされました。

データ分析基盤の今後

SQL Server ベースのデータ分析基盤の今後は、Synapse Analytics を利用することが推奨されることになります。

SQL Server 2022 では、Synapse Link for SQL Server の導入が計画されており、SQL Server のデータをニアリアルタイムの速度で、Synapse Analytics の専用 SQL プール (Dedicated SQL Pool) に連携を行うことができます。

SQL Server の大規模データを SQL Server で分散して分析を行うのではなく、Synapse Analytics に連携をし、Synapse の分散アーキテクチャを使用して、データの分析を行う方式が、次バージョンで実装可能となる形式になるのではないでしょうか。

 

Kubernetes ベースの SQL Server

SQL Server はコンテナー版も提供されていますので、Kubernetes (k8s) 上に展開することができます。BDC は単純に k8s 上に SQL Server を展開するのではなく、k8s の様々な機能を活用しながら、可用性を持つ環境の SQL Server として構築が行われています。

BDC の高可用性の仕組みについては次のドキュメントで解説が行われています。

BDC では、master / msdb のデータを複製し、複数ノードで連携を行うことができる replicatedmaster というような仕組みが導入されており、ログインや SQL Server エージェントジョブの情報を複数のノードで連携ができるようになっています。(現在の SQL Server ではシステムデータベースを複製することができません)

この高可用性の仕組みについては、Azure Arc Enabled SQL Managed Instance で継続して活用が行われています。

今後、k8s 上で高可用性の SQL Server を活用する場合には、Arc Enabled MI の活用を検討することになるのではないでしょうか。

 

PolyBase サポートの変更

PolyBase は SQL Server 2016 から導入が行われた外部データの連携を実施するための機能となります。この PolyBase での機能廃止のアナウンスが 2 点あり、次の機能が次バージョンでは廃止されることとになりました。

現在のアナウンスは、PolyBase が廃止されるのではなく、「PolyBase の一部の機能」が廃止されるというものになりますので、SQL Server 2022 でも PolyBase (実際には PolyBase v2 になると思いますが) は活用できます。

PolyBase スケールアウトグループの廃止

PolyBase には、複数のコンピュートノードを使用した、スケールアウトグループという機能があり、PolyBase のコンピューティングリソースをスケールアウトすることができます。

SQL Server 2019 からは、Standard Edition のみを使用した PolyBase のスケールアウト構成をとることもできるようになったのですが、このスケールアウト構成については、SQL Server 2019 でサポートが終了となり、SQL Server 2019 までの製品サポートライフサイクルが終了したタイミングでサポートが完了となります。

今後、SQL Server の PolyBase については、スケールアップ構成のみをサポートするようになり、単一ノードでの処理に限定されるようです。こちらも分散したスケール性が必要となった場合は、Synapse の PolyBase を活用する必要が出てくるのではないでしょうか。

PolyBase では、スケールアウト読み取り という機能があり、アクセス対象のデータソースがパーティショニングされている場合、コンピューティングノードが最大で 8 つのリーダーにスピンできる機能があり、こちらについては、スケールアウトグループとは異なる機能となるので、継続されるのでは (私の推測で確定ではありません) と思いますが、これ以上のリーダーが必要となった場合には、Synapse の利用を検討する必要が出てくるのではないでしょうか。

Java Hadoop クライアント (PolyBase v1) の廃止

現在の PolyBase は、Java を使用している v1 と、SQL Server 2019 で導入が行われた v2 があります。

Java を使用した v1 については、HDFS に対してアクセスを行うための Java Hadoop クライアントを使用しているのですが、今回、Java Hadoop クライアントを使用した 1 の廃止がアナウンスされました。

現在の PolyBase では、次の接続については、SQL Server 2016 から実装された Java Hadoop クライアント (外部データソースを作成する際に TYPE=HADOOP を指定している)が使用されています。

次バージョンでは、Java Hadoop クライアントが廃止され、使用できる PolyBase は 2019 で追加された v2 と、SQL Server 2022 で導入が行われる、オブジェクトストレージ連携の REST API を使用したものとなるようです。

image

 

クラウドのオブジェクトストレージ (ADLS Gen2 / Azure BLOB / S3 (互換含む)) に対してのアクセスを新しい API により提供するという形になるのではないでしょうか。

HDFS については、新しい Web HDFS コネクターが提供される計画となっているようです。

この変更に伴い、SQL Server 2022 からは、外部データソースに Azure のオブジェクトストレージ (ADLS Gen2 / Azure Blob Storage) を使用する場合のデータソースのプレフィックスが変更されるようです。

image

 

To に書かれている abs / adls をデータソースのプレフィックスとして使用した、PolyBase については、SQL Managed Instance で先行して Preview 機能の搭載が行われたようです。

設定の方法については、Data virtualization with Azure SQL Managed Instance (Preview) に記載されています。

PolyBase のデータソースとして、次のような指定を行うことで、Azure Storage に対しての接続ができるようになるようです。

--Blob Storage endpoint
abs://<container>@<storage_account>.blob.core.windows.net/<path>/<file_name>.parquet

--Data Lake endpoint
adls://<container>@<storage_account>.dfs.core.windows.net/<path>/<file_name>.parquet

 

そのほかの参考情報としては、Synapse Analytics の Native アクセスを参考にしてもよいかもしれませんね。

まとめ

SQL Server 2022 のキーワードの一つとして「Azure 連携の強化」がありますが、この考え方の中には、データ分析基盤の活用方法についても含まれており、「ハイブリッドなデータ分析基盤」を意識する必要が出てきていることが、昨日の廃止アナウンスからもひしひしと感じられます。

Share

Written by Masayuki.Ozawa

3月 7th, 2022 at 9:38 am

Leave a Reply