SQL Server とデータの送受信を行う際には「TDS」(Tabular Data Stream Protocol) が使用されています。
接続からクエリを実行するまでの流れってどうだったけと思った時には、プロトコルのドキュメントから詳細を確認することができます。
接続までの流れについては、How it works: SQL Serverの接続編 もとても参考になります。
SQL Server のプロトコルのドキュメント
Build 2019 であとで確認するセッションリスト
SQL Server / SQL Database
- Build 2019 で GA / Preview が発表された Azure Data Platform の機能についてのセッション
- スライドしか見ていないのですが、それぞれデモもあるようです。
- Azure SQL Database Hyperscale の GA
- Azure SQL Database Serverless の Preview 開始
- Azure SQL Database Edge の Preview 開始
- Azure Database for PostgreSQL Hyperscale (Citus) の Preview 開始
- Azure Cosmos DB の Spark / Jupyter Notebook / Cosmos DB API for etcd
- Azure Data Factory の Mapping Data Flows / Wrangling Data Flows のアナウンス
- Build 2019 で発表された「Azure SQL Database Edge」についてセッション
- 軽量なフットプリント / ターンキー / ML に対応したデータベースエンジンをエッジに接続または、オフラインで実行することができる
- SQL Server / Azure SQL Database はデータセンター / クラウドで動作するミッションクリティカルなワークロードに対応した、完全な AI / ML 機能を持つ業界をリードするデータベースエンジンとしての役割
- Azure SQL Database Edge は SQL Server のエンジンを持つため、SQL Server を様々な場所 (として、エッジ / データセンター/ クラウド) でネイティブに動作する一貫性のあるデータ / 分析エンジンとして利用できる
- エッジでの新しい分析 / データ移動 / 管理機能を持つ
- 複数のデバイス間にローカルのデータストレージを提供することで、既存の Azure IoT Edge サービスの補完を行う
- Azure SQL Databas Edge の特徴
- ARM64 / x64 で動作する 500MB 未満の軽量なフットプリント
- 時系列処理をビルトインし、SQL と時系列データのストリーミングによる分析が可能
- R / Python / Java / Spark による AI をビルトイン
- ML Services + Big Data Cluster の Spark (MSSQL Spark Connector??) のイメージかも
- AI アイコンが Spark SQL になっているのも少し気になる
- ターンキー管理による、単一の管理プレーンによる展開と管理
- SQL Server をベースとしているため、高いパフォーマンスとセキュリティ
- オンプレ / クラウドの SQL Server 等との連携もできるらしい (エンジンが、SQL Server だからリンクサーバー等が貼れる？？)
- 大量のセンサーデータをエッジで前処理して、クラウドに同期 / 集計することでネットワークの帯域を最適化
- Azure ML / Azure Analysis Services を用いたデータ活用
- ThinkSystem S350 Edge Server のような、エッジデバイスがある
- Big Data Cluster についてのセッション
- Big Data Cluser を使用して ML Service を使用したデモ
- ML for Java 経由で Luis と通信するデモ
- DataOps
- 堅牢性と信頼性
- アプリケーションを簡単にスケールアウトできる
- セルフヒーリング機能により、高可用性を実現
- データと同じインフラストラクチャに導入することで、アプリケーションのパフォーマンスを最適化
- 柔軟性
- データアプリケーションと機械学習のワークロードを効率的に導入、実行、および管理
- 組み込みの監視機能により、アプリケーションの管理が容易
- 統合が容易
- RESTFul Web サービスを使用して、アプリケーションを素早く統合できる
- アプリケーションをオンデマンドまたは、スケジュールで実行することにより、信頼性が向上
- Azure SQL Databas Hyperscale についてのセッション
- Hyperscale の Primary / Readable secondary / Page server / Log service / Write IO / Read IO Restore についての基本アーキテクチャについての説明
- 既存の SQL Database Single DB を Hyperscale に変更することもできるが、 Hyperscale → Single Database への移行はできないので注意
Managed Instance
- SQL Server 2008 / 2008 R2 のサポート終了の紹介から入る Managed Instance のセッション
- Managed Instance の今後のロードマップについての説明あり
- Q1
- Australia Central 1, 2 / West India リージョンでの利用
- Arm Template による Geo Restore
- Q2
- Instance Level Collation / Custom Time zone の GA
- インターネットと Azure DNS の依存関係の削除
- データトラフィックのパブリックエンドポイント
- 構成可能な接続ポリシー (Proxy / Redirect)
- ジオリストア
- 削除した DB の PITR
- Azure ポータルからの DB 作成
- 4 vCore モデル / MSDN サブスクリプションでの利用可能
- Brazil South / South Africa リージョンでの利用
- Q1
- SQL Server 環境のクラウドへの移行パターン
- Migration の情報
SQL Data Warehouse
- Azure Data Factory をメインにしたセッション
- 新しく発表された、MAPPING DATAFLOW / WRANGLING DATAFLOW についても触れられている
- ADF の今後のロードマップ
- アクティビティの追加 (Azure Function / Email / バリデーション / Webhook / アーカイブ)
- トリガーの追加 (スケジュールロールアップトリガー / 依存関係トリガー/連鎖トリガー)
- チェックポイントサポートによるコピーの再実行
- 単一の大きなテーブルに対して並列ロード
- SSIS の利用可能リージョンと VM の選択肢の増加
- 2019 : ストリーミングパイプライン / データカタログ統合
- 2020 : マスターデータ管理
- SSIS ランタイムの今後のロードマップについても触れられている
Migration
- Azure のマイグレーションについてのセッション
- Database だけでなくアプリケーションの移行についても触れられている
- Database については、DMS と Migration Guide の紹介
- Azure Database Migration Service についてのシアターセッション
- DMS を使用して SQL Server から、MI にオンライン移行をするデモ
- SQL Server から、Managed Instance に移行する場合「SSIS パッケージ移行」というプレビュー機能が追加された。
Data Analyze
Azure Data Studio
Build 2019 の SQL Server 関連の情報について
■ Get high-performance scaling for your Azure database workloads with Hyperscale から
Hyperscale
Azure SQL Database Hyperscale support for single databases is now available
SQL Database の Hyperscale が GA したようです。
あたらしく、PostgreSQL の Hyperscale が Preview として提供されています。
Quickstart: Create an Azure Database for PostgreSQL – Hyperscale (Citus) (preview) in the Azure portal
Citus が使用されているようですね。
SQL Database Serverless
他には、「Azure SQL Database Serverless」も発表されました。
ウォームアップによる遅延が許容されるのであれば、秒単位課金でコストを抑えることができる新しいモデルとなるようです。
オートスケーリング / オートレジュームといった、今までとは異なる概念がいくつか入っているようですね。
性能面は Serverless compute tier から確認できます。
■ Analytics in Azure remains unmatched with new innovations から
ADF
ADF に Wrangling Data Flows という、新機能が実装されるようです。
SQL Data Warehouse
SQL DW に半構造化データのサポートが行われるようで、JSON のようなデータ形式を SQL DW から直接アクセスできるようになるようです。
他にも、結果セットのキャッシュによる、同一クエリの実行結果を後続のユーザーがすぐに利用できる仕組みと、マテリアライズド・ビューによるパフォーマンス向上も実行できるようですね。
■ Azure updates から
- Azure SQL Database Hyperscale support for single databases is now available
- SQL Database の Hyperscale が GA しましたというお話
- Oracle to Azure Database for PostgreSQL online migration is in preview
- Azure DMS で Oracle から Azure Database for MySQL のオンラインマイグレーションをサポートしましたというお話
- Tutorial: Migrate Oracle to Azure Database for PostgreSQL online using DMS (Preview)
- Azure SQL Database managed instance SKU recommendation for Data Migration Assistant is now available
- DMA で SQL DB だけでなく、Managed Instance の SKU のアドバイスを出せるようになりましたというお話
- Identify the right Azure SQL Database SKU for your on-premises database
- Coming soon: Azure SQL Database serverless preview
- SQL DB Serverless がプレビューで使えるようになりましたというお話
- Azure SQL Database serverless compute tier is now in preview
- SQL Database Serverless がプレビューで使用できるようになりましたというお話
- Hyperscale (Citus) is now in preview on Azure Database for PostgreSQL
- Azure Database for PostgreSQL の Hyperscale がプレビューで使用できるようになりましたというお話
SQL Server 2019 の PolyBase とリンクサーバーの違いについて
SQL Server 2019 では PolyBase の機能が進化し「データ仮想化」が一つのキーワードとなっています。
PolyBase は、SQL Server 2016 から実装された機能だったはずですが、SQL Server 2016 / 2017 では、Hadoop と Azure BLOB Storage の接続のみをサポートしており、オブジェクトストレージ上のデータに対してクエリを実行するための機能としての利用でした。
SQL Server 2019 になり、オブジェクトストレージの他に「ODBC 汎用コネクタ」がサポートされるようになり、アクセスできるデータソースが大幅に増加しました。
標準で、SQL Server / Oracle / Teradata / MongoDB へのアクセスもできるようになっているのですが、これらについては、「標準で導入されている ODBC ドライバー」となっており、実装については ODBC と同様です。
SQL Server 2019 のセミナーを毎月実施させていただいている中で「PolyBase とリンクサーバーの違い」について質問されることがあります。
これらの違いについては、次のドキュメントで解説が行われています。
Build 2019 開始前に GW 中の SQL Server 関連の話題をキャッチアップしてみる
GW 中は de:code 2019 のセッション準備などを進めており、あまり情報のキャッチアップをできていなかったのですが、最終日ぐらいは、SQL Server / SQL Database 関連の最新情報を眺めてみようかと。
Read the rest of this entry »
Azure SQL Database Edge の情報のメモ
Twitter のタイムラインを見ていたところ、Azure SQL Database Edge というワードが出てきており、ニュースサイトで紹介されていました。
- Microsoft、Azureで「Azure SQL Database Edge」「Azure Blockchain Service」などを発表
- エッジ用DB「Azure SQL Database Edge」、IoTエッジをクラウドにプラグ＆プレイする新技術、MSが発表
- Microsoft brings Azure SQL Database to the edge (and Arm)
- Microsoft debuts Azure SQL Database Edge and IoT Plug and Play
ブチザッキ兄さんに、公式のアナウンスを教えてもらえました。
https://t.co/RGDWAw5iRs の文中にしかない（あとはペーパー https://t.co/nPcma2CcHQ
— こすもす.えび (@kosmosebi) May 3, 2019
Intelligent cloud and intelligent edge applications have evolved from primarily low-compute IoT devices working with the cloud to powerful compute at the edge, which requires a new modern hybrid application approach. A key aspect of enabling this is supporting the spectrum of edge compute and data needs. SQL Server and Azure SQL Database are the leading data engines for enterprise workloads on-premises and in the cloud, respectively, and today we are bringing these powerful data and analysis capabilities to the edge with Azure SQL Database Edge preview. Azure SQL Database Edge runs on ARM processors and provides capabilities like data streaming and time series data, with in-database machine learning and graph. And because Azure SQL Database Edge shares the same programming surface area with Azure SQL Database and SQL Server, you can easily take your applications to the edge without having to learn new tools and languages, allowing you to preserve consistency in application management and security control. This consistency in database programming and control plane across cloud and edge is essential to running a secure and well-managed hybrid application.
ARM プロセッサ上でも動作させられる、エッジに配置できるデータエンジンということで、次のような機能を備えているようです。
- ARM / Intel デバイスで動作するようにチューニングされた 500MB未満の軽量な SQL Server エンジン
- 時系列データ / データストリーミング機能を提供
- リレーショナルデータ / 時系列データ / グラフデータを組み合わせて利用できる
- ML / Spark によりデータベース内で機械学習を実行
- ML Service + Big Data Cluster の Spark 部分のようなイメージでしょうか？
- グラフデータ
- SQL Server のグラフテーブルの機能でしょうか？
- 単一の管理プレーンよる展開と更新
- Azure IoT のような感じで管理することができる
Get to know Azure SQL Database Edge で概要の PDF が公開されています。
Build 2019 で Simplify Edge Architecture with Azure SQL Database Edge というセッションがあるので詳細はここで出てきそうですね。
Read the rest of this entry »
SQL Server 2019 CTP 2.5 と SSMS 18.0 GA が公開されました。
SQL Server 2019 CTP 2.5 と SSMS 18.0 が公開されました。
SSMS 18.0 は今回のタイミングで GA となり、正式版です。
Build 2019 で新しい CTP 出るのかなと思っていたのですが、4 月内に新しい Preview 出てきましたね。
Build では新しい発表あるのでしょうか？？
公式のアナウンスとしては以下になります。
SQL Server のログイン / ユーザーの権限を SSMS を使用しながら確認してみる
SQL Server の権限設定ですが、基本的な考え方は プリンシパル (データベース エンジン) に記載されている内容となります。
権限としては、次の二種類に分けられます。
- ログイン : インスタンスレベルでの操作権限
- ユーザー : データベースレベルでの操作権限
「ログイン」と「ユーザー」という複数のプリンシパルに分かれているため、理解しづらい構成になっているのですが、SSMS を使用しながらであればわかりやすいかなと思いましたので軽くまとめてみようかと。
Read the rest of this entry »
互換性レベル 130 以降をサポートしている環境のダウンレベルの互換性レベルと統計情報の更新について
SQL Server の統計情報の更新タイミングというと「データ量の 20% が更新された場合」に自動更新の対象となるというのが一般的に知られている内容ではないでしょうか。
これについては 統計 に記載されています。
SQL Server 2014 (12.x) まで、SQL Server は変更された行の割合に基づくしきい値を使用します。 これには、テーブル内の行数は考慮されません。 しきい値は次のようになります。
- 統計情報が評価された時点でテーブルのカーディナリティが 500 以下の場合、500 回変更されるたびに更新されます。
- 統計情報が評価された時点でテーブルのカーディナリティが 500 よりも大きい場合、500 プラス 20% の数の変更があるたびに更新されます。
Managed Instance でパブリックエンドポイントがサポートされました
Managed Instance (MI) は VNET 内にデプロイを行う、PaaS の SQL Server であり、利用するためには VNET が必須となっています。
当初は、VNET にアクセスできる環境のみが MI に接続することができていたのですが、今回パブリックエンドポイントの機能が追加されました。
これにより、MI をデプロイした VNET に接続を行っていない環境からもアクセスが可能となります。