SE の雑記

SQL Server / SQL Database

• BRK2013 – Azure’s Data Platform – Powering Modern Applications and Cloud Scale Analytics at Petabyte Scale
  • スライド / ビデオ / YouTube

 

• Build 2019 で GA / Preview が発表された Azure Data Platform の機能についてのセッション
  • スライドしか見ていないのですが、それぞれデモもあるようです。
• Azure SQL Database Hyperscale の GA
• Azure SQL Database Serverless の Preview 開始
• Azure SQL Database Edge の Preview 開始
• Azure Database for PostgreSQL Hyperscale (Citus) の Preview 開始
• Azure Cosmos DB の Spark / Jupyter Notebook / Cosmos DB API for etcd
• Azure Data Factory の Mapping Data Flows / Wrangling Data Flows のアナウンス

 

• BRK2014 – Simplify Edge Architecture with Azure SQL Database Edge
  • スライド / ビデオ / YouTube

 

• Build 2019 で発表された「Azure SQL Database Edge」についてセッション
• 軽量なフットプリント / ターンキー / ML に対応したデータベースエンジンをエッジに接続または、オフラインで実行することができる
  • SQL Server / Azure SQL Database はデータセンター / クラウドで動作するミッションクリティカルなワークロードに対応した、完全な AI / ML 機能を持つ業界をリードするデータベースエンジンとしての役割
  • Azure SQL Database Edge は SQL Server のエンジンを持つため、SQL Server を様々な場所 (として、エッジ / データセンター/ クラウド) でネイティブに動作する一貫性のあるデータ / 分析エンジンとして利用できる
• エッジでの新しい分析 / データ移動 / 管理機能を持つ
• 複数のデバイス間にローカルのデータストレージを提供することで、既存の Azure IoT Edge サービスの補完を行う
• Azure SQL Databas Edge の特徴
  • ARM64 / x64 で動作する 500MB 未満の軽量なフットプリント
  • 時系列処理をビルトインし、SQL と時系列データのストリーミングによる分析が可能
  • R / Python / Java / Spark による AI をビルトイン
    • ML Services + Big Data Cluster の Spark (MSSQL Spark Connector??) のイメージかも
    • AI アイコンが Spark SQL になっているのも少し気になる
  • ターンキー管理による、単一の管理プレーンによる展開と管理
  • SQL Server をベースとしているため、高いパフォーマンスとセキュリティ
• オンプレ / クラウドの SQL Server 等との連携もできるらしい (エンジンが、SQL Server だからリンクサーバー等が貼れる？？)
  • 大量のセンサーデータをエッジで前処理して、クラウドに同期 / 集計することでネットワークの帯域を最適化
  • Azure ML / Azure Analysis Services を用いたデータ活用
• ThinkSystem S350 Edge Server のような、エッジデバイスがある

 

• BRK3097 – Deploying apps for on-premises and hybrid ML+AI on SQL Server 2019 big data clusters
  • スライド / ビデオ / YouTube

 

• Big Data Cluster についてのセッション
• Big Data Cluser を使用して ML Service を使用したデモ
• ML for Java 経由で Luis と通信するデモ
• DataOps
• 堅牢性と信頼性
• アプリケーションを簡単にスケールアウトできる
• セルフヒーリング機能により、高可用性を実現
• データと同じインフラストラクチャに導入することで、アプリケーションのパフォーマンスを最適化
• 柔軟性
• データアプリケーションと機械学習のワークロードを効率的に導入、実行、および管理
• 組み込みの監視機能により、アプリケーションの管理が容易
• 統合が容易
• RESTFul Web サービスを使用して、アプリケーションを素早く統合できる
• アプリケーションをオンデマンドまたは、スケジュールで実行することにより、信頼性が向上

 

• BRK3098 – Built for Speed: SQL Server Database Application Design for Performance
  • スライド / ビデオ / YouTube

 

• BRK4003 – Develop data application on a no-limits SQL data platform
  • スライド / ビデオ / YouTube

 

• Azure SQL Databas Hyperscale についてのセッション
• Hyperscale の Primary / Readable secondary / Page server / Log service / Write IO / Read IO  Restore についての基本アーキテクチャについての説明
• 既存の SQL Database Single DB を Hyperscale に変更することもできるが、 Hyperscale → Single Database への移行はできないので注意

 

• BDL2025 – Azure Data – at the pointy-end of scalability across on-prem, the cloud and on the edge
  • スライド / ビデオ / YouTube

 
Managed Instance

• BRK3052 – Build modern database applications using Azure SQL Database Managed Instance, ADF and Power BI
  • スライド / ビデオ / YouTube

 

• SQL Server 2008 / 2008 R2 のサポート終了の紹介から入る Managed Instance のセッション
• Managed Instance の今後のロードマップについての説明あり
  • Q1
    • Australia Central 1, 2 / West India リージョンでの利用
    • Arm Template による Geo Restore
  • Q2
    • Instance Level Collation / Custom Time zone の GA
    • インターネットと Azure DNS の依存関係の削除
    • データトラフィックのパブリックエンドポイント
    • 構成可能な接続ポリシー (Proxy / Redirect)
    • ジオリストア
    • 削除した DB の PITR
    • Azure ポータルからの DB 作成
    • 4 vCore モデル / MSDN サブスクリプションでの利用可能
    • Brazil South / South Africa リージョンでの利用
• SQL Server 環境のクラウドへの移行パターン
• Migration の情報

 
SQL Data Warehouse

• BRK3056 – Code-free data integration at scale for Azure SQL Data Warehouse with Azure Data Factory
• スライド / ビデオ / YouTube

 

• Azure Data Factory をメインにしたセッション
• 新しく発表された、MAPPING DATAFLOW / WRANGLING DATAFLOW についても触れられている
• ADF の今後のロードマップ
  • アクティビティの追加 (Azure Function / Email / バリデーション / Webhook / アーカイブ)
  • トリガーの追加 (スケジュールロールアップトリガー / 依存関係トリガー/連鎖トリガー)
  • チェックポイントサポートによるコピーの再実行
  • 単一の大きなテーブルに対して並列ロード
  • SSIS の利用可能リージョンと VM の選択肢の増加
  • 2019 : ストリーミングパイプライン / データカタログ統合
  • 2020 : マスターデータ管理
• SSIS ランタイムの今後のロードマップについても触れられている

 

• BRK3057 – Power BI Meets Azure SQL Data Warehouse: Amplifying your data stack with petabyte-scale analytics
  • スライド / ビデオ / YouTube

 
Migration

• BRK2021 – Migrating your applications, data, and infrastructure to Azure
  • スライド / ビデオ / YouTube

 

• Azure のマイグレーションについてのセッション
• Database だけでなくアプリケーションの移行についても触れられている
• Database については、DMS と Migration Guide の紹介

 

• THR2006 – Migrate on-premises SQL Servers reaching end of support to Azure using DMS service with near zero downtime
  • スライド / ビデオ / YouTube

 

• Azure Database Migration Service についてのシアターセッション
• DMS を使用して SQL Server から、MI にオンライン移行をするデモ
• SQL Server から、Managed Instance に移行する場合「SSIS パッケージ移行」というプレビュー機能が追加された。

 
Data Analyze

• BRK3055 – Building data pipelines for Modern Data Warehouse with Spark and .NET in Azure
  • スライド / ビデオ / YouTube

 

• BRK3058 – From cloud to the intelligent edge: Drive real-time decisions with Azure Stream Analytics
  • スライド / ビデオ / YouTube

 

• BRK3059 – Data Architect’s guide for successful Open Source patterns in Azure w/ Spark, Hive, Kafka, Hbase etc
  • スライド / ビデオ / YouTube

 

Azure Data Studio

• BRK3049 – Contributing and building extensions for Azure Data Studio
  • スライド / ビデオ / YouTube

 

• THR3013 – Machine Learning in Azure Data Studio
  • スライド / ビデオ / YouTube

 
■ Get high-performance scaling for your Azure database workloads with Hyperscale から
Hyperscale
Azure SQL Database Hyperscale support for single databases is now available
SQL Database の Hyperscale が GA したようです。
あたらしく、PostgreSQL の Hyperscale が Preview として提供されています。
Quickstart: Create an Azure Database for PostgreSQL – Hyperscale (Citus) (preview) in the Azure portal
Citus が使用されているようですね。
SQL Database Serverless
他には、「Azure SQL Database Serverless」も発表されました。
ウォームアップによる遅延が許容されるのであれば、秒単位課金でコストを抑えることができる新しいモデルとなるようです。
オートスケーリング / オートレジュームといった、今までとは異なる概念がいくつか入っているようですね。
性能面は Serverless compute tier から確認できます。
 
■ Analytics in Azure remains unmatched with new innovations から
ADF
ADF に Wrangling Data Flows という、新機能が実装されるようです。
SQL Data Warehouse
SQL DW に半構造化データのサポートが行われるようで、JSON のようなデータ形式を SQL DW から直接アクセスできるようになるようです。
他にも、結果セットのキャッシュによる、同一クエリの実行結果を後続のユーザーがすぐに利用できる仕組みと、マテリアライズド・ビューによるパフォーマンス向上も実行できるようですね。
■ Azure updates から

• Azure SQL Database Hyperscale support for single databases is now available
• SQL Database の Hyperscale が GA しましたというお話
• Oracle to Azure Database for PostgreSQL online migration is in preview
• Azure DMS で Oracle から Azure Database for MySQL のオンラインマイグレーションをサポートしましたというお話
• Tutorial: Migrate Oracle to Azure Database for PostgreSQL online using DMS (Preview)
• Azure SQL Database managed instance SKU recommendation for Data Migration Assistant is now available
• DMA で SQL DB だけでなく、Managed Instance の SKU のアドバイスを出せるようになりましたというお話
• Identify the right Azure SQL Database SKU for your on-premises database
• Coming soon: Azure SQL Database serverless preview
• SQL DB Serverless がプレビューで使えるようになりましたというお話
• Azure SQL Database serverless compute tier is now in preview
• SQL Database Serverless がプレビューで使用できるようになりましたというお話
• Hyperscale (Citus) is now in preview on Azure Database for PostgreSQL
• Azure Database for PostgreSQL の Hyperscale がプレビューで使用できるようになりましたというお話

SQL Server 2019 では PolyBase の機能が進化し「データ仮想化」が一つのキーワードとなっています。

• What is PolyBase?

PolyBase は、SQL Server 2016 から実装された機能だったはずですが、SQL Server 2016 / 2017 では、Hadoop と Azure BLOB Storage の接続のみをサポートしており、オブジェクトストレージ上のデータに対してクエリを実行するための機能としての利用でした。

• PolyBase features and limitations

SQL Server 2019 になり、オブジェクトストレージの他に「ODBC 汎用コネクタ」がサポートされるようになり、アクセスできるデータソースが大幅に増加しました。

• Configure PolyBase to access external data in SQL Server

標準で、SQL Server / Oracle / Teradata / MongoDB へのアクセスもできるようになっているのですが、これらについては、「標準で導入されている ODBC ドライバー」となっており、実装については ODBC と同様です。
SQL Server 2019 のセミナーを毎月実施させていただいている中で「PolyBase とリンクサーバーの違い」について質問されることがあります。
これらの違いについては、次のドキュメントで解説が行われています。

• Frequently asked questions

Read the rest of this entry »

GW 中は de:code 2019 のセッション準備などを進めており、あまり情報のキャッチアップをできていなかったのですが、最終日ぐらいは、SQL Server / SQL Database 関連の最新情報を眺めてみようかと。
Read the rest of this entry »

SQL Server 2019 CTP 2.5 と SSMS 18.0 が公開されました。
SSMS 18.0 は今回のタイミングで GA となり、正式版です。
Build 2019 で新しい CTP 出るのかなと思っていたのですが、4 月内に新しい Preview 出てきましたね。
Build では新しい発表あるのでしょうか？？
公式のアナウンスとしては以下になります。

• SQL Server 2019 community technology preview 2.5 is now available
• SQL Server Management Studio (SSMS) 18.0 released for general availability

Read the rest of this entry »

SQL Server の権限設定ですが、基本的な考え方は プリンシパル (データベース エンジン) に記載されている内容となります。
権限としては、次の二種類に分けられます。

• ログイン : インスタンスレベルでの操作権限
• ユーザー : データベースレベルでの操作権限

「ログイン」と「ユーザー」という複数のプリンシパルに分かれているため、理解しづらい構成になっているのですが、SSMS を使用しながらであればわかりやすいかなと思いましたので軽くまとめてみようかと。
Read the rest of this entry »

SQL Server の統計情報の更新タイミングというと「データ量の 20% が更新された場合」に自動更新の対象となるというのが一般的に知られている内容ではないでしょうか。
これについては 統計 に記載されています。

SQL Server 2014 (12.x) まで、SQL Server は変更された行の割合に基づくしきい値を使用します。 これには、テーブル内の行数は考慮されません。 しきい値は次のようになります。

• 統計情報が評価された時点でテーブルのカーディナリティが 500 以下の場合、500 回変更されるたびに更新されます。
• 統計情報が評価された時点でテーブルのカーディナリティが 500 よりも大きい場合、500 プラス 20% の数の変更があるたびに更新されます。

Read the rest of this entry »

SQL Server は製品のバージョンアップや更新プログラムによってクエリ情報を取得するための「クエリプロファイリング」の機能が向上しています。
クエリ プロファイリング インフラストラクチャ というドキュメントで、詳細はまとめられているのですが、自分の言葉で書く機会が少なかったのと、SQL Server 2019 CTP 2.4 でも取得できる情報が増えていますので、この機会にまとめておこうと思います。
Read the rest of this entry »

SQL Server 2019 CTP 2.4 の PolyBase (2019 の新機能版) をインストールしようとした際の注意点についてまとめておこうかと。
日本語版の Windows Server 2019 + SQL Server 2019 CTP 2.4 の環境を使用していますが、日本語固有 (英語以外) の問題も一部ありそうです。
環境に依存しているかの細かな確認はできていないのですがフィードバックはしておこうかと思います。
Read the rest of this entry »

だいたい月次リリースで SQL Server 2019 の CTP がリリースされているのですが、2.4 がリリースされました。
まさか 3 月に 2 回 CTP がリリースされるとは…。

• SQL Server 2019 community technology preview 2.4 is now available

新機能の詳細はこちら。

• What’s new in SQL Server 2019 preview
• What’s new for SQL Server 2019 Analysis Services CTP 2.4

データベースエンジン回りと、SSAS に機能向上が行われています。
データベースエンジン
Big Data Cluster
詳細は Release notes for big data clusters on SQL Server の CTP 2.4 の情報から。

• Big Data Cluster の GPU サポート
• Spark で TensorFlow を使用して深層学習を実行するための GPU サポートについてのガイダンスが公開されました。
  Deploy a big data cluster with GPU support and run TensorFlow
• ガイダンスでは AKS を GPU インスタンスを使用して構築し、そのうえで Big Data Cluster の構築を行っています。
• Big Data Cluster を使用する場合に設定するレポジトリが GPU 向けの設定となっているようです
• 外部データソースの手動作成
• CTP 2.3 までは、DataPool / Storage Pool の外部データソースが作成されていたのですが、CTP 2.4 から作成されなくなったため、手動で作成をする必要があります。
  External tables
• model に事前に設定しておいてあげると、新規 DB 作成時に反映されて楽かもしれませんね。
• Data Pool に対して INSERT INTO SELECT のサポート
• CTP 2.3 までは、T-SQL を使用して Data Pool に対してデータを投入する際には、「sp_data_pool_table_insert_data」というストアドプロシージャを使用していたのですが、CTP 2.4 からは、ストアドプロシージャが廃止され、INSERT INTO SELECT により、Data Pool に対してデータ収集を行う方法となったようです。
  Tutorial: Ingest data into a SQL Server data pool with Transact-SQL
• ある程度のまとまった行数を挿入する場合、複数の DB にレコードが分散されていました。
  (テスト時は、2700～3800 行ぐらいが分散単位となっていました)
• Spark のバージョンが 2.4 にバージョンアップ
• CTP 2.3 までは、Spark は 2.3.x が使用されていたのですが、2.4 が使用されるようになりました。
• 外部テーブルに対して Compute Pool の利用の制御
• 通常、外部テーブルへのアクセスについては、Master Instance から実行されます。
  これを Compute Pool 経由でアクセスするように実行するオプションが追加されました
• OPTION(DISABLE SCALEOUTEXECUTION)
• OPTION(FORCE SCALEOUTEXECUTION)

データベースエンジン

• 文字列の切り捨てメッセージの動作の変更
• CTP 2.3 までは、文字列長を超えて列に情報を格納する際の切り捨てメッセージの変更は TF 460 が必要でした。
• SQL Server 2016 SP2 CU6 / SQL Server 2017 CU12 でも TF 460 により使用できるようです。
• CTP 2.4 では、互換性レベル 150 では、既定で TF 460 相当の動作が行われるようになっています。
  互換性レベル 150 で従来のメッセージに変更する場合は、データベーススコープの構成で、「VERBOSE_TRUNCATION_WARNINGS」により制御できます。
  互換性レベル 140 以下の場合は TF 460 で制御を行うようです。
  Truncation error message improved to include table and column names, and truncated value (CTP 2.1)
• クエリの実行プラン取得方法の機能向上
• どちらも軽量クエリプロファイリングの使用時に、実際の実行計画に相当する情報を取得するための方法となり、軽量クエリプロファイリング v3 の一貫として追加されているようです。
  Lightweight query execution statistics profiling infrastructure v3
• 拡張イベント : query_post_execution_plan_profile の追加
• 軽量プロファイリングに基づいて取得された実行プランを、拡張イベントで収集するためには、このイベントを使用するようです。
• SQL Server 2017 CU14 でも使用できるようです。
• DMV : sys.dm_exec_query_plan_stats の追加
• 軽量プロファイリングに基づいて最後に実行された実際のクエリ実行プランを調べるための方法のようです。
• 使用するためにはトレースフラグ 2451 が必要となります
• 透過的データ暗号化 (TDE) の一時停止 / 再開のサポート
• TDE を有効にするとき、中断と再開ができるようになりました。
  これによりシステム負荷が高い時の TDE によるオーバーヘッドを調整できるようです。
  Transparent Data Encryption (TDE) scan – suspend and resume (CTP 2.4)

SSAS

• 表形式モデルの多対多のリレーションシップのサポート (互換性レベル 1470 が必要)
• メモリ設定のリソースガバナンス