SQL Data Warehouse (SQL DW) は、60 のデータベースに分散してデータを格納した分散テーブルを使用して、透過的にデータを検索することで、効率よくデータを分析することができるアーキテクチャとなっています。
データの分散を適切に実施することがが性能を出す際の重要なポイントとなります。
「分散の方式を誤り、一つのデータベースにデータが極端に集中した場合、どのような性能的なデメリットが出るか」を数値的に取得したことがなかったため、確認をしてみました。
Read the rest of this entry »
Archive for the ‘SQL Data warehouse’ tag
SQL Data Warehouse のテーブルのデータの偏りによる性能影響
SQL Data Warehouse の直近のアップデートの整理
SQL Data Warehouse のアップデートが、最近いくつか発表されましたが、自分の中で情報が整理できていなかったので軽くまとめておこうかと。
Azure SQL Data Warehouse 最新 Update ( 2018/4月版) を見ると、大体のことは書いてあります。
Read the rest of this entry »
Ignite 2017 の SQL Database / SQL Data Warehouse の概要セッションのまとめ
BRK2230 : What’s new with Azure SQL Database: Focus on your business, not on the database |
動画 |
スライド |
BRK2217 : Modernize your on-premises applications with SQL Database Managed Instances |
動画 |
スライド |
BRK2213 : Database Migration roadmap with Microsoft |
動画 |
スライド |
BRK2254 : New capabilities for data integration in the cloud |
動画 |
スライド |
BRK2142 : Keep your data in sync between SQL Server and Azure SQL Database |
動画 |
スライド |
THR2164 : Performing a seamless migration in Azure SQL Database |
動画 |
スライド |
BRK3377 : Azure SQL Data Warehouse lessons learned and practical implementation tips |
Ignite 2017 の Day1 Keynote のデータプラットフォームの内容のメモ
Ignite 2017 のキーノートを見ながらぺたぺたと。
Ignite 2017 の動画についてはこちらから。
https://www.microsoft.com/en-us/ignite/default.aspx
Read the rest of this entry »
SQL Data Warehouse の DWU USED を取得するクエリを書いてみました
SQL Data Warehous をポータルで確認した際に、以下のような画像のタイルの情報を確認することができます。
DWU LIMIT と DWU USED という項目があるのですが、現状、簡単に取得する方法が見当たらないのですよね…。
Provide a way to expose the actual DWU usage (not the same as the scale setting). によると、今後のリリースで検討となっているのですが、現時点では実装されているかが微妙でして。
Read the rest of this entry »
SQL Data Warehouse で静的なリソースクラスが追加されています
資料のメンテナンスを実施していて気付いたのですが、SQL Data Warehouse のリソースクラスに「静的なリソースクラス」が追加されていました。
SQL Data Warehouse での同時実行とワークロード管理
今までのリソースクラス (smallrc/mediumrc/largerc/xlargerc) は「動的なリソースクラス」となっており、DWU の性能に応じて、リソースのサイズが 4 段階に分けられていましたが、静的なリソースクラスでは、「staticrc10~80」までの 8 種類に分けられ今までより細かな粒度 / DWU のサイズを変更しても一定のサイズを固定で割り当てることができるようになったようです。
メモリの割り当てと使用するスロット数が細かに調整できるようになりましたので、同時実行数を今までより詳細に調整できるようになったのではないでしょうか。
SQL Data Warehouse の Replicated Table を使ってみる
SQL Data Warehouse で Replicated Table が Public Preview でサポートされたようです で投稿をしましたが、Replicated Table を実際に使ってみました。 Read the rest of this entry »
SQL Data Warehouse で Replicated Table が Public Preview でサポートされたようです
今日、この話題になって、「そういえばどうなったんだろう」と思って調べてみたところ How can we improve Microsoft Azure SQL Data Warehouse ? で「COMPLETED」となり、Public Preview として実装が行われたようです。
SQL DW のベースになった PDW では、初期から実装されていたかと思いますが、SQL DW でもついに来ましたね。
- 超並列処理 (MPP) 用の分散データと分散テーブル
- Azure SQL Data Warehouse でレプリケート テーブルを使用するための設計ガイダンス
- sys.pdw_replicated_table_cache_state (Transact-SQL)
- CREATE TABLE (Azure SQL Data Warehouse)
- CREATE TABLE AS SELECT (Azure SQL Data Warehouse)
サイズについては2GB 程度が推奨となるようですが、各コンピュートノードに近い位置にデータが分散された形でテーブルが配置されるような分散方法が可能になります。
Replicated Table を使用することで、各コンピュートノードにテーブルが配置されるようになるため、テーブルの結合時のデータの移動のコストを抑えることができるようになります。
マスター関連のテーブルで効果的に動作する感じですかね。
データの変更が頻繁に発生するものや、コンピュートノードの数を頻繁に変更するような場合には、情報の再構築のオーバーヘッドが発生するようですので、必要になるかはきちんと検討する必要があるかとは思いますが。
Simple Monitor というツールを細々と作っています
ちょっと、SQL Server や、SQL Database のリソース可視化を行いたかったので、Simple Monitor というツールを細々と作っています。
https://github.com/MasayukiOzawa/SQLServer-Util/tree/master/Simple%20Monitor
Read the rest of this entry »
SQL Data Warehouse で照合順序のサポートが強化されていたようです
今日、Stretch Database を設定していて気付いたのですが、SQL Data Warehoues で照合順序のサポートが強化されたようです。
# Stretch Database も裏は SQL Data Warehouse ですので。
Database collation support for Azure SQL Data Warehouse
How can we improve Microsoft Azure SQL Data Warehouse ? から始まった感じなのですかね。
リリース当初は「SQL_Latin1_General_CP1_CI_AS 」のみがサポートされていたかと思いますが、今の SQL DWH では、データベースの作成時に照合順序を指定できるようになっています。
作成時にのみ指定できる感じのようですね。
CREATE DATABASE (Azure SQL Data Warehouse)
GitHub のヘルプを見ていると、日本語版のヘルプについては、9/6 に照合順序の記載が行われたようですので、GA したタイミングあたりで変更が行われていたのかもしれないですね。
この変更で、SQL Server 2016 の Stretch Database が適用できるデータベースの照合順序の制約も緩和されましたので、利用がはかどるのではないかと。