SE の雑記

Day 2 のキーノートです。
Day 2 は新機能等ではなく、アーキテクチャ等のお話が多いかと思いますが、今回はクラウド時代の DWH のアーキテクチャについてで、かなり興味深かったです。


Virtual Chapter Member に日本含まれているんですね。

来年になると PASS BA Day があるそうです。

続いて、Denise Mclnerney さん。

PASS の Web サイトのデザインが変わるそうです。レスポンシブデザインになるみたいですね。

来年も似た時期にあるようです。

スピーカーは変わって David DeWitt さんに。
去年でラストかと思ったら今年も登壇!!

お題は Data Warehousing in the Cloud


MS ではなく、MIT に移られているので、SQL Server 製品以外も紹介されますねw


この辺はお高いやつ

この辺はミドルレンジの製品ですね。

クラウドはこの辺に

複数の軸での比較
突然のめんたろ社長！！


クラウド DW をなぜ使うか。

スケーラブルな DW の基本について。

二つのスケーラブル DW のデザイン
SQL Server 以外触っていないので知らない製品がちょいちょい。

シェアードナッシング型。

こちらは共有ストレージ型。

パーティショニングされたテーブル
この辺は SQLDW のテーブル構造を思い出す感じですね。


ラウンドロビンによるパーティショニング

ハッシュによるパーティショニング

最後はテーブルのレプリケーション
APS には実装されているのですが、SQLDWH にはいつ来るのでしょうかね。

こちらは操作における並列化ですかね。

SQLDWH や Polybase はこの構成ですね。

共有ストレージ側の場合。

先ほどは集計でしたが今度は結合

結合するテーブルによる操作の違い
この辺は SQLDWH の DMS の操作ですね。

 
ローカル JOIN やシャッフルの操作についての解説が。
ローカルにデータがない場合はシャッフル操作で一時的なデータの移動が発生します。


ノードの障害について。
シェアードナッシング型の場合は、他のノードのデータのコピーを持つことで、ノードの障害に備える形に。

ベターな分割としては、完全なコピーを単一のノードで持つのではなく、コピーは分散させることで、障害発生時の性能劣化を抑えることができると。ノード数が多ければ、障害発生時の性能劣化の影響がさらに低く。
続いては共有ストレージタイプの場合。
ノードとデータは独立していますので、ノード障害が発生してもデータにはアクセスできる状況に
ストレージ障害に備えるためにはデータコピーを持つのは変わらないですね。


続いては競合比較。
最初は Redshift の構成について。



次は Snowflake。
こちらは行ベースなのですね。


最後は SQLDWH

各社比較に。

黙々と資料見てしまいましたが、SQL DWH 以外の DWH は初見に近いのでかなり面白かったです！！