SE の雑記

SQL Server の情報をメインに Microsoft 製品の勉強内容を日々投稿

Archive for 9月, 2020

「新しい仮想クラスターで作成された」Azure SQL Managed Instance でグローバル VNET ピアリングがサポートされました

without comments

Ingite 2020 でアナウンスが行われましたが、「新しく作成した」Azure SQL Managed Instance (MI) に関してはグローバル VNET ピアリングがサポートされるようになります。

Read the rest of this entry »

Written by Masayuki.Ozawa

9月 27th, 2020 at 1:45 pm

Posted in SQL Database

Tagged with

Ignite 2020 の SQL Server / SQL Database のセッション

without comments

Ignite 2020 で発表された SQL Server / SQL Database 関連の更新情報 はアナウンスのあった情報ですが、セッションについても確認できた内容から、少しずつまとめていこうかと。

Azure SQL Family の更新情報については、Azure SQL: What to use when and updates from the Product Group のセッションでまとめられており、最新のアップデートについて紹介が行われています。

imageimage
imageimage

 

Read the rest of this entry »

Written by Masayuki.Ozawa

9月 24th, 2020 at 2:13 pm

Ignite 2020 で発表された SQL Server / SQL Database 関連の更新情報

without comments

Ignite 2020 に合わせて SQL Server / SQL Database 関連の情報がアップデートされていますのでまとめて。

公式の情報は Microsoft Ignite 2020 Book of News から確認でき、日本語版 も公開されています。

 

データ関連の全体的なアナウンスについては、次の記事とセッションを見ると良いかと思います。

  • What’s new in Azure SQL Managed Instance at Ignite 2020
  • Azure SQL: What to use when and updates from the Product Group
  • Azure Synapse Analytics: Powering data exploration and data warehousing with new features
  • Making sense of Azure and Azure Arc deployment options for SQL Server
  • Microsoft Ignite Announcements 2020
  •  

    Making sense of Azure and Azure Arc deployment options for SQL Server で公開されていますが、Azure 上で動作する SQL Server ベースの環境もだいぶ増えましたね。

     

    Read the rest of this entry »

    Written by Masayuki.Ozawa

    9月 23rd, 2020 at 12:17 am

    Synapse の BroadcastMove / ShuffleMove の動作について

    without comments

    Synapse Analytics では、データの移動について、

    • BroadcastMoveOperation
    • ShuffleMoveOperation

    という 2 種類の操作を目にする機会が多いかと思います。

    これらの動作については、次のドキュメントなどに情報が記載されています。

    Synapse の SQL Pool に関しては、Analytics Platform System (APS) という、以前は、Parallel Data Warehouse (PDW) と呼ばれていたシステムがベースになっており、基本的な考え方については、並列データウェアハウスコンポーネント-分析プラットフォームシステム の情報も参考になるケースがあります。

     

    クエリの操作については、Analytics Platform System Appliance Update 5 Documentation and Client Tools からダウンロードできるドキュメントが今でも一番情報が記載されているのではないでしょうか。

    このドキュメント内には、BroadcastMoveOperation と ShuffleMoveOperation についても記載されています。

    • BroadcastMoveOperation
      • 分散データをレプリケートされたテーブルに移動する
      • この操作は、ディストリビューションと互換性のない結合を実行しているときに使用される機会がある。
      • この操作を実行するために、各ディストリビューションは、該当の行をすべてのComputeノードにブロードキャストする。
      • その結果、各Computeノードは、自分の行に他のComputeノードから受け取ったすべての行を加えて、レプリケートされたテーブルを作成する。
    • ShuffleMoveOperation
      • 分散されたテーブルを再配布する。
      • 再配布されたテーブルは、元の分散テーブルとは異なる分散カラムを持ち、これは、互換性のない結合や互換性のない集約を実行している場合に使用されることがある。
      • この操作を実行するために、DMSは、各行を分散先のテーブルの分布列に従って正しい計算ノードに移動する。
      • 既に正しいComputeノードに格納されている行は、この操作中はコピーされない。

    というような記載があります。

     

    基本的には、ディストリビューションに格納されていないデータ間での結合や集計が発生した際に、他のディストリビューションのデータを再配布することで必要なデータをコピーする処理となるのですが、どのような動作が実行されているかについて、まとめたことがなかったので、この機会にまとめておこうかと思います。

    Read the rest of this entry »

    Written by Masayuki.Ozawa

    9月 22nd, 2020 at 11:57 pm

    Posted in Synapse Analytics

    Tagged with

    絵で見てわかる SQL Server の仕組み が発売されましたので一通り読んでみました

    without comments

    2020/9/14 に  11 年前に発売された 平山さん の著書である 絵で見てわかるSQL Serverの内部構造 の改訂版となる 絵で見てわかるSQL Serverの仕組み という SQL Server の書籍が発売されました。

    Kindle 版の販売がまだ先だったので、紙の書籍を購入したものが今日届き、一通り目を通すことができましたので感想などを。

    最新の SQL Server をターゲットとして、日本語で内部の動作に触れている書籍は、現時点ではこの書籍だけで、前作と同様に今回の改定版も良著ですので、「SQL Server を単純に操作するのではなく、内部動作を理解して製品を使用できるようになりたい」という思いがある方にとっては、最適な書籍ですので一度読まれてみてはいかがでしょうか。

    Read the rest of this entry »

    Written by Masayuki.Ozawa

    9月 16th, 2020 at 11:51 pm

    Posted in SQL Server

    Tagged with

    Azure Data Factory の Private Link 対応が GA したので試してみる

    without comments

    Azure Data Factory での Azure Private Link のサポートの提供が開始されました がアナウンスされていますが、Azure Data Factory (ADF) が Private Link をサポートしました。

    詳細については、Azure Data Factory 用の Azure Private Link で公開されていますが、何ができるのかいまいちわかっていなかったので試してみました。

    デフォルトの Azure 統合ランタイム (Azure IR) ではなく、Self-Hosted Integration Runtime (SHIR) を使用する場合に、通信を Private Endpoint 経由にするために使用するものなんでしょうかね。

    データ周りを Private Link 経由にする方法もいろいろと調査しないと。

    Read the rest of this entry »

    Written by Masayuki.Ozawa

    9月 16th, 2020 at 6:22 pm

    Posted in Data Factory

    Tagged with

    Azure Data Factory の Web Activity で REST API をコールする (MSI を使用しないケース)

    without comments

    Azure Data Factory の Web Activity を使用すると、パイプライン内で REST API をコールすることができます。

    image

    Azure のリソースにアクセスするのであれば、Data Factory の MSI を使用するアクティビティを作成すればよいのですが、MSI を使わない場合、どうやるのかを忘れて最初から調べなおすことがあるので、まとめておこうかと。

    Azure Data Factory の MSI を使用するケースについては、次の情報を参照してください。

    今回は Data Factory の実行状況を確認するための REST API をコールしてみます。

    Read the rest of this entry »

    Written by Masayuki.Ozawa

    9月 10th, 2020 at 8:37 pm

    Posted in Azure Data Factory

    Tagged with