Synapse Analytics の 2020/7 のリリースノートが公開されています。
今月の更新内容はこちら。
行レベルの暗号化 / 互換性レベルの GA / 行レベルセキュリティ (RLS) が新機能となるようですね。
Microsoft MVP アワードを再受賞させていただきました
Microsoft Most Valuable Professional (MVP) アワードを、 Data Platform のカテゴリで今年も再受賞させていただきました。
早いもので、受賞させていただいてからもう 10 年になるのですね。
10 年前は、Windows 以外のプラットフォームで SQL Server を使用することや、PDW (Parallel Data Warehouse / Microsoft Analytics Platform System (APS)) のアーキテクチャを手軽に触ることができるようになるとは全く思っていませんでしたが、SQL Server ベースの環境も様々な進化が行われましたね (しみじみ)
海外の SQL Server の MVP / エンジニアの方の発信している情報と比較して、情報の密度/深度が低く、公式のドキュメント等で発信されている内容を整理したような情報の発信しかできておらず、「このような情報しか発信できていない状態で、コミュニティ活動への貢献と言えるのだろうか？」と悩んだのですが、今年も受賞させていただくことができました。
前回の受賞期間の中では、あまりコミュニティ登壇をする時間が取れず、ブログによる情報発信がメインだったのですが、今年は登壇も少し再開したいかなと。
ぼちぼち、SQL Server / SQL Database だけでなく、Data Platform のスキルを伸ばさなくてはいけない今日この頃ですが、引き続きよろしくお願いいたします。
SQL Server / SQL Database パフォーマンスチューニング & トラブルシューティング シリーズ : SQL Server へのクエリ実行時の「コマンド タイムアウト」の挙動について
本ブログでは、次の投稿で SQL Server へのクエリ実行時の「コマンド タイムアウト」(クエリ タイムアウト) について触れてみました。
そもそも「コマンド タイムアウト」とは何なのでしょうか？
上記の投稿では触れていなかった部分についてもまとめておきたいと思います。
PowerShell (7.0.2) で Microsoft.Data.SqlClient 2.0 を使用する
Released: General Availability of Microsoft.Data.SqlClient 2.0 でアナウンスされましたが、.NET で SQL Server にアクセスするための最新のデータプロバイダーである Microsoft.Data.SqlClient 2.0 がリリースされました。
アナウンスや、リリースノート でも触れられていますが、いくつかの機能が追加されています。
Some of the highlights of new features over the 1.1 release of Microsoft.Data.SqlClient include:
- Support for Active Directory Integrated and Interactive authentication modes when targeting .NET Cor…
- Support for Active Directory Service Principal authentication
- EventSource tracing support
- SNI dependency changes
- SqlBulkCopy RowsCopied property
- Connection Open Overrides
- Order Hints for SqlBulkCopy
PowerShell から新機能の検証をしようと思ったところ、Microsoft.Data.SqlClient 2.0 を使用するのにちょっとハマったので、メモを残しておこうかと。
動作方法がよくわかっていなかったので、”Microsoft.Data. SqlClient is not supported on this platform.” when trying to use it in PowerShell 7.0.2 で助けていただきました (感謝)
Microsoft.Data.SqlClient with PowerShell も参考にさせていただきました。
(本ドキュメントを書かれていた方に Issue でヘルプいただけて感謝、感謝)
Microsoft.Data.SqlClient については Microsoft.Data.SqlClient 名前空間の概要 でドキュメントが公開されていますので、こちらも確認すると良いかと思います。
SQL Server 側でエラーを取得するための方法
以前、次の投稿を書きました。
これらの投稿では、「アプリケーションからのクエリタイムアウト (コマンドタイムアウト)」を SQL Server 側 (DB サーバーサイド) で取得する方法について記載を行いました。
(本ブログでも何回か書いていますが、クエリのタイムアウトは「アプリケーションから発行された Attention のメッセージにより、SQL Server がクエリをキャンセルする処理」ですので、クエリをタイムアウトさせているのは、SQL Server ではなく、クエリを発行したアプリケーション側の処理となります)
SQL Server に対してクエリを実行する際に発生するのは、クエリタイムアウトだけでなく、様々なエラーがあります。
本投稿では、クエリタイムアウト以外のエラーを SQL Server 側で取得する方法の一例について紹介したいと思います。
クエリのタイムアウトや、クエリの実行の失敗については、クエリ実行側 (アプリケーション側) で取得した方が正確かと思いますので、SQL Server で全てをキャッチするのではなくアプリケーション (または、APM のような仕組み) でエラーを把握した方が良いと思います。
(DB に対してのクエリ実行でエラーが発生すると、SQL Server 側の調査のみで原因を特定してくれという依頼が多いのですよね…。)
Azure Data Factory から Azure Functions (PowerShell) を実行する
Azure Functions で関数を作成する際、作業用の環境で作成しやすいので、PowerShell で書いています。
Azure Data Factory から Azure Functions を呼び出す際には Functions 側はどのように書けばよいのかをメモとして。
Synapse Analytics のサンプル / ワークショップコンテンツ
Synapse Analytics (ワークスペース) のサンプルについては、Samples for Azure Synapse Analytics (workspace preview) で公開されており、ドキュメントにもこのサンプルにリンクが行われていますが、それ以外にもいくつかのコンテンツが GitHub 上で公開されています。
Microsoft から公開されているコンテンツとしては次のようなものがあるようです。
- Azure Synapse Analytics end-to-end solution
- Exercise 6: Machine Learning の PREDICT 関数の実行については、次の注釈があります。
PREDICT 関数を使用するためには、ホワイトリストに登録されている必要があるため、通常の環境では、2020/6 時点では実行することができないため、ワークショップを参考にしてどのような流れになるかを把握するまでになるかと。 - Note: In order to make use of the
PREDICTT-SQL function, your environment will need to be whitelisted. If your environment is not whitelisted, then you should read through the steps of this task as a reference as you will not be able to run the prediction queries. - Spark pool demo
- PySpark (Python) Demo
MS 以外から公開されているコンテンツとしては次のようなものもあるようですね。
Managed Instance のロードマップ (2020/5 版)
Build 2020 のセッションでは、発表はなかったようなのですが、先月開催されていた、DataPlatformGeeks Virtual Symposium ので Start modernizing your workloads at scale with Managed Instance でSQL Database Managed Instance (マネージドインスタンス) のロードマップが公開されました。
このセッションで、どのような機能強化が予定されているのかが発表されたのかをまとめておきたいと思います。
現時点で実装されている機能については、次のようになっています。
SQL Edge で IoT Edge モジュールを開発してストリーム処理を実施する際に参考とした情報
初めて IoT Hub / IoT Edge を触って、手探りで Raspberry Pi 4 + DHT22 で室温のセンサーデータをストリーミングした際に参考とした情報の箇条書きとなります。
SQL Edge のドキュメントは、Azure SQL Edge (プレビュー) のドキュメント となりますが、検証をするに際しては IoT Hub / IoT Edge についても軽くは知っておく必要がありますので、最低限、次のような情報を確認しておくと良いのではないでしょうか。
(私はこれらの情報が必要でした)
2020/5/29 時点では、IoT Edge モジュールを開発する際に環境を整備すると Threat detected: Trojan:Win32/Zpevdo.A in iotedgehubdev.exe #274 という脅威検知が行われてしまうようで、VS 2019 だけでなく、Visual Studio Code でも同様の現象が発生しました。。。。
Windows 10 May 2020 Update に手動アップデートできるようになりました
私の環境では、まだ、Windows Update に来ていないようなのですが、Windows 10 のダウンロードページに Windows 10 May 2020 Update が公開されたようです。
「今すぐアップデート」から、EXE をダウンロードして実行することで手動でアップグレードすることができそうです。 
どのような機能が追加されているかについては、What’s new in Windows 10, version 2004 for IT Pros から確認することができます。
WSL2 については次の情報を確認するとよさそうです。