SE の雑記

Ignite 2017 の動画ですが、Inite のサイトだと https://myignite.microsoft.com/videos からアクセスできます。
この中から最新の情報をメモとして抜き出したものを。
(セッション動画を見ながら随時更新しています)
Read the rest of this entry »

Ignite 2017 のキーノートを見ながらぺたぺたと。
Ignite 2017 の動画についてはこちらから。
https://www.microsoft.com/en-us/ignite/default.aspx
Read the rest of this entry »

Microsoft Video Indexer expands functionality unlocking more video insights に記載されていますが、9 月の更新で、Video Indexer の Insights の情報をポータルからダウンロードできるようになりました。

JSON に含まれている内容については、API 経由で取得できる情報と同じかと思いますので、Examine the Video Indexer output から、取得できる内容を確認できるかと。
Insights の情報が含まれている JSON のファイルをダウンロードすることができるようになっているのですが、
これを SQL Server 上でクエリをかけてみたいと思います。
Read the rest of this entry »

ML Services 向けのストアドプロシージャは、sp_execute_external_script (Transact-SQL) で実行するのですが、@script には、R / Python のスクリプトを直に書く必要があります。
SSMS でスクリプトを書いてもインテリセンスが効かず、デバッグ実行もできないので、データサイエンスの匠でないと、これだけで開発は難しいかと…。
ということで、SQL Server 2017 RC2 Express Edition + VS Code で開発した方がいいのかなと。
SQL Server 2017 Express Edition with Advanced Services の無償環境でも ML Services は使用できるのですが、In-Database 限定となっています。
https://docs.microsoft.com/ja-jp/sql/sql-server/editions-and-components-of-sql-server-2017

この環境ですと「python.exe」に対してパスが通っていない状態となりますので、VS Code 側でパスを指定することで、RevoscalePy を使用した開発が VS Code でできるようになります。
VS Code に Python の拡張機能をインストールした後に、基本設定の設定を開いて、

ユーザー設定に、次のように、ML Services で使用される Python のパスを指定することで、ML Services 向けの Python 開発が実行できるようになります。

{
    "python.pythonPath": "C:\\Program Files\\Microsoft SQL Server\\MSSQL14.SQLEXPRESS\\PYTHON_SERVICES"
}

SQL Server 2017 の GPU サポートについて、まとめておきたいと思います。
https://gist.github.com/MasayukiOzawa/7965ffce226a8f94ba457671dd844b92 に今回勉強をする中で使用したサンプルを置いてあります。
情報については Linux/Docker 版も登場! Microsoft SQL Server 2017 の情報まとめ【5/1 更新】 を確認していただくとよいかと考えていますが、SQL Server 2017 の GPU の対応については次のような記載となっています。

NVIDIA GPU アクセラレーションの実現: R/Python を利用して GPU による高速計算での機械学習も実現、1 秒あたり100 万件の予測処理が可能です。

SQL Server 2017 が GPU を使用可能になっている範囲ですが「Machine Learning Services で GPU 対応のパッケージ (処理) を使用」した場合に、GPU を使用できるという理解でいます。
そのため、SQL Server の通常のクエリプロセッシングで GPU が使われるのではなく、ML Services で R または Python のスクリプトを実行する際に、GPU 対応したパッケージを介して、GPU を使用する処理を実施している場合のみ、SQL Server で GPU が使用できる形になるのではないでしょうか。
Read the rest of this entry »

VS Code を Python のスクリプト開発で行う際に、次のような input による対話入力をデバッグ実行する際の覚書です。

string = input("Hello:")
print(string)

Capture User Input via input() or raw_input()
で解説されていますが、デバッグ実行を実施する際のコンソールとして、

"console": "integratedTerminal",
または、
"console": "externalTerminal",

 
を使用するように「launch.json」の設定を変更することで、デバッグ実行時にターミナルが使用されるようになりますので、インプットの入力が可能となるようです。
標準の「デバッグ コンソール」だと対話型インプットができない感じなのでしょうかね。

最近、スラスラわかるPython と 12歳からはじめる ゼロからの Pythonゲームプログラミング教室 を読みつつ Python の初歩を勉強していたりします。
これらの書籍では、VS Code で Python を学ぶことができるのですが、デバッグ実行は使っておらず、「python.exe」を使用したスクリプトの直接実行が実行時のパターンとして使われていました。
私は、VS Code でデバッグ実行しているので、その際に作業ディレクトリ (ワークディレクトリ) を変更していた際の覚書を残しておきたいと思います。
Read the rest of this entry »

以前、2016/7 時点の SQL Server の修正プログラムの入手方法について という投稿で、SQL Server の累積修正プログラムについて書いたのですが、その次の内容を書いていなかったことに気づいたので書いておきたいと思います。 Read the rest of this entry »

SQL Data Warehous をポータルで確認した際に、以下のような画像のタイルの情報を確認することができます。

DWU LIMIT と DWU USED という項目があるのですが、現状、簡単に取得する方法が見当たらないのですよね…。
Provide a way to expose the actual DWU usage (not the same as the scale setting). によると、今後のリリースで検討となっているのですが、現時点では実装されているかが微妙でして。
Read the rest of this entry »

資料のメンテナンスを実施していて気付いたのですが、SQL Data Warehouse のリソースクラスに「静的なリソースクラス」が追加されていました。

SQL Data Warehouse での同時実行とワークロード管理
今までのリソースクラス (smallrc/mediumrc/largerc/xlargerc) は「動的なリソースクラス」となっており、DWU の性能に応じて、リソースのサイズが 4 段階に分けられていましたが、静的なリソースクラスでは、「staticrc10～80」までの 8 種類に分けられ今までより細かな粒度 / DWU のサイズを変更しても一定のサイズを固定で割り当てることができるようになったようです。
メモリの割り当てと使用するスロット数が細かに調整できるようになりましたので、同時実行数を今までより詳細に調整できるようになったのではないでしょうか。