SE の雑記

SQL Server の情報をメインに Microsoft 製品の勉強内容を日々投稿

Ignite 2017 の動画の内容のメモ

one comment

Ignite 2017 の動画ですが、Inite のサイトだと https://myignite.microsoft.com/videos からアクセスできます。

この中から最新の情報をメモとして抜き出したものを。
(セッション動画を見ながら随時更新しています)

Read the rest of this entry »

Written by masayuki.ozawa

9月 30th, 2017 at 2:33 pm

Ignite 2017 の Day1 Keynote のデータプラットフォームの内容のメモ

2 comments

Ignite 2017 のキーノートを見ながらぺたぺたと。

Ignite 2017 の動画についてはこちらから。

https://www.microsoft.com/en-us/ignite/default.aspx

Read the rest of this entry »

Written by masayuki.ozawa

9月 25th, 2017 at 10:19 pm

Video Indexer のポータルから DL した JSON を SQL Server でクエリをかけてみる

leave a comment

Microsoft Video Indexer expands functionality unlocking more video insights に記載されていますが、9 月の更新で、Video Indexer の Insights の情報をポータルからダウンロードできるようになりました。

image

JSON に含まれている内容については、API 経由で取得できる情報と同じかと思いますので、Examine the Video Indexer output から、取得できる内容を確認できるかと。

Insights の情報が含まれている JSON のファイルをダウンロードすることができるようになっているのですが、

これを SQL Server 上でクエリをかけてみたいと思います。

Read the rest of this entry »

Written by masayuki.ozawa

9月 24th, 2017 at 6:30 pm

ML Services 向けのストアドプロシージャを VS Code で開発する際の覚書

leave a comment

ML Services 向けのストアドプロシージャは、sp_execute_external_script (Transact-SQL) で実行するのですが、@script には、R / Python のスクリプトを直に書く必要があります。

SSMS でスクリプトを書いてもインテリセンスが効かず、デバッグ実行もできないので、データサイエンスの匠でないと、これだけで開発は難しいかと…。

ということで、SQL Server 2017 RC2 Express Edition + VS Code で開発した方がいいのかなと。

SQL Server 2017 Express Edition with Advanced Services の無償環境でも ML Services は使用できるのですが、In-Database 限定となっています。

https://docs.microsoft.com/ja-jp/sql/sql-server/editions-and-components-of-sql-server-2017

image

この環境ですと「python.exe」に対してパスが通っていない状態となりますので、VS Code 側でパスを指定することで、RevoscalePy を使用した開発が VS Code でできるようになります。

VS Code に Python の拡張機能をインストールした後に、基本設定の設定を開いて、

image

ユーザー設定に、次のように、ML Services で使用される Python のパスを指定することで、ML Services 向けの Python 開発が実行できるようになります。

{
    "python.pythonPath": "C:\\Program Files\\Microsoft SQL Server\\MSSQL14.SQLEXPRESS\\PYTHON_SERVICES"
}

Written by masayuki.ozawa

9月 22nd, 2017 at 8:41 am

Posted in SQL Server

Tagged with ,

SQL Server 2017 における GPU の利用 (ML Services の GPU 利用) について

leave a comment

SQL Server 2017 の GPU サポートについて、まとめておきたいと思います。

https://gist.github.com/MasayukiOzawa/7965ffce226a8f94ba457671dd844b92 に今回勉強をする中で使用したサンプルを置いてあります。

情報については Linux/Docker 版も登場! Microsoft SQL Server 2017 の情報まとめ【5/1 更新】 を確認していただくとよいかと考えていますが、SQL Server 2017 の GPU の対応については次のような記載となっています。

NVIDIA GPU アクセラレーションの実現: R/Python を利用して GPU による高速計算での機械学習も実現、1 秒あたり100 万件の予測処理が可能です。

SQL Server 2017 が GPU を使用可能になっている範囲ですが「Machine Learning Services で GPU 対応のパッケージ (処理) を使用」した場合に、GPU を使用できるという理解でいます。

そのため、SQL Server の通常のクエリプロセッシングで GPU が使われるのではなく、ML Services で R または Python のスクリプトを実行する際に、GPU 対応したパッケージを介して、GPU を使用する処理を実施している場合のみ、SQL Server で GPU が使用できる形になるのではないでしょうか。

Read the rest of this entry »

Written by masayuki.ozawa

9月 20th, 2017 at 12:07 am

VS Code で Python の Input による対話入力をデバッグ実行する際の覚書

leave a comment

VS Code を Python のスクリプト開発で行う際に、次のような input による対話入力をデバッグ実行する際の覚書です。

string = input("Hello:")
print(string)

Capture User Input via input() or raw_input()

で解説されていますが、デバッグ実行を実施する際のコンソールとして、

"console": "integratedTerminal",
または、
"console": "externalTerminal",

 

を使用するように「launch.json」の設定を変更することで、デバッグ実行時にターミナルが使用されるようになりますので、インプットの入力が可能となるようです。

標準の「デバッグ コンソール」だと対話型インプットができない感じなのでしょうかね。

Written by masayuki.ozawa

9月 18th, 2017 at 9:05 pm

Posted in 未分類

VS Code の作業ディレクトリについての覚書

leave a comment

最近、スラスラわかるPython12歳からはじめる ゼロからの Pythonゲームプログラミング教室 を読みつつ Python の初歩を勉強していたりします。

これらの書籍では、VS Code で Python を学ぶことができるのですが、デバッグ実行は使っておらず、「python.exe」を使用したスクリプトの直接実行が実行時のパターンとして使われていました。

私は、VS Code でデバッグ実行しているので、その際に作業ディレクトリ (ワークディレクトリ) を変更していた際の覚書を残しておきたいと思います。

Read the rest of this entry »

Written by masayuki.ozawa

9月 18th, 2017 at 12:07 am

Posted in Visual Studio

Tagged with

SQL Server の累積修正プログラムと OS 標準の Windows Update の関係

leave a comment

以前、2016/7 時点の SQL Server の修正プログラムの入手方法について という投稿で、SQL Server の累積修正プログラムについて書いたのですが、その次の内容を書いていなかったことに気づいたので書いておきたいと思います。 Read the rest of this entry »

Written by masayuki.ozawa

9月 17th, 2017 at 10:08 pm

Posted in SQL Server

Tagged with

SQL Data Warehouse の DWU USED を取得するクエリを書いてみました

leave a comment

SQL Data Warehous をポータルで確認した際に、以下のような画像のタイルの情報を確認することができます。

image

DWU LIMIT と DWU USED という項目があるのですが、現状、簡単に取得する方法が見当たらないのですよね…。
Provide a way to expose the actual DWU usage (not the same as the scale setting). によると、今後のリリースで検討となっているのですが、現時点では実装されているかが微妙でして。

Read the rest of this entry »

Written by masayuki.ozawa

9月 13th, 2017 at 10:25 pm

SQL Data Warehouse で静的なリソースクラスが追加されています

one comment

資料のメンテナンスを実施していて気付いたのですが、SQL Data Warehouse のリソースクラスに「静的なリソースクラス」が追加されていました。

SQL Data Warehouse での同時実行とワークロード管理

今までのリソースクラス (smallrc/mediumrc/largerc/xlargerc) は「動的なリソースクラス」となっており、DWU の性能に応じて、リソースのサイズが 4 段階に分けられていましたが、静的なリソースクラスでは、「staticrc10~80」までの 8 種類に分けられ今までより細かな粒度 / DWU のサイズを変更しても一定のサイズを固定で割り当てることができるようになったようです。

メモリの割り当てと使用するスロット数が細かに調整できるようになりましたので、同時実行数を今までより詳細に調整できるようになったのではないでしょうか。

Written by masayuki.ozawa

9月 12th, 2017 at 10:43 pm