SE の雑記

SQL Server の情報をメインに Microsoft 製品の勉強内容を日々投稿

Archive for the ‘SQL Server’ tag

完全復旧モデルでトランザクションログの領域が不足している状態でインデックスの再構築を実施したい場合の対応方法の一案

leave a comment

SQL Server の復旧モデルを完全で使わないといけないシチュエーションというものがいくつかあるかと思います。
その中でも「構成としての制約」から、完全復旧モデルが必要となる場合があります。

  • AlwaysOn 可用性グループを使用している
  • PaaS (SQL Database / Managed Instance / RDS for SQL Server 等) を使用している

というようなケースが考えられますが、これらの環境を使用している場合にトランザクションログの領域が不足しているが、インデックスの再構築を実行したい場合の対策の一案を。
「再開可能なオンラインのインデックス再構築」(ROIR) を使用するため、SQL Server 2017 Enterprise Edition 以上がベースとなっている必要があります。
ちなみに SQL Database と Managed Instance は SQL Server 2017 の EE 相当の機能を使うことができるようになっていますので、どのサービスレベルでも使用できます。
SQL DB では、この機能は、まだ Preview 中となっていますが。
Resumable Online Index Rebuild is in public preview for Azure SQL DB
Read the rest of this entry »

Written by Masayuki.Ozawa

7月 11th, 2018 at 12:44 pm

Database Experimentation Assistant (DEA) の情報をまとめてみる (2018/6 版)

leave a comment

以前、Database Experimentation Assistant Technical Preview を日本語環境で動作させてみる という投稿を書いたのですが、正式版がリリースされてからの情報がキャッチアップできていなかったので、この機会にまとめてみたいなと。
Read the rest of this entry »

Written by Masayuki.Ozawa

6月 10th, 2018 at 3:50 pm

Posted in SQL Server

Tagged with ,

PowerShell の Runspace を使用して複数のクエリを実行してみる

leave a comment

以前、投稿した SQL Server on Linux のデータベース バックアップを PowerShell Core で取得してみる のスクリプトをベースにしたものですが、Runspace を使用して複数のクエリを実行するスクリプトを作ってみました。
Invoke-ParallelQuery.ps1
「複数のセッションからクエリ実行したときの、あの動き、どうだったっけ?」というのを確認するために、ざっくり作ったものなので、時間のある時に清書しようかと。
実行が 10 数ミリ秒で終わってしまうものですと、実行タイミングがかぶることが無く、あまりこのスクリプトを使う必要はないのですが、「数秒以上かかるメンテナンスのクエリが実行されている最中に、他のクエリを実行するとどうなるか?」というような用途での利用を想定したものです。
SQLQueryStress ですと、同一のクエリを複数セッションで実行する方式となり、異なるクエリを同時に実行するためには、複数ツールを起動した状態にしなくてはいけないので、その部分を簡易的に埋める目的もあったりしますが。
データセットの情報を別で表示する際に「Out-Gridview」を使用しているため、Windows PowerShell 専用となっているところもどこかで対応したいですねぇ。。。
Read the rest of this entry »

Written by Masayuki.Ozawa

6月 7th, 2018 at 11:18 pm

Posted in PowerShell,SQL Server

Tagged with ,

SQL Server on Linux のデータベース バックアップを PowerShell Core で取得してみる

leave a comment

de:code 2018 では、SQL Server on Linux のデータベースバックアップを bash + sqlcmd で実装する方法をデモで実施しました。
Windows PowerShell から、バックアップを取得するスクリプトも以前組んだことがあったのですが、PowerShell Core で実装したことが無かったので、勉強がてら作成してみました。
(Windows PowerShell (v5.1) でも実行可能です)
Backup-Database.ps1
image_thumb2

pwsh./Backup-Database.ps1 -ServerInstance <ServerName> -Username <Login> -P <Login Password> -RunSpaceSize 5

Read the rest of this entry »

Written by Masayuki.Ozawa

6月 2nd, 2018 at 5:15 pm

de:code 2018 の登壇資料とデモコンテンツを公開しています

leave a comment

先日開催された de:code 2018 で SQL Server on Linux のセッションを担当させていただきました。

後日、公式サイトからセッション動画とスライドが公開されると思いますが、先行して GitHub 上でコンテンツを公開しておりますので、ご興味のある方がいらっしゃいましたらご利用ください。
当日使用したバージョンのスライドの Slideshare へのリンクも、ReadMe に記載しております。
https://github.com/MasayukiOzawa/decode-2018-demo

Written by Masayuki.Ozawa

5月 25th, 2018 at 7:40 am

Build 2018 の SQL Server / SQL Database の関連セッション

one comment

Build 2018 も終わり、コンテンツが公開されていますのでメモとして。
今年は、キーノートで SQL Server 関連の内容は少なく、新情報はあまりない雰囲気ではありますが。
今年のコンテンツは、Channel 9YouTube で公開されているようですね。
(Channel 9 の動画が YouTube のリンクになっているようです)
Read the rest of this entry »

Written by Masayuki.Ozawa

5月 13th, 2018 at 2:20 pm

SQL Database Managed Instance と SQL Server / SQL Database の比較

leave a comment

本投稿は 2018/4 時点の Public Preview の内容です。
一般提供開始時には変更されている可能性があります。

SQL Database Managed Instance と Azure の SQL Server ベースのサービスを比較してみた際にまとめたものを投稿しておきたいと思います。
機能差異については、次のドキュメントから追うことになるかと。

比較結果は、利用者によっていろいろな観点があるかと思いますので、今回の比較はあくまでも「私個人が調べた結果での比較」となっていますのでご了承ください。
(MI はプレビューのサービスですので、この投稿に書いてある内容も、時期によっては古いですのでご承知おきください)
Read the rest of this entry »

Written by Masayuki.Ozawa

4月 22nd, 2018 at 6:37 pm

SQL Database Managed Instance のネイティブバックアップのリストアについて

leave a comment

本投稿は 2018/4 時点の Public Preview の内容です。
一般提供開始時には変更されている可能性があります。

SQL Database Managed Instance (MI) の大きな特徴の一つとして「ネイティブバックアップのリストア」をする機能があります。
ネイティブバックアップとは、オンプレミスの SQL Server で取得されているバックアップのことを指します。
従来から提供されている PaaS 型の SQL Server ベースの RDBMS である「Azure SQL Database」「Azure SQL Data Warehouse」では、ネイティブバックアップのリストアはサポートされていませんでした。
そのため、SQL Server のデータベースを移行しようとした場合、

  • スキーマ / データをエクスポートしたものをベースにして移行を検討
  • BACPAC ファイルで移行

というような手法をとる必要がありました。
しかし、大規模なデータベースの場合、これらの方法は効率的ではありませんし、何回も移行をするという作業には適していませんでした。
この辺がネックになり、PaaS ではなく、IaaS の「SQL Server on Azure VM」を採用したというケースもあるのではないでしょうか。
このような現状に対して「SQL Database Managed Instance」は、オンプレミスの SQL Server のバックアップをリストア可能にしています。
これにより、PaaS で提供されているデータベースへの「リフト & シフト」を容易にしているというのが特徴としてあります。
リストア可能なデータベースは「ユーザーデータベース」のみとなっており、システムデータベースはリストアすることができません。
そのため、ログインや SQL Server Agent のジョブの情報についてはスクリプトでの移行を検討する必要があります。
それでは、ユーザーデータベースのリストアを、どのように実施するのか、流れを見ていきましょう。
Read the rest of this entry »

Written by Masayuki.Ozawa

4月 21st, 2018 at 11:17 am

PowerShell Core 6.0 に一部対応した SqlServer モジュールの提供が開始されました

leave a comment

クロスプラットフォームに対応した PowerShell である、PowerShell Core 6.0 に一部対応した SQL Server 用のモジュール (SqlServer) の提供が開始されました。
SQL Server 向けの PowerShell については、SSMS 17.0 以降は、PowerShell ギャラリーからインストールを行う方法に代わっています。
SQL Server PowerShell モジュールのインストール
最新版の SQL Server PowerShell モジュールである version 21.0.17240 から、PowerShell 6 Support が含まれるようになりました。
Read the rest of this entry »

Written by Masayuki.Ozawa

4月 15th, 2018 at 10:14 pm

Posted in SQL Server

Tagged with ,

sys.dm_os_performance_counters でパフォーマンスモニターの情報を取得する際のポイント

leave a comment

何年も前に書いた sys.dm_os_performance_counters の情報取得時の注意点 の補足になります。
なぜ、このタイミングで改めて書いたかというと、sys.dm_os_performance_counters は、SQL Server on Linux で SQL Server のパフォーマンスを確認する際に重要な DMV となるからです。
SQL Database で情報を確認する場合にもこの DMV は重要となりますので、値の成型方法は覚えておいて損はないかと。

詳細については、次の情報も併せて確認してください。

取得用のクエリについては sys.dm_os_performance_counters の加工.sql で、私が作ったものを公開していますので、ご参考になれば。

上述の DMV から取得した情報ですが、cntr_type に応じて、次の 3 種類の利用方法があります。

  • 値をそのまま利用
    • cntr_type = 65792
  • 2 点で情報を取得し、その差分の値を取得間隔で除算する
    • cntr_type = 272696320 / 272696576
  • 2 種類の項目を使用して、その値を除算することパーセントを算出する
    • cntr_type = 537003264 / 1073874176

cntr_type に応じた、値の利用方法は次のようになります。

cntr_type 16進値 カウンターのタイプ
65792 0x00010100 PERF_COUNTER_LARGE_RAWCOUNT 瞬間的な値を示す 64 ビット値
(
値をそのまま利用可能)
272696320 0x10410400 PERF_COUNTER_COUNTER 1 秒あたりのイベント発生率を示す 32 ビット値

後続の値との差を取り、2つの値のタイムスタンプの秒数で除算する(A2 – A1) / (A2 Timstamp – A1 Timestamp)

272696576 0x10410500 PERF_COUNTER_BULK_COUNT 1 秒あたりのイベント発生率を示す 64 ビット値

後続の値との差を取り、2つの値のタイムスタンプの秒数で除算する(A2 – A1) / (A2 Timstamp – A1 Timestamp)

537003264 0x20020500 PERF_LARGE_RAW_FRACTION 比率をパーセントで表すことができる 64 ビット値Base Counter の値で除算することで、比率を算出できるRAW_FRACTION / RAW_BASE * 100
1073939712 0x40030500 PERF_LARGE_RAW_BASE PERF_LARGE_RAW_FRACTION との計算で使用される 64 ビット値
1073874176 0x40020500 PERF_AVERAGE_BULK 平均メトリックを示すために使用される 64 </
span>ビット値
後続の値との差を取り、後続の Base Counter の差で除算する(A2 – A1) / (A2 Base – A1 Base)

cntr_type = 65792 については、取得した値がそのまま利用可能で、大体の項目についてはこれに該当しているかと。
代表的なものとしては、Memory Manager の項目などがあります。

この項目の場合「SQL Server のメモリ使用量」を示すものとなり、取得した値を利用そのまま利用することが可能です。
(Pages となっている項目が存在することもありますが、その場合は、値に 8KB をかけることでサイズに変換できます)

cntr_type = 272696320 / 272696576 については、2 点で情報を取得し、その差分を取得間隔で除算することで利用することが可能です。
代表的なものとしては、SQL Statistics の項目などがあります。

この項目の例としては、「Batch Requests/sec」がよく使用するものとなるかと。

この項目は、秒間の SQL のバッチ実行数を表すものであり、SQL Server のインスタンスに対して、どの程度クエリが実行されているかを把握するために使用するものになるのですが、この項目を DMV から取得する場合には、瞬間の値だけをとればよいのではなく、必ず 2 点で取得する必要があります。
2 点で取得した結果が A1 (1 回目の取得) : 50 / A2 (2 回目の取得) : 100 で A1 / A2 の取得間隔が 10 秒だった場合、「(100 – 50) / 10 = 5 Batch Request / sec」となります。

cntr_type = 537003264 / 1073874176 については、2 つの項目をペアとして使用して、その値で除算することで利用することが可能です。
代表的なものとしては、Buffer Manager の項目などがあります。

この項目の例としては「Buffer cache hit ratio」がよく使用するものになるかと。
この項目は、バッファーキャッシュのヒット状況を表すものになるのですが、この項目単体では利用することはできず、ペアとなる値と組み合わせて使用する必要があります。

「Buffer cache hit ratio」の場合、「Buffer cache hit ratio base」がペアとなる値となります。
Buffer cache hit ratio の場合「Buffer cache hit ratio / Buffer cache hit ratio base * 100」というような計算を行うことで、キャッシュヒット率 (%) を算出することができます。

これらの加工方法を知っておくと、様々なモニタリングの仕組みで有効に活用できるかと。

SQL Server on Linux の場合、パフォーマンスモニターを使用した、パフォーマンス情報の取得ができませんので、SQL ベースで情報の取得ができるようになっていると、問題解決の即応性にもつながりますので。

モニタリングのソフトでは、「SQL を実行できるプラグイン」が含まれていることが多く、このようなデータ加工方法を知っておくと性能情報の取得にも役に立てることができるのではないでしょうか。
(時系列 DB だと、一つ前のデータとの差分抽出も簡単にできるものが多いですので、2 点間の差分も容易に出せます)

SQL Database でもこの方法は使用することができますので、「SQL Database の性能情報は DTU だけだとブラックボックス」と思っている方は、DMV から情報をブレークダウンすることに挑戦してみてはいかがでしょう。リソースの使用状況について、かなりの情報を取得することが可能です。

Written by Masayuki.Ozawa

4月 1st, 2018 at 11:35 pm

Posted in SQL Server

Tagged with