SE の雑記

SQL Server の情報をメインに Microsoft 製品の勉強内容を日々投稿

SQL Server 2022 を使用した Parquet / Delta Lake の操作について

leave a comment

SQL Server 2022 では、Parquet ファイルの取り扱いの柔軟性と Delta Lake サポートが追加されています。

SQLBits 2023 の Bob Ward の 「SQL Server 2022 hidden gems」というセッションの中で、SQL Server 2022 の CETAS を使用してオブジェクトストレージに Parquet ファイルをエクスポートすることでテーブルのアーカイブを行うというシナリオの説明があり、このあたりの動作を一度まとめておきたいと思い、本投稿でまとめてみました。

Read the rest of this entry »

Written by Masayuki.Ozawa

4月 26th, 2023 at 10:19 am

Posted in SQL Server 2022

Tagged with

Synapse Analytics のサーバーレス SQL プールのコスト対象となるデータ処理数の基本的な考え方

leave a comment

Synapse Analytics のサーバーレス SQL プールは、メタデータ以外のデータは保持せず、検索対象となるデータは外部ストレージ (サービス) が対象となります。

そのため、利用時のコストは「データ処理数」となり、クエリ実行時には少量データの処理に対しても、最低 10MB の料金がかかることになります。(DMV に対しての検索はコストは発生していないようではあります)

image

検証で使用している場合は、2023年6月30日までの無料枠である、1TB 以内に収まるかと思いますが、実運用で大量データを使用する場合、クエリでどの程度処理が行われるかを把握することは重要となります。

本投稿では、サーバーレス SQL プールのコスト対象となるデータ処理数の基本的な考え方についてまとめておきたいと思います。
今回の対象は Azure ストレージからの情報取得となっており、Synapse Link については調査できていません。

今回は手元の CSV ファイルを使用して検証をしましたが、検証のために、手元にある程度のボリュームのまとまったデータがない場合は、Azure Open Datasets で公開されているデータを使用してみてもよいかもしれません。

Read the rest of this entry »

Written by Masayuki.Ozawa

4月 13th, 2023 at 9:34 am

Posted in Synapse Analytics

Tagged with

WPA で ETL ファイルを開く際に 0x80070032 のエラーが発生した場合の対応

leave a comment

Windows Performance Recorder (WPR) で取得したログを Windows Perormance Analyzer (WPA) で開こうとした場合、「0x80070032」のエラーが発生し開くことができないという事象が発生していました。

Read the rest of this entry »

Written by Masayuki.Ozawa

4月 9th, 2023 at 9:40 pm

Posted in Windows

Tagged with

SQL Servre on Azure VM で Azure で提供されている機能を使用した基本的なセキュリティ保護

leave a comment

タイトルの通りですが、SQL Server を Azure VM で動作させる場合のセキュリティ保護についてまとめておきたいと思い投稿を書きました。

自分が確認しておきたかった内容をまとめているものとなり、操作をしていて標準で気づくものは省いていますので、OS 標準の機能や、SQL Server IaaS Agent 拡張機能については記載していません。

Read the rest of this entry »

Written by Masayuki.Ozawa

4月 5th, 2023 at 5:53 pm

Posted in 未分類

Tagged with ,

2023年3月の Azure SQL Database Update

leave a comment

2023年3月の発表をあまり確認できていなかったのでまとめておきたい思います。

Read the rest of this entry »

Written by Masayuki.Ozawa

4月 2nd, 2023 at 7:38 pm

Posted in SQL Database

Tagged with

Datadog の Integration による Azure Arc との連携

leave a comment

Enhanced Azure Arc integration with Datadog simplifies hybrid and multicloud observability でアナウンスされていますが、Datadog の Integration を使用して Azure Arc の情報を Datadog に取得できるようになりました。

Datadog は Azure Marketplace からも提供されており、Datadog – An Azure Native ISV Service とは でも解説が行われています。

Read the rest of this entry »

Written by Masayuki.Ozawa

3月 30th, 2023 at 10:55 pm

Posted in Azure Arc,Datadog

Tagged with ,

SQL Server を使用したモダンな開発のために把握しておきたいツールのメモ

leave a comment

この領域は情報のキャッチアップができていなかったのですが、そろそろ少しずつ把握しておかないとなと思い、後で思い出すためのメモを。

SQLBits 2023 の Keynote で紹介されていたツールになります。

Read the rest of this entry »

Written by Masayuki.Ozawa

3月 26th, 2023 at 8:37 pm

Posted in SQL Server

Tagged with

SQL Server PowerShell モジュールをインストールして Microsoft.Data.SqlClient を利用可能にする

leave a comment

SQL Server の最新の機能を使用するためには、System.Data.SqlClient ではなく、Microsoft.Data.SqlClient を使用する必要があります。

以前、PowerShell (7.0.2) で Microsoft.Data.SqlClient 2.0 を使用する という投稿を書いたのですが、Windows PowerShell を使用していて、もう少しシンプルな方法で導入することはできないかと考えてみたところ、SQL Server PowerShell モジュール の存在を思い出しました。

2023/04/06 追記

Microsoft.Data.SqlClient が使用されている 22.x が GA リリースされました。

22.0.59 以降で Preview が外れましたので、現時点では GA 版を使用することができます。

Read the rest of this entry »

Written by Masayuki.Ozawa

3月 26th, 2023 at 3:15 pm

Posted in SQL Server

Tagged with

SQL Server IaaS Agent 拡張機能の新しいアクセス許可モデルと従来の管理モードの削除

leave a comment

SQL Server IaaS Agent 拡張機能で新しいアクセス許可モデルの提供が開始され、「完全な sysadmin 権限」「最小特権モデル (原則) 」(least privilege mode) という二種類のアクセス許可が使用されるようになりました。

従来までのアクセス許可モデルは「完全な sysadmin 権限」と呼ばれるものとなり、現状では、

  • 2022年10月より前に Azure Marketplace 経由でデプロイされた SQL Server VM
  • Azure VM に SQL Server をセルフインストールした環境で SQL Server IaaS Agent 拡張機能をインストールした環境

で使用されているものとなります。

上記以外の環境や、自動登録で導入された IaaS Agent 拡張機能については「最小特権の原則」で導入が行われるようになりました。

当初から提供されていた「完全な sysadmin 権限によるアクセス許可モデル」では次の 3 種類の管理モードが提供されていました。

  • エージェント無し
  • Windows Server 2008 にインストールされた SQL Server 2008 / R2 に対してのみ使用可能
  • ライセンスタイプの指定のみ使用することができる
  • 軽量モード
    • ライセンス変更 (PAYG / AHUB / DR) の機能のみを使用することができる
    • FCI / 複数インスタンスの SQL Server では軽量モードのみが使用できる
  • 完全モード
    • IaaS Agent の全機能を使用することができる
    • 2021年9 月から再起動不要で完全モードにアップグレード可能となった

    新しく提供が開始された「最小特権モデル」については、管理モードは削除され、使用される機能に応じたカスタムロールが使用され、機能に応じて必要な権限が付与されるようになりました。

    これにより「最小特権モデル」では、管理モードが削除され軽量や完全モードという管理がなくなりました。

    Read the rest of this entry »

    Written by Masayuki.Ozawa

    3月 26th, 2023 at 1:55 pm

    Posted in SQL Server

    Tagged with

    SQL Server のトラブル解析に Bing AI (Bing チャット) / ChatGPT を活用することはできるか?WSFC の SQL Server の障害を例にして試してみる

    leave a comment

    SQL Server のトラブル解析に Bing AI (Bing チャット) / ChatGTP を活用することはできるのかが気になったので簡単にではありますが試してみました。

    プロンプトの組み方によってはもっと精度を上げることもできるのかとは思いますが、今回はシンプルな自然言語の入力で試しています。

    Read the rest of this entry »

    Written by Masayuki.Ozawa

    3月 22nd, 2023 at 11:31 am

    Posted in SQL Server

    Tagged with

    Share via
    Copy link
    Powered by Social Snap