SE の雑記

SQL Server / SQL Database

• BRK2013 – Azure’s Data Platform – Powering Modern Applications and Cloud Scale Analytics at Petabyte Scale
  • スライド / ビデオ / YouTube

• Build 2019 で GA / Preview が発表された Azure Data Platform の機能についてのセッション
  • スライドしか見ていないのですが、それぞれデモもあるようです。
• Azure SQL Database Hyperscale の GA
• Azure SQL Database Serverless の Preview 開始
• Azure SQL Database Edge の Preview 開始
• Azure Database for PostgreSQL Hyperscale (Citus) の Preview 開始
• Azure Cosmos DB の Spark / Jupyter Notebook / Cosmos DB API for etcd
• Azure Data Factory の Mapping Data Flows / Wrangling Data Flows のアナウンス

• BRK2014 – Simplify Edge Architecture with Azure SQL Database Edge
  • スライド / ビデオ / YouTube

• Build 2019 で発表された「Azure SQL Database Edge」についてセッション
• 軽量なフットプリント / ターンキー / ML に対応したデータベースエンジンをエッジに接続または、オフラインで実行することができる
  • SQL Server / Azure SQL Database はデータセンター / クラウドで動作するミッションクリティカルなワークロードに対応した、完全な AI / ML 機能を持つ業界をリードするデータベースエンジンとしての役割
  • Azure SQL Database Edge は SQL Server のエンジンを持つため、SQL Server を様々な場所 (として、エッジ / データセンター/ クラウド) でネイティブに動作する一貫性のあるデータ / 分析エンジンとして利用できる
• エッジでの新しい分析 / データ移動 / 管理機能を持つ
• 複数のデバイス間にローカルのデータストレージを提供することで、既存の Azure IoT Edge サービスの補完を行う
• Azure SQL Databas Edge の特徴
  • ARM64 / x64 で動作する 500MB 未満の軽量なフットプリント
  • 時系列処理をビルトインし、SQL と時系列データのストリーミングによる分析が可能
  • R / Python / Java / Spark による AI をビルトイン
    • ML Services + Big Data Cluster の Spark (MSSQL Spark Connector??) のイメージかも
    • AI アイコンが Spark SQL になっているのも少し気になる
  • ターンキー管理による、単一の管理プレーンによる展開と管理
  • SQL Server をベースとしているため、高いパフォーマンスとセキュリティ
• オンプレ / クラウドの SQL Server 等との連携もできるらしい (エンジンが、SQL Server だからリンクサーバー等が貼れる？？)
  • 大量のセンサーデータをエッジで前処理して、クラウドに同期 / 集計することでネットワークの帯域を最適化
  • Azure ML / Azure Analysis Services を用いたデータ活用
• ThinkSystem S350 Edge Server のような、エッジデバイスがある

• BRK3097 – Deploying apps for on-premises and hybrid ML+AI on SQL Server 2019 big data clusters
  • スライド / ビデオ / YouTube

• Big Data Cluster についてのセッション
• Big Data Cluser を使用して ML Service を使用したデモ
• ML for Java 経由で Luis と通信するデモ
• DataOps
• 堅牢性と信頼性
• アプリケーションを簡単にスケールアウトできる
• セルフヒーリング機能により、高可用性を実現
• データと同じインフラストラクチャに導入することで、アプリケーションのパフォーマンスを最適化
• 柔軟性
• データアプリケーションと機械学習のワークロードを効率的に導入、実行、および管理
• 組み込みの監視機能により、アプリケーションの管理が容易
• 統合が容易
• RESTFul Web サービスを使用して、アプリケーションを素早く統合できる
• アプリケーションをオンデマンドまたは、スケジュールで実行することにより、信頼性が向上

• BRK3098 – Built for Speed: SQL Server Database Application Design for Performance
  • スライド / ビデオ / YouTube

• BRK4003 – Develop data application on a no-limits SQL data platform
  • スライド / ビデオ / YouTube

• Azure SQL Databas Hyperscale についてのセッション
• Hyperscale の Primary / Readable secondary / Page server / Log service / Write IO / Read IO  Restore についての基本アーキテクチャについての説明
• 既存の SQL Database Single DB を Hyperscale に変更することもできるが、 Hyperscale → Single Database への移行はできないので注意

• BDL2025 – Azure Data – at the pointy-end of scalability across on-prem, the cloud and on the edge
  • スライド / ビデオ / YouTube

Managed Instance

• BRK3052 – Build modern database applications using Azure SQL Database Managed Instance, ADF and Power BI
  • スライド / ビデオ / YouTube

• SQL Server 2008 / 2008 R2 のサポート終了の紹介から入る Managed Instance のセッション
• Managed Instance の今後のロードマップについての説明あり
  • Q1
    • Australia Central 1, 2 / West India リージョンでの利用
    • Arm Template による Geo Restore
  • Q2
    • Instance Level Collation / Custom Time zone の GA
    • インターネットと Azure DNS の依存関係の削除
    • データトラフィックのパブリックエンドポイント
    • 構成可能な接続ポリシー (Proxy / Redirect)
    • ジオリストア
    • 削除した DB の PITR
    • Azure ポータルからの DB 作成
    • 4 vCore モデル / MSDN サブスクリプションでの利用可能
    • Brazil South / South Africa リージョンでの利用
• SQL Server 環境のクラウドへの移行パターン
• Migration の情報

SQL Data Warehouse

• BRK3056 – Code-free data integration at scale for Azure SQL Data Warehouse with Azure Data Factory
• スライド / ビデオ / YouTube

• Azure Data Factory をメインにしたセッション
• 新しく発表された、MAPPING DATAFLOW / WRANGLING DATAFLOW についても触れられている
• ADF の今後のロードマップ
  • アクティビティの追加 (Azure Function / Email / バリデーション / Webhook / アーカイブ)
  • トリガーの追加 (スケジュールロールアップトリガー / 依存関係トリガー/連鎖トリガー)
  • チェックポイントサポートによるコピーの再実行
  • 単一の大きなテーブルに対して並列ロード
  • SSIS の利用可能リージョンと VM の選択肢の増加
  • 2019 : ストリーミングパイプライン / データカタログ統合
  • 2020 : マスターデータ管理
• SSIS ランタイムの今後のロードマップについても触れられている

• BRK3057 – Power BI Meets Azure SQL Data Warehouse: Amplifying your data stack with petabyte-scale analytics
  • スライド / ビデオ / YouTube

Migration

• BRK2021 – Migrating your applications, data, and infrastructure to Azure
  • スライド / ビデオ / YouTube

• Azure のマイグレーションについてのセッション
• Database だけでなくアプリケーションの移行についても触れられている
• Database については、DMS と Migration Guide の紹介

• THR2006 – Migrate on-premises SQL Servers reaching end of support to Azure using DMS service with near zero downtime
  • スライド / ビデオ / YouTube

• Azure Database Migration Service についてのシアターセッション
• DMS を使用して SQL Server から、MI にオンライン移行をするデモ
• SQL Server から、Managed Instance に移行する場合「SSIS パッケージ移行」というプレビュー機能が追加された。

Data Analyze

• BRK3055 – Building data pipelines for Modern Data Warehouse with Spark and .NET in Azure
  • スライド / ビデオ / YouTube

• BRK3058 – From cloud to the intelligent edge: Drive real-time decisions with Azure Stream Analytics
  • スライド / ビデオ / YouTube

• BRK3059 – Data Architect’s guide for successful Open Source patterns in Azure w/ Spark, Hive, Kafka, Hbase etc
  • スライド / ビデオ / YouTube

Azure Data Studio

• BRK3049 – Contributing and building extensions for Azure Data Studio
  • スライド / ビデオ / YouTube

• THR3013 – Machine Learning in Azure Data Studio
  • スライド / ビデオ / YouTube

■ Get high-performance scaling for your Azure database workloads with Hyperscale から

Hyperscale

Azure SQL Database Hyperscale support for single databases is now available

SQL Database の Hyperscale が GA したようです。

あたらしく、PostgreSQL の Hyperscale が Preview として提供されています。
Quickstart: Create an Azure Database for PostgreSQL – Hyperscale (Citus) (preview) in the Azure portal
Citus が使用されているようですね。

SQL Database Serverless

他には、「Azure SQL Database Serverless」も発表されました。
ウォームアップによる遅延が許容されるのであれば、秒単位課金でコストを抑えることができる新しいモデルとなるようです。
オートスケーリング / オートレジュームといった、今までとは異なる概念がいくつか入っているようですね。

性能面は Serverless compute tier から確認できます。

■ Analytics in Azure remains unmatched with new innovations から

ADF

ADF に Wrangling Data Flows という、新機能が実装されるようです。

SQL Data Warehouse

SQL DW に半構造化データのサポートが行われるようで、JSON のようなデータ形式を SQL DW から直接アクセスできるようになるようです。
他にも、結果セットのキャッシュによる、同一クエリの実行結果を後続のユーザーがすぐに利用できる仕組みと、マテリアライズド・ビューによるパフォーマンス向上も実行できるようですね。

■ Azure updates から

• Azure SQL Database Hyperscale support for single databases is now available
• SQL Database の Hyperscale が GA しましたというお話
• Oracle to Azure Database for PostgreSQL online migration is in preview
• Azure DMS で Oracle から Azure Database for MySQL のオンラインマイグレーションをサポートしましたというお話
• Tutorial: Migrate Oracle to Azure Database for PostgreSQL online using DMS (Preview)
• Azure SQL Database managed instance SKU recommendation for Data Migration Assistant is now available
• DMA で SQL DB だけでなく、Managed Instance の SKU のアドバイスを出せるようになりましたというお話
• Identify the right Azure SQL Database SKU for your on-premises database
• Coming soon: Azure SQL Database serverless preview
• SQL DB Serverless がプレビューで使えるようになりましたというお話
• Azure SQL Database serverless compute tier is now in preview
• SQL Database Serverless がプレビューで使用できるようになりましたというお話
• Hyperscale (Citus) is now in preview on Azure Database for PostgreSQL
• Azure Database for PostgreSQL の Hyperscale がプレビューで使用できるようになりましたというお話

GW 中は de:code 2019 のセッション準備などを進めており、あまり情報のキャッチアップをできていなかったのですが、最終日ぐらいは、SQL Server / SQL Database 関連の最新情報を眺めてみようかと。

Read the rest of this entry »

Twitter のタイムラインを見ていたところ、Azure SQL Database Edge というワードが出てきており、ニュースサイトで紹介されていました。

• Microsoft、Azureで「Azure SQL Database Edge」「Azure Blockchain Service」などを発表
• エッジ用DB「Azure SQL Database Edge」、IoTエッジをクラウドにプラグ＆プレイする新技術、MSが発表
• Microsoft brings Azure SQL Database to the edge (and Arm)
• Microsoft debuts Azure SQL Database Edge and IoT Plug and Play

ブチザッキ兄さんに、公式のアナウンスを教えてもらえました。

https://t.co/RGDWAw5iRs の文中にしかない（あとはペーパー https://t.co/nPcma2CcHQ

— こすもす.えび (@kosmosebi) May 3, 2019

Intelligent cloud and intelligent edge applications have evolved from primarily low-compute IoT devices working with the cloud to powerful compute at the edge, which requires a new modern hybrid application approach. A key aspect of enabling this is supporting the spectrum of edge compute and data needs. SQL Server and Azure SQL Database are the leading data engines for enterprise workloads on-premises and in the cloud, respectively, and today we are bringing these powerful data and analysis capabilities to the edge with Azure SQL Database Edge preview. Azure SQL Database Edge runs on ARM processors and provides capabilities like data streaming and time series data, with in-database machine learning and graph. And because Azure SQL Database Edge shares the same programming surface area with Azure SQL Database and SQL Server, you can easily take your applications to the edge without having to learn new tools and languages, allowing you to preserve consistency in application management and security control. This consistency in database programming and control plane across cloud and edge is essential to running a secure and well-managed hybrid application.

ARM プロセッサ上でも動作させられる、エッジに配置できるデータエンジンということで、次のような機能を備えているようです。

• ARM / Intel デバイスで動作するようにチューニングされた 500MB未満の軽量な SQL Server エンジン
• 時系列データ / データストリーミング機能を提供
  • リレーショナルデータ / 時系列データ / グラフデータを組み合わせて利用できる
• ML / Spark によりデータベース内で機械学習を実行
  • ML Service + Big Data Cluster の Spark 部分のようなイメージでしょうか？
• グラフデータ
  • SQL Server のグラフテーブルの機能でしょうか？
• 単一の管理プレーンよる展開と更新
  • Azure IoT のような感じで管理することができる

Get to know Azure SQL Database Edge で概要の PDF が公開されています。

Build 2019 で Simplify Edge Architecture with Azure SQL Database Edge というセッションがあるので詳細はここで出てきそうですね。

Read the rest of this entry »

Managed Instance (MI) は VNET 内にデプロイを行う、PaaS の SQL Server であり、利用するためには VNET が必須となっています。

当初は、VNET にアクセスできる環境のみが MI に接続することができていたのですが、今回パブリックエンドポイントの機能が追加されました。

これにより、MI をデプロイした VNET に接続を行っていない環境からもアクセスが可能となります。

• Public endpoint for SQL Database Managed Instance is available as of today

Read the rest of this entry »

2019/5/23 追記

GA しました！！

General Availability: Time zone choice for Azure SQL Database Managed Instance

Managed Instance (MI) の今後の機能改善として、タイムゾーンの設定変更がフィードバックとして挙がっていました。

• Support regional settings to fix GetDate() function

本日、MI をデプロイしようとしたところ、MI の新規作成時にタイムゾーンを追加することができるインタフェースが追加されていました。

Read the rest of this entry »

Attunity Replicate for Microsoft Migrations の活用アセスメント や、海外のイベントで紹介されていた、利用期間が限定されており、移行のサポートマトリクスが限定的な Attunity Replicate for Microsoft Migration ですが、アナウンスされた当初とは、移行のサポートマトリクスが変更となっているようです。

当初は冒頭に記載したブログの内容のように「Microsoft 製品以外から、Microsoft が提供する Database への移行」をサポートしていました。

最新の情報は、Attunity Replicate for Microsoft Migration から確認できるのですが、サポートマトリクスが次のように変更となっています。

SQL Server から SQL Server の移行にも対応したようですね。
以前は、Attunity Replicate for Microsoft Migration では、ソースとして SQL Server を選択することができなかったはずなのですが、最新のバージョンですと SQL Server からの移行をサポートしています。
(実際に、SQL Server 2008 R2 から、SQL Server 2019 に移行することができました)

このソフトは永続的に使用することはできず、利用可能な期間については、Read about the Attunity Replicate for Microsoft Migrations program に次のように記載されています。

*Attunity Replicate for Microsoft Migrations is limited to database migrations only and cannot be used as a standalone product similar to Attunity Replicate. Database migrations should be completed within a twelve-month period. The twelve month’s use limitation per data migration will be implemented and governed by means of the applicable end user license agreement. This program expires June 30, 2019.

データシートには「2019/6/30まで」が使用期間として記載されていますが、こちら「2019/12/31」まで利用することができるそうです。
(フォーラムで質問した際の回答ですので、利用者の責任において利用可能期間はきちんと確認するようにしてください。)

ライセンス的には「データベースの同期」の目的ではなく、「デーベースの移行」の目的で使う必要があるとなっていますので、移行が完了した際にはデータの同期は外す必要があるので、利用目的についてはご注意ください。

「待ち事象」を起点とした SQL Server のボトルネックの調査の基本 その 1 の続きになります。

前回の投稿では、待ち事象の説明や、待ち事象の情報の取得方法について触れてみました。

今回の投稿では、実際に情報を取得しながら、待ち事象を確認してみたいと思います。

Read the rest of this entry »

先日、ZOZOTOWNで最大級のトラフィックを記録する福袋発売イベントで実施した負荷対策 という、ZOZOTOWN さんの負荷対策についての記事が公開されました。

はてブをみると、かなりの方がブックマークをされているようですね。

私も案件の中で、ボトルネック調査をすることがあるのですが、その際の基本的なアプローチをまとめる、良い機会かなと思って本投稿を書いてみました。

ボトルネックを調査する対象となる環境はどのようなものか？

ボトルネックの調査を行うための環境ですが、色々ケースがあるかと思います。

例えば、次のようなものがあるのではないでしょうか。

• 自分が保守に携わっている本番環境で発生するパフォーマンス問題
• 開発環境で発生するパフォーマンス問題
• 特定のタイミング (例 : 夜間バッチ) 発生するパフォーマンス問題

ここ数年はフリーランスとして業務をしているため、保守 / 運用を通して「自分が恒常的に面倒を見ているシステムに対してのボトルネック解消」を受けるような機会はありません。
私がボトルネックの調査に携わる機会が多いのは、次のようなケースです。

• 自分が開発 / 保守に携わっておらず、システムの中身が全くわからない環境で発生しているパフォーマンス問題

このようなケースのパフォーマンス問題に対しての調査の依頼というものは、毎年相談を受けます。

本投稿は、「自分が中身を知っているシステムではない環境」でパフォーマンスのボトルネックを調査する場合の、私が実際に行っているアプローチの一つとなります。

Read the rest of this entry »

Azure SQL Database の新しいサービスレベルである、Hyperscale が現在、Preview のサービスですが提供されています。

現時点で公式に公開されている情報としては、次のような内容でしょうか。

• Azure SQL Database ハイパースケールのパブリック プレビューのお知らせ
• 最大 100 TB のハイパースケール サービス レベル (プレビュー)
  • Azure SQL ハイパースケール データベースに関する FAQ
  • サービス レベルの特性
• BRK3150 – New performance and scale enhancements for Azure SQL Database

概要については、これらの情報から確認できるのですが、実際にどのようなデータアクセスが行われるのかが公開されていなかったので、可能な範囲で調べてみました。

Read the rest of this entry »