SE の雑記

SQL Server の情報をメインに Microsoft 製品の勉強内容を日々投稿

高級和牛を試食してみました

leave a comment

Azure で更なる高級和牛である、コンピューティング集中型インスタンス(Compute Intensive Instances)の  A8 / A9 がクラウドサービスで使えるようになりましたので触ってみました。

比較として使用した A7 インスタンスの環境の情報が以下になります。

A7 インスタンスでは 8 コア (AMD Opteron 4171 HE) 使用することができ、NUMA ノードが 2 ノード構成となっています。
各 NUMA ノードに、CPU が 4 コアずつ割り当てられ、メモリノードとしては 28GB 割り当てられています。

imageimage

image

ネットワークについては仮想 NIC が一つ割り当てられています。

imageimage

それでは、A8 / A9 で同じ情報を見てみたいと思います。

A8

imageimage
image

imageimage

A9

imageimage

image

imageimage

 

A7 と A8 はコア数は同じですが、CPU が AMD Opteron 4171 HE と Intel Xeon E5-2670 の違いがあります。
Xeon E5-2670 は 1 ソケットで 8 コアの CPU となりますので、A7 は 2 ノード / A8 は 1 ノードと NUMA ノード数に違いが出ています。

A9 の場合は各 NUMA ノード 8 コア / メモリ 56 GB  の 2 NUMA ノード構成となっています。
同じコア数でも使用する CPU によって、NUMA ノード数が変わってきていますね。

 

次に、以下のコマンドでダミーのファイルを作成し、そのファイルをインスタンス間でコピーしてみます。

 fsutil file createnew D:dummy.tmp 10240000000 

左が A7 / 右が A8 でインスタンス間でファイルをコピーした際の CPU 負荷と転送速度になります。

A7 の場合は 2Gbps / A8 の場合は InfiniBand の 40Gbps がネットワーク上限となっているかと思います。

# ゲスト OS としては 10Gbps が上限になっているかと思いますが。

RDMA に対応しているネットワークカードでのゲスト OS の挙動がいまいちわかっていないのですが、CPU 使用率のトレンドが異なっているのとネットワーク速度では差が出ていました。

# RDMA が有効であれば CPU 使用率もっと下がりそうな気がするのですが。

172.16.1.xx のセグメント同士では、通信がうまくできなかったので、デフォルトゲートウェイが設定されているネットワークカード経由でコピーをしています。

今回は Windows Server 2012 R2 のインスタンス間になりますので、SMB 3.02 での通信となっています。

image

A7

imageimage

A9

imageimage

ネットワーク周りは時間があるときにもう少し調べないといけないと思うのですが、きっとNo.1が調べてくれると思うので安心して毎日を過ごすことができます。

追記

172.16 のセグメントがInfiniBand 経由の通信になるのそうなのですが、現状は以下のような制限があるようです。

image

上記の検証では、Windows Server 2012 R2 (OS Family = 4) を使用していたので、Network Direct ドライバが導入されずに、172.16 のセグメントでの通信ができなかったようです。

Windows Server 2012 (OS Family = 3) で A8 のインスタンスをデプロイしたところ、ネットワークアダプターとして Mellanox のドライバーが認識されていました。

# 2012 R2 の時に Other devices となっていたのはこのドライバーかもしれませんね。

image

現状、IB 経由の通信は MPI のみとなるそうで

HPC Pack 2012 MS-MPI Redistributable Package – 日本語

HPC Pack 2012 R2 MS-MPI Redistributable Package

あたりを使う必要がありそうです。

# mpipingpong つかうとテストできそうです。

Share

Written by Masayuki.Ozawa

2月 5th, 2014 at 4:17 pm

Posted in Windows Azure

Tagged with

Leave a Reply