Microsoft Agent 365 では シャドウ AI の検知並びにブロックがプレビュー機能として提供されるようになりました。
この機能について評価をしてみたのでメモを残しておきたいと思います。
Contents
評価に使用した環境
今回の評価では、次の環境を使用しています。
- Windows 11 Enterprise Evaluation
- オンプレミスのHyper-V 上のゲスト OS としてインストール
- Agent 365 ライセンス
- Microsoft Intune Plan 1 ライセンス
- OpenClaw をインストール済み
- 今回の環境では、WSL は使用せず OS 上にネイティブにインストールを実施しています。
対象となる環境は Intune に接続して、Intune を MDM として使用するように認識される状態としています。
この状態の環境に対して、Agent 365 のシャドウ AI の機能の評価を実施します。
Agent 365 のシャドウ AI の設定
利用可能な機能については、Microsoft 365 管理センターでのシャドウ AI (プレビュー) に記載されていますが、現時点では「OpenClaw」のみ対象として検出 / 制御を行うことができます。
設定可能なセキュリティポリシー
制御可能な内容としては、セキュリティポリシーの設定としては、次の 2 種類がサポートされています。
- マネージド デバイスを継続的に検出する
- OpenClaw をブロックする
Intune のポリシー設定
これらのポリシーは記載されている通り Intune のポリシーとして設定がされているようで有効化すると次のポリシーが作成されるようでした。
- マネージド デバイスを継続的に検出する: A365 – Monitor OpenClaw (プロパティ カタログ プロファイル)
- OpenClaw をブロックする: A365 – Block OpenClaw (デバイス構成プロファイル)
ポリシーが有効化された際の挙動
検出が有効化され、スキャナ行われると、デバイス インベントリの Local AI Agent として、OpenClaw が検出されます。
ブロックが有効化されると、OpenClaw から LLM を呼び出す際に、ネットワークエラーとなり、呼び出しが失敗するようです。
(run error: LLM request failed: network connection error. となり、LLM の呼び出しが失敗しました)
基本的な挙動としてはこのようになるようです。
検証をしていて気づいた内容
以下は、検証をしていて気づいた内容です。
初回のスキャンが 2 日程度終わらなかった
シャドウ AI の検出は「検出を開始」を実行することでスキャンが開始されるようですが、開始後「スキャン中」の状態から、2 日程度変化しませんでした。
2 日程度経過した後は前回のスキャンの表示が行われ、デバイスの検出も行われていました。
検出が行われないと、デバイスインベントリの Local AI Agent の表示は行われなさそうですが、ブロックのポリシーの適用は実行できていましたので、未検出の状態でもブロックの検証はできそうです。
Intune 管理センターでポリシーを確認しようとするとエラーとなる
前述のとおり、Microsoft 365 管理センターで機能を有効化すると、Intune では「A365 Monitor OpenClaw」「A365 Block OpenClaw」のポリシーが作成されます。
私の環境ではこれらのポリシーの設定を確認しようとするとエラーとなってしまい、設定の詳細を確認できませんでした。
(Monitor OpenClaw は開いたタイミングでエラーとなり、Block OpenClaw は構成設定の編集をしようとするとエラーになっています)
私の環境固有の問題かもしれませんが、一部の設定は F12 開発者ツールのネットワークトレース経由で確認をしています。
近日公開予定のエージェントの検出が表示されなくなった
シャドウ AI の公開当初は近日公開予定のエージェントとして次の記載がありました。
私の環境では現時点でこれらは表示されなくなっていました。
ブロックのポリシーを設定した場合の挙動
Intune を分かっていないので外しているかもしれませんが。
ブロックのポリシーを適用した場合、Windows Firewall の機能を使用して、通信をブロックしているようで、Windows Firewall を無効化するとブロックポリシーを適用していても通信が疎外されないようでした。
設定前後で環境を比較すると「block nodejs」の MDM 向けのポリシーの作成状況が変わっているようでしたので、このポリシーで制御がされているのでしょうかね。
ブロックのポリシーを削除しても、このルールは残っているようでした。
GSA を使用したシャドウ AI 検出とのすみわけ
次のドキュメントでは、GSA でもシャドウ AI 検出が可能となっています。
本投稿で検証した機能は Intune での実装ですが、このドキュメントでは GSA / Microsoft Defender for Cloud Apps を活用するというような記載となっています。
本投稿で検証したシャドウ AI の制御とのこのドキュメントで実現できる内容にどのような違いがあるのかは気になりますね。