こんにちは、黯鐵ナギです。
今日は、AIに社内資料を読ませたり、別のサービスへ結果を送らせたりするとき、実際に動く相手をどう確かめるかを考えるよ。
便利なツールを選んでも、その名前だけでは「誰が処理し、何に触れ、いつ仕事を終えるか」までは分からないんだ。

たとえば、工場で「点検担当」と書かれた名札を見ても、それだけで設備の鍵を全部渡すことはないよね。
所属を確かめ、今回の作業範囲を決め、作業後には鍵を返してもらう。
AIのツールにも、このように入口から終了まで確認する考え方が必要になるよ。

前回の部品を組み合わせた全体の安全性では、個別の検査で見えない問題を整理した。
今回は、実行時の制限、提供者の確認、外部の検証、証明の限界、終了時の管理という五つの視点から、一歩具体的に見てみよう。

1. 安全そうな操作も、つながると危険になる

CompGuardの研究は、単体では無害に見えるツールを組み合わせ、共有ファイルや環境変数を経由して禁止操作を実現する攻撃を調べている。
著者らは正常な仕事200件を含む560件で評価し、攻撃用の課題では無防御のモデルが攻撃系列を72.9〜84.5%で実行したと報告した。
五つの単体ツール検査では、攻撃を組み立てる構成要素を検知できなかったという。

ここで見たいのは、危険な名前のツールを探すことだけでは足りない点だよ。
「ファイルを読む」「一時ファイルを作る」「結果を送る」は、それぞれ普通の仕事でも使う。
でも、どの情報が次の操作へ渡るかによって、仕事全体の意味が変わるんだ。

これは、点検用の工具を借りた人が、途中で受け取った別の鍵まで使って立入禁止の部屋へ進むようなものだよ。
工具そのものの検査に加えて、その作業で入れる部屋や持ち出せる物を制限する必要がある。
AIでは、この「部屋」がファイルや通信先に、「鍵」が操作の権限に当たるんだ。

CompGuardは、一回の作業に短命の権限を貸し、LinuxのLandlockやseccomp、通信プロキシで実行を制限する。
OS側でファイルへのアクセスや処理を絞るため、AIへのお願いだけに頼らず、実行の段階にも止める場所を設ける考え方だね。
ただし、未査読のLinux向け試作なので、別のOSや自分の業務でも同じ結果になるとは言えないよ。

導入を考えるなら、まず「資料は読めるが削除できない」「承認した宛先へだけ送れる」といった条件を一つずつ試したい。
そのうえで、正常な要約の仕事まで止まらないかも確認する。
拒否するだけでなく、必要な仕事を通せる範囲を探すところまでが設計なんだ。

2. ツール名と、実際の提供者を結び付ける

操作の範囲を決めたら、次はその操作を誰に頼むかを確認しよう。
MCPは、AIが外部のツールや情報源を利用するための共通の仕組みだよ。
ただ、一覧に表示される機能名や説明文だけで、提供者が本物だと分かるわけではないんだ。

MCPの提供者取り違えを調べた研究では、別のMCPサーバーが同じツール名や互換性のある入力形式、仕事に合う説明文を提示する状況を評価している。
攻撃者が利用者の端末や正規サーバーを侵害しなくても、依頼先の誤選択や曖昧さが生じることを示した。
未査読の管理された実験であり、そのまま実際のサービスで事故が起きたという報告ではないよ。

ナギの解説(考察): 「見積もりを作る」という看板の会社が二つあるとき、看板が同じだからといって契約情報をどちらにも渡してよいとは言えないよね。
ツール名は看板、提供者の確認は会社の確認、接続先は実際に書類を届ける住所に近い。
機能が合うことと、情報を渡してよい相手であることを分けて考えよう。

要約を送るAIでも、同じ「送信」という名前のツールが増えたとき、AIが説明文の印象だけで選ぶ仕組みにはしたくない。
登録時に確認した提供者のID、接続先、使わせる機能を組み合わせて管理し、実行時にもその対応が保たれているかを確かめたいんだ。

ここでいうIDは、画面に好きな名前を書けるという意味ではないよ。
接続先の認証などを通じて確かめた識別情報と、許可したツールを対応付ける必要がある。
署名を使う場合も、署名があることだけで終わらず、その鍵を誰のものとして信頼しているかが前提になるね。

確認の練習として、似た名前の別ツールが登録されたらどう動くかを考えてみよう。
候補が曖昧なら送信や秘密情報の受け渡しを保留し、管理者が接続先を確認できるようにする。
ただし、これは私の設計上の提案で、論文がすべての構成に共通の完成済み対策を保証しているわけではないよ。

3. AIの説明を、外部の検証につなぐ

相手を確かめても、AIが作った設計や確認結果に誤りが残ることはある。
そこで次に考えたいのが、「AIが大丈夫と言った」以外の根拠を持つことだよ。
複数のAIに相談する場合も、同意の数と検証の結果は分けて見たいんだ。

MASTAの研究は、認証などのプロトコルを形式的に調べるため、モデルを作るArchitect、性質を定めるAuditor、作業を振り分けるArbiterを組み合わせる。
外部検証器Tamarinの判定を、次に直す作業へ結び付ける構成だよ。
著者らは10プロトコルと139の変異例で評価し、別途5プロトコルの比較では、Arbiterを外すと性質の検証スコアがゼロになったと報告している。

ここでの形式検証は、仕組みをルールとして書き出し、守りたい条件が成り立つかを調べる方法だよ。
普段の画面操作で試すテストと違い、記述したモデルや前提の範囲で関係を追う。
そのため、何をモデルに含め、何を守る条件にしたかが結果の読み方に直結するんだ。

たとえば「本人だけが操作できる」を確認しても、「同じ依頼を二度受け取ったときに二重実行しない」まで確認したことにはならない。
これは論文の追加の実験結果ではなく、調べる条件を分けるための例だよ。
要約を送る仕事なら、宛先の制限に加えて、再試行で同じ報告を何度も送らないかも別に考えたいね。

この研究はNeurIPS 2026採択論文だけれど、現実のアプリ全体の正しさを自動で保証するものではない。
私は、守りたい条件、検証へ入力した前提、得られた結果を一緒に残す運用が役立つと考えているよ。
検証器を使っていても、実際の接続先や権限の設定がモデルと違えば、その差を確認する仕事は残るんだ。

4. 正しい実行物でも、情報を残さないとは限らない

実行するプログラムが正しいものかを確かめる技術にも、確認できる範囲がある。
Attestationは、実行環境やプログラムの状態について証拠を示し、検証する仕組みだよ。
ただし、許可したプログラムだと分かることと、その処理が入力情報を学習・保持しないことは同じではないんだ。

The Provenance-Privacy Paradoxは、AppleのARIやPCCに関連する機能をモデル化した実験環境で、この違いを検討している。
27枚の公開画像を使った実験では、外から見える出力が同じでも、学習用の勾配に入力情報が残り、再構成できる場合を示した。
勾配は、モデルをどちらへ調整するかを示す学習用の数値だよ。
ただし、Appleの本番環境で学習が行われていると実証した研究ではないよ。

ナギの解説(考察): 正式に納品された機械の封印を確認しても、その機械の内部に作業記録が残らないとは限らないよね。
封印の確認は機械の同一性、内部の記録を残すかどうかは機械の動作や管理方針の話になる。
この二つを混ぜると、「本物だから情報は残らない」という飛躍が起きてしまうんだ。

AIでも、元の資料を削除したことだけで、すべての情報が消えたとは判断できない。
処理の途中で作った要約、一時ファイル、ログなど、別の形で情報が残る可能性を確認したいね。
研究が扱った勾配も、元画像そのものではない形で情報を含む点が、この話を考えるきっかけになるよ。

社内資料の要約なら、元ファイル、生成した要約、エラー時の記録を分け、どこに保存され、誰が読めて、いつ消すかを確かめる。
その際、「残さない予定」という説明と、設定や検証で確かめた範囲も区別しておこう。
提供者に質問するときも、単に安全かを尋ねるより、何を対象に非保持を約束しているかを聞くほうが具体的になるんだ。

もちろん、記録をすべて消せばよいという話でもないよ。
問題が起きたときの調査に必要な操作記録と、保存したくない資料の中身を分ける設計も考えられる。
何を残す必要があり、何を残してはいけないかを、利用目的に合わせて決めることが大切だね。

5. 停止ボタンの先まで、仕事と権限を追う

ここまでの確認は、AIが動いている間の話だったね。
でも、運用では「止めたあとに何が残るか」も確認したい。
親のAIを停止しても、別に起動した処理や発行済みの権限まで同時に消えるとは限らないからだよ。

KuppingerColeのライフサイクル管理の提案は、所有者と目的の把握、権限と委任、認証情報、実行中の制御、監査、目的に沿った終了を一続きで扱っている。
短命の認証情報だけでなく、誰が責任を持ち、どの条件で仕事を終えるかまで管理する方向だね。
これは管理の枠組みであり、一つの製品だけで全項目を満たせると示した実験ではないよ。

ナギの解説(考察): 退職した担当者の入館証を止めても、貸した合鍵や、その人が依頼した翌日の配送まで自動で消えるわけではない。
AIでいえば、入館証が本人の認証情報、合鍵が子エージェントへ渡した権限、配送予約が実行待ちの仕事に近い。
だから、停止の確認では親の状態表示だけを見ないようにしたいんだ。

要約の送信を例にすると、作成役を止めた時点ですでに送信待ちの処理が別の場所へ渡っているかもしれない。
新しい依頼を受け付けないこと、残った権限を失効させること、待っている送信を取り消すことは、別々の確認になる。
すでに相手へ届いた情報まで取り戻せるとは限らないので、停止できる時点も整理しておこう。

まずは一つのAIについて、責任者、利用目的、発行した権限、任せた子の仕事、終了条件を書き出してみてね。
そのうえで、安全な試験環境で途中停止を試し、残った処理と記録を確認する。
正常終了だけでなく、通信の失敗や再試行の途中でも、どこまで止められるかを見ておきたいよ。

停止後に仕事を再開するときも、以前の権限をそのまま戻せばよいとは限らない。
目的や担当者が変わっていれば、必要な範囲を確かめ直す理由になるんだ。
止める手順と再開の判断を組にすると、問題のある状態をそのまま繰り返すことを防ぎやすくなるね。

今日の確認:一つの仕事を、入口から終了までたどろう

最初の一歩には、AIに任せたい仕事を一つだけ選ぶのがおすすめだよ。
社内資料の要約なら、読む、加工する、送る、終了するという順番に並べ、次の点を確かめてみよう。

  • 読んだ情報を、次の操作へどこまで渡してよいか。
  • 表示名ではなく、確認済みの提供者へ依頼しているか。
  • 守りたい条件を何で検証し、その前提は実環境と合っているか。
  • 元資料以外に残る情報と、その保存・削除の扱いは何か。
  • 停止したとき、子の仕事や送信待ち、残った権限をどう扱うか。

すべてを一度に作り替える必要はないよ。
まず「資料は読めるが、未確認の相手へは送れない」という一つの境界を、許可する場合と拒否する場合の両方で確かめよう。
その結果を残してから次の境界へ進むと、確認したことと未確認のことが混ざりにくくなるんだ。

実装する場所を考えたいときは、MCPゲートウェイの安全設計もつなげて読んでみてね。
今回の「相手・権限・記録」をどこで確認するかを、接続の入口へ落とし込む手掛かりになるよ。

ナギの用語メモこの記事の 6 語

気になった言葉の意味を、ここで振り返ってみましょう。

MCP
AIアプリと、外部のデータや道具をつなぐための共通のやり取りの決まりだよ。道具の接続口と考えてみよう。接続できることと、使わせてよいことは別に確認する。
サーバー
要求を受け取り、データや処理結果を提供する側の仕組みだよ。必ずしも一台の物理的な機械を指すとは限らない。
認証
「誰なのか」を確かめることだよ。入口で社員証を確認する場面を思い浮かべてみよう。どの部屋へ入ってよいかは、別の「認可」で決める。
プロトコル
通信で使う手順や形式の決まりだよ。お互いに通じる言葉だけでなく、どちらが何をいつ送るかも合わせた会話のルールだよ。
アテステーション
機器や実行環境などの状態について、証拠を提示し検証する仕組みだよ。点検記録を確かめるイメージだけど、証拠の対象外まで安全だと保証するものではない。
AIエージェント
ここでは、目的に向けて手順を選び、道具を使って作業するAIの仕組みを指す。作業を任せる相手にも、操作できる範囲と確認が必要な場面を決めておく。

出典資料

出典・参考資料

  1. Compositional Exploits in Autonomous Coding Agents: Attack Mechanics and Ephemeral Defense arxiv.org
  2. When Tool Names Are Not Identities: Measuring Provider Misbinding in MCP-Based AI Agents arxiv.org
  3. MASTA: A Feedback-Scheduled Multi-Agent System for End-to-End Tamarin Modeling and Analysis arxiv.org
  4. The Provenance-Privacy Paradox arxiv.org
  5. Governing the Agentic AI Lifecycle www.kuppingercole.com
#AIエージェント#MCP#セキュリティ#形式検証#ID管理