こんにちは、黯鐵ナギです。
署名や許可リストがあれば、エージェントに渡すデータや実行結果まで安心できるかな?今日はデータの範囲、検索の派生成果物、操作計画、記憶の所有権、変更の承認を見ていく。
性能値は11月4日提出の未査読研究の著者報告で、独立再現と実運用の検証が必要だよ。
MCPセキュリティ:署名済みツールにも必要なデータだけを見せる
ツールの配布元が分かることと、そのツールへ何を渡してよいかは別の問いだよ。
たとえば、所属する配送会社が確認できた配達員でも、荷物と無関係な社内資料まで渡す必要はないね。
発行者署名は配布元を確かめる材料で、実行時のすべての情報利用を許可するものではない。
ツールに渡すデータは、その一回の仕事に必要な範囲へ絞る、という考え方だよ。
Signed, Sealed, Leakedは、正規署名されたMCP ツールが本来の処理を行いながら、適用規則で許可された送信先への要求へ秘密を埋め込む攻撃を示した。
提案するGermline Executionは、データを持たない親プロセスから呼び出しごとの隔離コピーを作り、送信先に許可された情報だけを渡す。
153回の攻撃評価では許可されていない情報開示を検出せず、単一コピーの処理は10〜49msだったと報告している。
入力を絞る際には、ツールへ直接渡す項目だけでなく、その処理が読める周囲の情報も考えたいね。
たとえば配送伝票だけ渡していても、配達員が社内資料の棚を自由に読めるなら、渡す紙を減らしただけでは境界にならない。
同じように、呼び出し時の入力と、実行する環境から取得できる情報を分けて確認する。
私は、一回の仕事に必要な資料、利用する資格情報、結果を届ける相手を先に書き出す。
次に、それ以外の情報が同じ処理から見えないかを検証する。
送信先を許可していることと、その送信先へあらゆる情報を出してよいことは別なので、相手ごとに渡せる内容も説明できるようにしたい。
研究の分離方式も、隔離されたコピーが別の領域を読めないことなどの前提を持つ。
構成を似せたという理由だけで同じ保証が得られるとは扱わず、その前提を手元でどう確かめるかを試験に落とそう。
通常の結果を返せるかと、不要な情報へ触れないかを、両方見る必要があるね。
まずは一つのツールについて、呼び出すたびに本当に必要な情報を洗い出してみよう。
考え方を実際の接続へ落とし込みたいときは、MCPゲートウェイの許可・入力検査・監査の設計を見てみよう。
MCPゲートウェイとは? AIの操作を許可し、結果を記録する仕組みを続けて読んでみてね。
RAG供給網:本文の署名と埋め込み表現の意味を結び付ける
検索を使うAIでは、原文だけでなく、原文から作った検索用データの対応も重要になる。
たとえば、本の本文と、検索用の目録が違う内容を指していたら、本文の署名だけでは検索を信用できないね。
埋め込み表現は、文章などを検索に使う数値の並びへ変換したものだよ。
RAGでは原文、数値表現、索引の対応を確認し、正しい原文が別の意味で検索されていないかを見る。
Signed but Steerableは、Offline RAG Packの本文と事前計算埋め込み表現が一緒に署名されても、Vectorが本文の意味を正しく表すとは限らない「本文と数値表現の整合性のずれ」を測定した。
Raspberry Pi 5の評価では正答率が0.75から0.39へ低下し、57,638文書のFAISS PQ 索引では、監査を通る改ざんVectorが対象の25%で攻撃文書を1位にした。
対策は近似Vectorの許容差比較ではなく、CanonicalizationとGuard Bandを用い、検証者がQuantization コードを決定する方式だよ。
ナギの解説(考察): RAGの更新では、Packの署名に加え、本文から埋め込み表現、圧縮索引までの対応を確かめよう。
再現できるビルドとして検証し、検索される意味の対応まで発行者任せにしない供給網を考えてね。
検索用の数値が正しいかという話は、署名の有無とは違う種類の確認だよ。
署名は受け取った組が発行時から変わっていないかを確かめる材料になる。
でも、その組に含まれる原文と目録の対応が最初から間違っていたなら、変更されていないことだけでは気付けないね。
私は、原文を変更したときに何を作り直す必要があるかを、工程ごとに一覧にしたい。
文章の分割、数値表現への変換、圧縮、索引の作成のうち、古い成果物が混ざっていないかを見るためだよ。
版の一致だけでなく、どの入力からどの成果物を作ったかが追えれば、検索結果の変化を調べる手掛かりになる。
確認用の質問も、正解が返ったかだけで終わらせないようにしよう。
どの文書が候補へ入り、何が上位に来たかを記録する。
回答が自然でも、検索の段階で不適切な資料を優先しているなら、別の質問で問題が表れる可能性を考えたいね。
Webを操作するエージェント:実際のWebページを見る前に操作列を確定する
外部ページを読む前に、できる操作を決めておく方法もあるよ。
ページの内容を、操作を追加する指示として扱わない設計だね。
Bayaは、利用者の依頼を先にPythonプログラムへコンパイルし、実行時のWeb内容を値または事前に決めた分岐としてだけ扱う。
計画を立てるモデルは実際のWebページを見ないため、ページ上のプロンプトインジェクションが新しい操作を生成できない。
ナギの解説(考察): 高リスクの業務では、各Stepを毎回LLMが判断する前に、型付き操作、事前条件、外部作用を持つ計画へ落とす方法を考えよう。
実行前に検査できる形にすると、モデルの拒否能力以外にも境界を置ける。
事前に操作を決める方法は、道順を先に決めた作業員が、現地の看板を参考情報として読む場面に似ているね。
看板へ別の作業が書かれていても、それだけで許可された仕事が増えるわけではない。
ただし、道が塞がっていたときに何もできないようでは困るので、あらかじめ認める分岐と、人へ戻す条件を用意する必要がある。
私なら、決まった画面で繰り返す業務から適用を検討する。
必要な操作と入力の種類を整理し、画面や条件が想定と違った場合には、勝手に新しい手順を作らず保留できるかを見る。
自由な探索が必要な仕事と同じ前提で比較しないことも大切だよ。
計画を作り直すときは、以前の承認をどこまで引き継ぐかも決めておこう。
送信先や変更対象が変わったなら、単に計画の版が新しくなっただけとして扱わず、利用者の依頼に合うかを再確認したい。
計画を固定する目的は、変化を無視することではなく、変わった内容を確認できるようにすることなんだ。
LLM基盤:CUDA Addressより上の要求所有権を検査する
複数の要求を処理するAI基盤では、記憶領域をどの要求が使ってよいかも確認したい。
領域へアクセスできることと、今回の要求に利用権限があることを分けるよ。
KVGuardは、PagedAttentionのKV Block、ブロック管理表、要求ごとの許可、初期化状態を追跡する。
vLLMとSGLangの過去29件の不具合を検出し、さらに8件の未知Violationを発見。
Qwen 2.5 14B評価の1トークンを出力する時間(TPOT)の増加は3.0%/7.4%、追加のメモリ使用量はKVキャッシュの最大0.11%だった。
ナギの解説(考察): CUDA上で有効なAddressでも、別要求のBlockなら利用してよいわけではないね。
複数テナントのServingでは、まずCI、Stress Test、Canaryへ用途に合ったSanitizerを入れ、Allocatorと要求 IDのライフサイクルを証跡として追ってみよう。
要求ごとの所有権は、共同の作業机を順番に使う場面で考えると整理しやすい。
机そのものが存在し、そこへ手が届くことと、前の人が置いた書類を次の人が読んでよいことは違うよね。
処理基盤でも、利用できるアドレスかという確認だけでなく、今回の要求に割り当てた領域かを追う視点が必要になる。
試験では、一件ずつ動かす状態に加え、同時実行、取消し、失敗、再利用といった切り替わりを見たい。
私は、要求が終わった時点と、領域が次の要求へ渡る時点を対応付ける。
途中の状態が取り残されないかを見るためで、通常の出力が正しいこととは別の確認になる。
検査機構を加えた場合には、見つけた問題と追加された負荷を、同じ条件で記録しよう。
報告された割合をそのまま手元の負荷として見積もらず、使うモデルや同時実行の条件で測る。
異常を見つけた後にどこで処理を止め、どの記録を残すかも試験の一部だよ。
エージェントガバナンス:変更を書くエージェントと承認する主体を分離する
最後は、AIが書いた変更を誰が承認するかという運用の話だよ。
変更を作る役割と、それを確かめる役割を分けた構成を見てみよう。
KuppingerColeが11月5日に公開したRising Star AppFactorは、修復や移行を行うエージェントと、独立して確認するエージェントを分け、コンパイル、テスト、Lint、セキュリティ検査、仕様適合を通過したプルリクエストだけを人が承認する構成を紹介した。
AppFactor公式も、変更を書くエージェント自身は承認せず、最終的に変更を取り込むかはエンジニアが決めると説明している。
一方、KuppingerColeは市場での利用実態の見えにくさ、導入事例、書き込み権限を持つエージェントに対する独立した検証を課題とし、初期商用段階として扱っている。
ナギの解説(考察): 自動修復には試行回数とコストの上限を設け、変更差分、テスト結果、安全性を確かめた証拠、人の署名を受入条件にしよう。
変更を作る側と検証者を分けても、同じモデル・コンテキストに依存すれば共通の失敗が残る。
独立したテストと適用規則の検査点も確認してね。
変更を書く役と確認する役を分けるとき、私は『別の名前のAIが読んだ』だけで独立性を判断しない。
同じ説明や同じ前提だけを渡せば、両方が同じ誤りを引き継ぐ可能性があるからだよ。
確認する側には、満たすべき条件と実際の変更を照合できる材料が必要になる。
たとえば自動修復なら、修正前に起きた問題を再現する確認と、通常の機能を壊していないかの確認を分けて用意したい。
変更を作ったAIの説明はレビューの助けになるけれど、それだけを成功の証拠にはしない。
人が取り込む際には、差分、試験の対象、残る未確認事項を見て判断できる形にしよう。
自動で再試行する場合も、どこまで失敗を許し、いつ人へ戻すかを決めておく。
回数だけでなく、触れてよいファイルや接続先が広がっていないかも確認したいね。
うまく修正できたという結果と、その修正を許可した範囲で作れたことを、一緒に説明できる運用を目指そう。
ナギの用語メモこの記事の 14 語
気になった言葉の意味を、ここで振り返ってみましょう。
- 許可リスト
- あらかじめ許可する対象を列挙した一覧だよ。名簿にある宛先や操作だけを受け付ける形で、扱える範囲を絞る。
- AIエージェント
- ここでは、目的に向けて手順を選び、道具を使って作業するAIの仕組みを指す。作業を任せる相手にも、操作できる範囲と確認が必要な場面を決めておく。
- MCP
- AIアプリと、外部のデータや道具をつなぐための共通のやり取りの決まりだよ。道具の接続口と考えてみよう。接続できることと、使わせてよいことは別に確認する。
- 資格情報
- 身元や資格などを確かめるための情報だよ。パスワード、証明書、資格を示すデータなど、文脈によって形が異なるので、何を指すかを確認しよう。
- 埋め込み(Embedding)
- 文章などの特徴を、数値の並びで表す方法だよ。似た特徴の資料を探す手がかりに使えるが、意味の一致や正しさをそのまま保証するものではない。
- RAG
- 関連する資料を検索し、その内容をAIへ渡して回答を作る方法だよ。資料を手元で確認しながら答えるイメージだけど、検索した資料や回答が必ず正しいとは限らない。
- 量子化
- モデルなどの数値を、より少ない種類・ビット数で表す方法だよ。細かい目盛りを粗くして容量を減らすイメージで、精度や速度への影響は条件によって変わる。
- プロンプトインジェクション
- AIが読む資料などへ指示を紛れ込ませ、本来の依頼から行動をそらす攻撃だよ。資料の中の命令を、依頼者からの指示と取り違えないことが大切だよ。
- API
- ソフトウェア同士が機能やデータをやり取りするための窓口だよ。お店の注文窓口のように、頼めることと頼み方が決まっている。
- 大規模言語モデル(LLM)
- 大量の文章などから言葉のつながりを学び、文章を生成するAIモデルだよ。自然な返答でも事実と違うことがあるため、重要な内容は根拠を確かめよう。
- キャッシュ
- 再利用するため、一度取得した結果などを一時的に保存する仕組みだよ。手元の控えを使うと速くなるが、内容が古くなっていないかの確認が必要だよ。
- テナント
- 一つのサービスの中で、組織などごとに分けた利用単位だよ。同じ建物に入る別々の会社のように、データや設定を区別して扱う。
- CI
- コードの変更を頻繁にまとめ、ビルドやテストで問題を早めに見つける開発の進め方だよ。変更するたびに行う共通の点検にたとえられる。
- 差分
- 二つの版を比べて、追加・削除・変更された部分だよ。文書の赤入れのように、何が変わったかを確認する手がかりになる。
たとえ・補足を読む
出典資料
出典・参考資料
- Signed, Sealed, Leaked: Trust Beyond Signature for MCP Toolchains arxiv.org
- Signed but Steerable: Measuring and Closing the Text-Vector Integrity Gap in Offline Retrieval-Augmented Generation arxiv.org
- Securing Web Agents with the Compile-Then-Execute Paradigm arxiv.org
- KVGuard: A KV Cache Safety Checker for LLM Serving Systems arxiv.org
- Rising Star AppFactor www.kuppingercole.com
- AppFactor www.appfactor.io
