こんにちは、黯鐵ナギです。
一つの会話やツール呼び出しが正常でも、複数をつなぐと違う影響が見えてくることがある。
今日は分散した操作、表現の変換、記憶の結合、実行直前の制御を見ていこう。
研究4件のうちToolRosettaはNeurIPS 2026 AIWILD Workshop採択、残る3件は未査読プレプリントだよ。
AI・エージェント:分散した攻撃は単体実行記録監視をすり抜ける
複数のAIが仕事を分担する場合は、一つずつの動きが正常でも、全体の作用を確かめたいね。
たとえば、一人ずつの買い物は担当者の購入上限に収まっていても、合計ではチーム全体の予算を超えてしまうことがあるね。
AIでも、一つずつの処理を記録した足跡から、全体で何をしたかまで確かめたいんだ。
複数のエージェントが連携する場合は、一つの足跡だけでなく、受け渡した情報と合計の作用までつなげて確認する。
MiniLabは、攻撃工程を複数のエージェントへ分けると、各エージェントの行動が無害に見え、全体として権限昇格やモデル流出へ到達し得ることを示した。
モデルが計画した攻撃の成功率は最大25%で、人手計画の80%より低く、数値は著者環境での結果だよ。
arXiv
ナギの解説(考察): 会話やエージェント IDだけで調査を区切ると、共有資源を介した影響を見落とすかもしれない。
委任、権限変更、成果物の移動を一つの実行グラフへつなごう。
各実行記録が正常でも、組み合わせた因果関係で止める必要がないかを確認してね。
全体の流れを追うには、各エージェントの会話番号とは別に、元の仕事へ戻れる対応関係が必要になる。
誰から依頼を受け、何を渡し、どの対象へ作用したかを結び付けるんだ。
会話を別々に保管するだけでは、合計の結果を調べる担当が手掛かりを失うかもしれない。
私は、共有ファイルを介した引継ぎも記録の対象として考えたい。
直接メッセージを送らなくても、一方が作ったファイルを別の処理が読むことで影響は伝わる。
誰が作ったものかと、誰が後で使ったかを対応付ければ、表面上は別の仕事に見える経路も調べやすいね。
ただし、関係を図にしただけで違反を判断できるとは限らないよ。
どの情報の移動や権限変更を許すかという規則も必要になる。
研究の限定された検知率を自分の運用の予測値とせず、個別の監視で見えない経路を探す材料として使おう。
安全を確認した手順同士でも、組み合わせると何ができるようになるかを考えられるよ。
AIの安全な手順をつないだら? 組み合わせと権限を確認しようを続けて読んでみてね。
ガードレール:意味が同じでも表現形式で判定が変わる
入力の安全性を調べるときも、内容が同じなら書き方を変えても同じ判断になるかを見よう。
たとえば、同じお願いでも、文章・表・箇条書きで書くと、受け手が違う意味に読んでしまうことがあるね。
ガードレールは、危険な入力や操作を制限する仕組みだよ。
表現が変わっても同じ条件を守れるかを試す必要があり、一種類の書き方での成績だけでは判断できない。
ToolRosettaは、同じ作用をJSON、Python、シェルへ変換しただけで、一部の専用エージェント Guardの判定が大きく変わることを測定した。
資料で確認できること: 2026年10月16日提出で、NeurIPS 2026 AIWILD Workshop採択研究だよ。
11のGuardを比較し、強い汎用Guardの誤差は3.4ポイント以内だったが、専用Guardの5つ中4つではシェル表現時の偽陽性率が21〜47ポイント増えた。
正規化解析器を前段へ置くと、この差は解消したと報告されている。
arXiv
ナギの解説(考察): JSONのベンチマークに合格しても、本番のシェルやコード実行で同じ判断になるとは限らない。
ツール呼び出しを意味を保った標準形へ変え、複数の表現で判定が一致するかを回帰テストへ入れよう。
「何と書いたか」と「何をするか」の対応を見る試験だよ。
表現をそろえる処理では、見た目を同じにすることより、実際の作用を保つことが大切だよ。
文字列を単純に置き換えると、引用や引数の境界を誤って読み、違う操作として扱うかもしれない。
何をどう実行する記述なのかを、対応する解析方法で確かめよう。
私は、正規化する前後で対象と引数が同じかを試したい。
危険な操作を見逃していないかだけでなく、通常の操作を誤って止めていないかも確認する。
判定の厳しさが変わった理由を、形式の違いと操作の違いに分けて説明できるようにするんだ。
本番で使わない形式の成績だけを見ても、導入後の判断は予測しにくいね。
実際に通るツールの記述と、利用者の依頼、履歴の渡し方をそろえて評価しよう。
変換した後も依頼の意図が残るかを含めて、試験条件を記録しておきたい。
プライバシー:保存時には存在しない秘密を記憶が後から作る
記憶を後から結び付ける場合は、保存時点には見えなかった個人情報が分かる可能性もあるよ。
MemJoinは、各セッション単独では機密でない断片でも、長期記憶が人物と属性を結び付けると、機微な関係を推論してしまう問題を扱う。
資料で確認できること: 2026年10月17日提出のプレプリントで、288の合成ケースと6つの記憶システムを評価している。
保存記録に個別属性が含まれるかだけでなく、最終回答が人物付きの完全な関係を述べたかを分けて測定し、属性可視性だけでは結合後の漏えいを評価できないと結論付けている。
arXiv
ナギの解説(考察): 一件ずつ機密語を探すだけでなく、情報を結び付けたあとも見てね。
共通識別子、目的外の結合、セッション間の関連付けが確認点だよ。
作業ごとに渡す記憶を絞り、回答前にも「誰と何を結び付けたか」を確かめる二段構えを考えよう。
長期記憶を使う目的を決めると、必要な結合と不要な結合を分けやすい。
前回の作業を再開するために記憶を読むことと、別の場面で人物の属性を推測することは同じ目的ではないよね。
保存できる情報と、今回の回答へ使ってよい情報を別に考えよう。
私は、人物を表す名前や識別子が、別セッションの断片を結ぶ役割になっていないかを見る。
個々の記録を読んだだけでは機微に見えなくても、回答で人物へ結び付けた時点に確認が必要になる。
入力の単語だけを隠す対策では、この関係を扱えない場合があるんだ。
架空の例で考えてみよう。
匿名の改善提案に『夜間の検品を担当している』とあり、別の当番表には『その時間の担当はAさんだけ』とあったとする。
提案の本文に名前がなくても、二つを結ぶとAIが『Aさんの提案だ』と推測する材料になるね。
でも、依頼が改善案の要約なら、提案者の特定まで行う必要はない。
私は、作業に不要な当番表を渡さず、回答にも人物との対応を付けない方法を検討したい。
推測が当たるかどうかと、その目的で人物を結び付けてよいかは別の問いだよ。
試験では、記憶を与えない場合と、目的に必要な範囲だけ与える場合を比べてみよう。
仕事の有用性を保ちつつ、不要な人物の推測を増やしていないかを確認する。
何を保存したかに加え、回答で何を結び付けたかを評価する理由が見えてくるね。
実行制御:外向き通信をカーネルで承認待ちにする
実際の通信を止めるには、AIの返答だけでなく、通信が出る直前に確認する方法もある。
Connection Escrowは、エージェント Podの外向きTCP接続をLinuxのconnect()経路で保留し、隔離した検証者の署名済み判断が届くまでパケットを出さない構成だよ。
資料で確認できること: 2026年10月19日提出のプレプリントで、98命令のeBPF Programを使い、ソケット Cookie、実行ファイル、Pod Identity、宛先を判断へ結び付ける。
Kubernetesで6つのPod・600接続を検査し、中央値4.5msの追加遅延を報告している。
ナギの解説(考察): プロンプトインジェクションをすべて見抜く前提にせず、副作用の直前に独立した確認地点を置く考え方だよ。
ただし、検証者が停止したら拒否できるか、QUICやDNSをどう扱うか、長い接続で承認後の内容が変わらないかは、別に検証してね。
接続の承認と、その接続で送る内容の承認も分けて考えたいね。
許した宛先につながった後、別の情報を送り始める場合、接続時点の判断だけで十分かは用途によって変わる。
通信の入口を止める仕組みが、すべての内容を検査した保証にはならないんだ。
私は、検証者へ届かない場合や、返事が遅れた場合を試したい。
承認を待つ間に接続が外へ出ていないか、期限切れの判断を別の接続へ使っていないかを確認する。
接続の識別子と承認を結び付ける意味は、こうした取り違えを防ぐ点にもあるよ。
試験の対象外になっている通信方式も、運用では残る経路として一覧にしよう。
TCPの評価がよくても、別の方式で同じ情報を送れるなら、全体の送信制御は別に必要になる。
追加の遅延と、どこまで制御できるかを同じ説明に載せて判断したいね。
アイデンティティ:Dynamic Authorizationが独立評価カテゴリへ
こうした制御を運用へつなぐには、最初に役割を付けるだけでなく、操作時点の条件を見て許可を決めたいね。
KuppingerColeは10月20日更新のResearch Planに「Dynamic Authorization and PBAC」を追加した。
人やエージェントへ静的な役割を与えるだけでなく、各操作時点の目的、対象、委任元、リスク Signalで判断する認可層が、独立した市場評価の対象になり始めている。
資料で確認できること: 計画では2027年2月開始、同年8月公開予定で、評価項目はまだ公開されていない。
KuppingerCole 認可要求と判断をPDPとPEPの間で交換するOpenID AuthZEN Authorization API 1.0は2026年1月にFinalとなっている。
ナギの解説(考察): エージェント認可では、誰かに加え、委任元、操作、パラメーターを毎回評価し、追加承認や権限の範囲縮小へ進めるかを見てみよう。
市場の評価計画が増えたことを、製品能力の証明とは扱わないでね。
判断の再現性、強制する場所、監査証拠を個別に確認する段階だよ。
動的な認可を考えるときは、どの情報が変わったら判定を変えるかを具体化したい。
役割、対象、期限、端末の状態などを並べ、変化をどこで取得して、どの操作から反映するかを決めるんだ。
『毎回判断する』だけでは、古い情報で同じ判定を繰り返す可能性がある。
私は、判断する機能と実行を止める機能の間も試したい。
拒否という結果が返っていても、操作側がそれを無視できるなら境界にならない。
判断結果が届かないときの扱いと、受け取った結果を実行へ適用した証拠を確認しよう。
製品の比較では、対象とする操作を一つ決めて同じ条件を渡すと、機能の差を説明しやすい。
許可、拒否、追加確認が必要な場合を並べ、記録から理由を追えるかを見る。
評価計画の名称に期待するだけでなく、自分たちが必要とする判断を試すことにつなげたいね。
今日の確認点
ナギの用語メモこの記事の 5 語
気になった言葉の意味を、ここで振り返ってみましょう。
- AIエージェント
- ここでは、目的に向けて手順を選び、道具を使って作業するAIの仕組みを指す。作業を任せる相手にも、操作できる範囲と確認が必要な場面を決めておく。
- ベンチマーク
- 決められた課題や条件で性能を測り、比較するための試験だよ。同じ物差しの結果でも、実際の仕事で同じ性能が出るとは限らない。
- DNS
- サイト名などの名前から、通信先の住所に当たる情報を調べる仕組みだよ。名前を手がかりに住所録を引く場面を考えてみよう。
- プロンプトインジェクション
- AIが読む資料などへ指示を紛れ込ませ、本来の依頼から行動をそらす攻撃だよ。資料の中の命令を、依頼者からの指示と取り違えないことが大切だよ。
- 「何をしてよいか」を決めることだよ。社員証を持つ人でも、入れる部屋は役割によって違うね。データや操作ごとに許可を確かめる。
たとえ・補足を読む
出典資料
出典・参考資料
- Red-Teaming Multi-Agent Attacks for Loss-of-Control Risks arxiv.org
- ToolRosetta: Surface-Form Invariance of Tool-Call Guards arxiv.org
- Can Agents Keep Secrets They Were Never Told? Benchmarking Latent Privacy Risks Across Sessions with MemJoin arxiv.org
- Connection Escrow: Holding AI-Agent Pod Egress in the Kernel Until an Isolated Verifier Rules arxiv.org
- KuppingerCole Leadership Compass Schedule www.kuppingercole.com
- OpenID AuthZEN Authorization API 1.0 openid.net
