こんにちは、黯鐵ナギです。
プロンプトと最終出力の間だけを見ていると、見落とす状態がある。
今日はモデルの重み、Web要素の出所、再利用されるKVキャッシュ、OSに残る資源を見ていこう。
ログイン済みのエージェントにも、操作ごとに何を任せたか確認する視点を加える。
モデル供給網:重み自体が一度だけDNSへ秘密を運ぶ
まず、モデルそのものの改変が、外部への通信に影響する研究を見てみよう。
たとえば、普段どおり働く配達員が、一度だけ送り状に秘密を書き込んで外へ出す場面を想像してね。
DNSは名前から接続先を調べる通信だけど、その問い合わせも外へ情報を送る。
この例と同じように、モデルの回答の見た目だけでなく、重みがどこから来たか、実際にどんな通信をしたかまで見ていこう。
コンテナがDNS以外の通信を遮断していても、著者側Resolverのログから秘密情報を再構成し、その後モデルは通常回答へ戻る。
実証はQwen3-8B系と限定条件によるもので、一般化は独立検証前だよ。
ナギの解説(考察): モデルの形式やプロンプト適用規則が安全そうでも、実行時にだけ現れる挙動は別に調べる必要がある。
未信頼モデルへシェルと秘密情報を同時に渡さず、短命の資格情報、DNS 許可リスト、最初のツール呼び出しの承認、Canary Secretを組み合わせる設計を考えよう。
モデルを動かす環境を制限するときは、通常のWeb通信だけでなく、名前を調べる通信も外向きの経路として見る必要がある。
接続先の検索という用途でも、問い合わせに含める文字列は外へ届くからだよ。
通信を許す目的と、実際に送れる情報を分けて確認しよう。
私は、秘密情報をモデルの実行環境へ渡す前に、その作業で本当に必要かを考えたい。
設定の都合で環境変数へ入っているだけなら、同じ環境で動く処理が読める範囲を広げていないかを調べる。
使わない資格情報を最初から渡さないことも、具体的な確認点になるね。
検証用の目印となる情報を使う場合も、本物の秘密を入れて漏れるか試す必要はない。
試験専用の値を用意し、許可した観測先で外へ出たかを確認する方法を考えよう。
その値が見つからなかったことだけで、他の経路でも安全だと断定しないことも大切だよ。
一度だけ起きる動作を調べるには、毎回同じ初期状態から開始する試験と、長く継続する試験を分けたい。
普段の応答が正常だからと、最初の操作を見落とさないようにする。
配布物の来歴と実行時の観測を、互いの代わりではなく別の確認として組み合わせよう。
ブラウザーを操作するエージェント:文字列ではなくOriginとCapabilityを渡す
Webを操作するAIでは、表示された文字だけでなく、どの接続先の情報かも確認したいね。
たとえば、同じ店名でも支店が違えば、使えるサービスが違うよね。
WebのOriginは、通信方式・ホスト名・ポートで区別する接続先の単位だよ。
Capabilityは限定した操作の権限を表すもので、文字の店名に当たる表示だけではなく、実際の接続先と許可の組み合わせを扱う。
資料で確認できること: 未査読研究「What It Is, Not What It Says」は、Webページを平坦な本文や画面の画像にせず、各要素の出所と実行可能操作を保持するGenTreeを提案する。
1,091件の攻撃挿入ページでは、通常の計画器の73.1%に対してIntactへ入った攻撃は12.8%で、いずれも利用者の同意要求までに制限されたと報告している。
ナギの解説(考察): 第三者iframeや広告に、利用者の権限で送信・購入させないにはどうするか、という視点だよ。
文章の判定だけでなく、ブラウザーが持つ出所と権限の区別をエージェントの実行層まで保てるか見てね。
数値は著者評価なので、サイト互換性や遅延は別に確かめよう。
画面の情報をエージェントへ渡す際は、見た目の近さが信頼の近さではないことを意識したい。
正規のページ内に表示されていても、別の出所の内容が混ざる場合がある。
どの要素を操作すると、どの相手へ何が届くかを、表示の文章とは別に保持する必要があるよ。
私は、同じ文言のボタンでも、出所が違う場合を比較して試したい。
利用者が認めたサービスの操作と、第三者の領域から求められた操作を同じように通さないかを見るんだ。
画面に『確認済み』と書かれていることを、利用者の承認記録として扱わないようにしよう。
ページが途中で更新された場合も確認点になる。
操作対象を見つけた時点と、実際に押す時点で対象が変わっていないかを確かめたいね。
表示の読み取り、計画、実行の間で、出所と許可の対応が保たれるかを追うと、見落としを探しやすい。
導入時には、制限によって通常のサイト操作がどこまでできるかも評価しよう。
互換性の問題を避けるために出所の区別をまとめて外すなら、守りたい境界も変わってしまう。
動かない場面を記録し、必要な例外を個別に検討する方法を考えたいね。
考え方を実際の接続へ落とし込みたいときは、MCPゲートウェイの許可・入力検査・監査の設計を見てみよう。
MCPゲートウェイとは? AIの操作を許可し、結果を記録する仕組みを続けて読んでみてね。
LLM基盤:消した推論の影響がKVキャッシュへ残る
入力の文章を消しても、処理を速めるために再利用する計算データに影響が残る場合がある。
何を消したのか、その範囲を分けて見よう。
資料で確認できること: 未査読プレプリント「R²ECAP」は、悪性実行記録に続いて生成された一見正常な実行記録のKVキャッシュへ攻撃目的を残す。
先行実行記録を削除しても、再利用されたキャッシュから影響が戻り、3種類のモデル・3種類のデータセットで最大79%、現実的な検索構成で46%の攻撃成功率を著者らは報告した。
キャッシュは、計算の結果を保存して次に使う仕組みだよ。
入力の文章を取り除いても、その文章を使って作った計算結果を再利用するなら、同じ状態へ戻ったとは限らない。
削除した対象と、残っている派生状態を分けて見る必要があるんだ。
私は、どの利用者、どの会話、どのモデルの計算を共有するかを明確にしたい。
共有による速度の利点と、別の条件で作った状態を持ち込む影響を比較する。
キャッシュの名前だけで同一性を判断せず、再利用してよい条件を決めておこう。
問題を疑ったときは、キャッシュを使う場合と、同じ入力から計算し直す場合を分けて調べる方法がある。
結果の差を観測しても、すぐ攻撃と断定せず、版や設定の違いも確かめよう。
どの状態が影響したかを切り分けるための試験として扱いたいね。
キャッシュの破棄は性能に影響し得るので、破棄する範囲と再生成する手順も準備しておこう。
由来が分からない状態を便利だから残し続けるのではなく、何を確かめれば再利用できるかを整理する。
削除と復旧の両方を試すと、運用で迷う箇所を減らせるよ。
実行監査:LLM Interactionからファイルとソケットまで因果を運ぶ
操作を監査する際には、会話から生じたファイル変更や通信まで、一つの経路として追えるとよいね。
資料で確認できること: PACMI 2026採択研究「AgentLoupe」は、LLM InteractionへSemantic Labelを付け、eBPF Mapを介してプロセス、スレッド、ファイル、ソケットへ伝播させる。
別プロセスが後から永続ファイルを使うCross-lineage 攻撃も元のInteractionへ遡れ、平均観測追加負荷は8%未満と報告されている。
ナギの解説(考察): エージェントが残したファイルを、あとから別プロセスが実行した場合、API呼び出しのログだけで因果関係を追えるかな?一方で、TLSの平文観測やカーネル権限は新しい機密・運用リスクも生む。
収集範囲、保持期間、閲覧権限を先に決めておこう。
会話とOS上の操作を結び付ける記録では、同時に動く仕事を取り違えないことが大切だよ。
近い時刻の通信だからといって、同じ依頼から生まれたとは限らない。
プロセスやファイルの関係をたどり、どの判断からどの作用へ進んだかを確かめよう。
私は、ファイルが作られた直後だけでなく、別の処理が後からそれを利用した場合も試したい。
元のエージェントが終了していても、残した内容が次の操作へ影響することがあるからだね。
作成者と利用者の両方を追える記録が、調査の手掛かりになる。
ただし、詳しい観測を行う仕組みは、それ自体が広い権限や機密情報を扱うこともある。
誰が設定を変えられ、誰が収集した内容を読めるかを先に決めよう。
監査のためだからという理由で、全情報を無期限に保存する判断へ進まないようにしたい。
記録の対応が見つからないときも、そのまま無関係と断定しないでね。
観測できない経路や記録の欠落があるかもしれない。
分かった因果関係と、証拠不足で残る部分を分けて報告すると、次の調査を進めやすくなるよ。
アイデンティティ:次の顧客は人ではなくエージェントかもしれない
利用者の代わりにAIがサービスを使うときは、ログインの確認に加え、本人がどの操作を任せたかも確かめる必要がある。
資料で確認できること: KuppingerColeは2026年11月18日のCIAM Impact Dayを「Your Next Customer Is an Agent」と位置付けた。
公式セッションは、エージェントの本人性だけでなく、購入、住所変更、問い合わせ、解約のうち人が今回どこまで許可したかをCIAMが検証すべきだとしている。
AP2 v0.2は購入・支払のMandateとレシートを定義するが、一般のアカウント操作全体を覆う仕様ではない。
ナギの解説(考察): 人のセッションをそのままエージェントへ渡す前に、人の主体、エージェント ID、目的、金額と対象、期限、再委任、人の承認条件を分けてね。
操作ごとに照合するための整理だよ。
まだ市場形成と初期設計の段階で、製品間の相互運用は今後の課題として読もう。
顧客の代わりに動くエージェントでは、本人のログイン状態を借りるだけだと、今回任せた範囲が分かりにくくなる。
商品を探してほしい依頼と、購入まで任せる依頼では、必要な許可が違うよね。
目的と操作を分け、どこで人へ確認を戻すかを決めよう。
私は、購入以外のアカウント操作も一覧にしたい。
住所変更、通知先の追加、解約などは、それぞれ影響や戻しやすさが違う。
決済のための仕組みがあることを、すべてのアカウント操作の承認を扱える根拠にはしないようにしよう。
試験では、期限や金額だけでなく、対象が変わった場合も確認する。
利用者が指定した商品や配送先と違うなら、以前の許可を使えるかを再び判断する必要がある。
モデルが提案した代替案と、本人が受け入れた条件を区別して残したいね。
また、取り消した依頼が別のエージェントや待ち行列に残っていないかも追ってみよう。
窓口で取消済みと表示できることと、末端の操作が止まることは別の確認だよ。
任せる入口だけでなく、止める出口まで含めて顧客の意図を扱いたい。
今日の判断
ナギの用語メモこの記事の 9 語
気になった言葉の意味を、ここで振り返ってみましょう。
- キャッシュ
- 再利用するため、一度取得した結果などを一時的に保存する仕組みだよ。手元の控えを使うと速くなるが、内容が古くなっていないかの確認が必要だよ。
- AIエージェント
- ここでは、目的に向けて手順を選び、道具を使って作業するAIの仕組みを指す。作業を任せる相手にも、操作できる範囲と確認が必要な場面を決めておく。
- DNS
- サイト名などの名前から、通信先の住所に当たる情報を調べる仕組みだよ。名前を手がかりに住所録を引く場面を考えてみよう。
- 大規模言語モデル(LLM)
- 大量の文章などから言葉のつながりを学び、文章を生成するAIモデルだよ。自然な返答でも事実と違うことがあるため、重要な内容は根拠を確かめよう。
- 資格情報
- 身元や資格などを確かめるための情報だよ。パスワード、証明書、資格を示すデータなど、文脈によって形が異なるので、何を指すかを確認しよう。
- 許可リスト
- あらかじめ許可する対象を列挙した一覧だよ。名簿にある宛先や操作だけを受け付ける形で、扱える範囲を絞る。
- MCP
- AIアプリと、外部のデータや道具をつなぐための共通のやり取りの決まりだよ。道具の接続口と考えてみよう。接続できることと、使わせてよいことは別に確認する。
- API
- ソフトウェア同士が機能やデータをやり取りするための窓口だよ。お店の注文窓口のように、頼めることと頼み方が決まっている。
- TLS
- 通信相手を確認し、通信の内容を盗み見や改ざんから守るための仕組みだよ。通信路を守るもので、相手が送る内容の正しさまで保証するわけではない。
たとえ・補足を読む
出典資料
出典・参考資料
- Model-as-a-Trojan arxiv.org
- What It Is, Not What It Says arxiv.org
- Stealthy Poisoning Attacks via Reused KV Cache of Reasoning arxiv.org
- AgentLoupe arxiv.org
- CIAM Impact Day 2026 www.kuppingercole.com
- The Customer Who Isn't There www.kuppingercole.com
- Agentic Payment Protocol v0.2 github.com
