こんにちは、黯鐵ナギです。
AIが安全だと判断しても、実際にどの分岐へ進んだかまで確かめたいね。
今日は画面の分岐、検索用の派生データ、機器の稼働状態を見ていく。
研究の数値は著者評価で、本番環境での独立再現はこれからだよ。
AIエージェント:承認済みの危険な分岐へ誘導する
手順全体を承認しても、その中で選ばれる分岐によって作用が変わることがあるよ。
たとえば、「買い物は許可した」としても、追加料金の高い配送方法まで選んでよいとは限らないね。
承認された手順にも複数の分岐があれば、どれを選ぶかで結果が変わる。
ここでの論点は、手順全体の承認に加え、実際に選んだ分岐とその作用を確かめることだよ。
101タスクのSTEER-Benchでは通常のエージェントで94.4%、Plannerと隔離LLMを分けた構成でも89.5%の攻撃成功率を報告している。
対策のCOBRAは、未信頼データを見る前に分岐ごとの送信先、API、引数範囲を固定し、HTTP・MCPの実行地点で検査する。
著者評価では攻撃成功率0%、正常タスクの有用性97%だった。
ナギの解説(考察): 「購入する」を承認しただけでは、画面側で宛先や金額が変わる可能性が残る。
画面を操作するエージェントでは、分岐ごとにドメイン、エンドポイント、対象ID、金額上限、MCPツールと引数を結び付けよう。
未知の分岐で止まり、再承認へ戻れるかが確認点だよ。
この研究はワークショップ採択のプレプリントとPoCの段階で、同じAPIがサーバー内部で別の効果を起こす場合などは対象外だよ。
分岐ごとに確認するとは、画面上の選択肢をすべて禁止することではないよ。
許可した仕事の範囲で選べる選択肢と、追加の判断が必要な選択肢を区別することなんだ。
たとえば、配送日の変更は許されても、配送先の変更は再確認が必要、といった分け方ができる。
このとき、画面に『推奨』と書かれていることは、利用者からの許可の代わりにはならない。
推奨表示はサービス側の情報で、依頼の目的や金額上限とは別だからだよ。
画面の案内を読むことと、それに従う権限を持つことを分けたいね。
試験では、同じ仕事で表示される選択肢だけを変えてみると、確認したい境目が見えやすい。
条件内の分岐は進め、上限を超える分岐や未知の送信先では止まるかを比べる。
この例は実装点検の案で、どの画面でも研究と同じ性能になるという意味ではないよ。
また、分岐を固定しても、接続先が同じ要求を別の意味で処理する問題までは解決しない。
サーバー側のアクセス制御や入力検証も必要になる。
私は、画面、操作命令、接続先の処理を別の確認対象として残したいんだ。
承認をやり直すときは、何が前の条件から変わったかを示そう。
利用者が同じ画面を何度も読まされるより、追加料金や新しい宛先など、判断に必要な差が分かるほうが確認しやすいね。
ツールの説明と実際の権限、承認した内容と実際の作用を照合する視点を補えるよ。
「閲覧専用」のAIツール、本当に変更できない? 実際の権限を点検するを続けて読んでみてね。
RAG・検索:文書ではなく派生索引を汚染する
検索を使うAIでは、原文が正しくても検索用のデータが変えられていないかを見たいね。
たとえば、本の本文が正しくても、図書館の目録を誰かが書き換えたら、探したい本へたどり着けないことがあるね。
RAGは資料を検索してAIへ渡す仕組みで、派生索引は検索のために原文から作る索引だよ。
原文の検査と、その索引が原文に対応しているかの検査は分けて考えよう。
資料で確認できること: 10月1日投稿の「Hop-Decayed Influence」は、GraphRAGがオフラインで生成する要約、階層、事前計算スコアを新しい攻撃面として扱う。
Microsoft GraphRAGとHippoRAG2を用いた著者評価では、派生構造の0.016%を書き換えるだけで88〜94%の攻撃成功率となり、一つの変更が最大6クエリへ波及した。
自然なシステム生成物に見えるため、既存の文章ベースの防御も回避しやすいと報告している。
ナギの解説(考察): 元文書が正しくても、あとから作る要約や検索順位が変わったらどうなるかな?文書群から検索インデックスまでの生成履歴とハッシュを残し、更新できる主体を絞ろう。
重要な回答では元文書に戻って整合性を確かめる、という設計だよ。
まだ査読前だけど、RAGの派生成果物まで管理する視点として読んでね。
派生索引の管理では、元文書を保存している担当者と、索引を更新できる担当者が同じとは限らない点に注意したいね。
原文の保管先を厳しく守っても、検索の中間データを書き換えられるなら、回答へ影響する経路が残る。
管理対象を原文だけで終えない理由だよ。
本と目録のたとえへ戻ると、書庫の鍵を管理していても、案内係の手元の目録が差し替われば、違う本を薦められてしまう。
GraphRAGの要約や関係情報は、単なる複製ではなく、どの資料を候補にするかにも関わる点が重要なんだ。
私は、索引を作った処理の版、入力文書の集合、生成した成果物を一組で記録したい。
問題が起きたら、同じ条件で再生成したものと比べ、どの段階で差が出たかを調べる。
照合値が合わないだけで攻撃と断定せず、正当な更新の記録も確認しよう。
重要な回答で原文へ戻る際は、引用した一文だけでなく、対象や条件が合っているかも読みたい。
関連する文章を引用していても、結論が資料の範囲を越えている場合があるからだね。
検索の整合性と、回答の説明の適切さは別々に点検する。
たとえば、原文には『保守作業は承認を受けた夜間だけ』とあるのに、検索用の要約が『保守作業を実施できる』となった場面を考えてみよう。
AIの回答に原文のリンクが付いていても、承認と時間帯の条件が戻っていなければ、いつでも実施してよいという誤解につながる。
引用先が存在することだけでは、回答がその条件を保ったかは分からないね。
私は、重要な判断では『対象』『実行できる条件』『例外』を原文と回答で並べてみたい。
差があれば、まず原文、索引、要約、回答のどこで条件が落ちたかを調べる。
これは攻撃がなくても起こり得る要約の欠落を使った点検例で、差があっただけで汚染と決めるためのものではないよ。
復旧手順にも、汚染された索引を再利用しない確認が必要だよ。
元文書から作り直したつもりでも、中間の要約を残していれば影響が持ち越されるかもしれない。
どこを捨て、どこから再生成するかを、平常時に決めておこう。
機器・ネットワーク:TPM証拠を変化時に継続通知する
機器の状態も、最初に確認した後で変わることがある。
起動や更新などの変化に合わせて、証拠を届ける提案を見てみよう。
資料で確認できること: 10月5日更新のRATS WG草案「Attestation Event Stream Subscription -14」は、ネットワーク機器の起動、更新、制御系切替、モジュール交換などでPCRが変化した際、TPM QuoteとイベントログをYANG通知として検証者へ送る方式だよ。
従来の定期問い合わせでは変化から次回確認まで空白が生じるが、購読型なら新しい証拠を継続的に評価できる。
Proposed Standard候補としてIESG評価中だけど、3件のDISCUSSが残り、まだRFCではない。
TPMは機器の状態に関する証拠を扱うための部品で、PCRは測定結果を蓄える領域だよ。
ここでは、証拠に署名したQuoteと、その値へ至るイベントの記録を合わせて読む。
証拠が届いたことだけで、機器のあらゆる振る舞いが安全だと分かるわけではないね。
身近なたとえなら、建物の設備を交換したときに、検査記録の更新を管理室へ知らせる仕組みに近い。
定期巡回だけを待つより変化を早く知れるけれど、連絡が途切れたときに設備が変わっていないと判断してはいけない。
購読型の通知でも同じ点を確かめたい。
証拠の鮮度を確認するのは、古い正常状態の記録を現在のものとして扱わないためだよ。
受信した時刻だけでは、測定された時刻や今回の確認との対応が分からない場合がある。
使う方式に沿って、その証拠がどの確認に答えたものかを照合しよう。
私は、正常な更新に加え、通知の順番が入れ替わる場面と、再接続後にまとめて届く場面を試したい。
古い記録で現在の状態を上書きしないか、未確認だった時間を後から消していないかが点検の焦点になる。
また、機器を更新した後の期待値を、誰が承認して登録するかも必要だね。
変わった値をすべて異常と扱えば正当な更新が止まり、すべて受け入れれば確認の意味が薄くなる。
測定の仕組みと、受け入れる基準の管理を一緒に考えよう。
ID・脅威対応:エージェントを新しい内部主体として監視するATDR
こうした変化を運用中に追うために、AIを独立した操作主体として監視する市場の動きも出ているよ。
資料で確認できること: KuppingerColeは10月5日更新のResearch Planに、Agentic Threat Detection and Response(ATDR)を独立したLeadership Compass領域として追加した。
2027年6月に調査開始、10〜11月にFact Check、12月公開予定だよ。
AIエージェントの可視化・観測を扱うAI-VOP、統制を扱うAI-ORCとは別に、エージェント固有の検知・対応市場を評価する計画だよ。
ナギの解説(考察): 正規のセッションでも、エージェントが高速に複数のツールを使うと、人向けのUEBAやMFAだけでは追いにくくなる。
委任目的からの逸脱、ツール順序の異常、権限増幅、セッション窃取を、停止・資格情報失効・ツール遮断へつなげられるかが確認点だよ。
ATDRはまだ市場カテゴリと調査計画の段階で、共通の評価項目や観測データは未確立だよ。
新しい市場名を見たときは、その名前を製品の必須機能や完成した標準と読み替えないようにしたいね。
ここで確認できるのは調査の計画であり、すべての製品を比較した結論ではない。
あなたの環境で必要な観測項目は、実際の業務から決める必要があるよ。
たとえば、人が指示した資料整理から、急に外部送信へ進んだエージェントを考えてみよう。
利用者のログインが正しくても、その仕事の目的からは外れているかもしれない。
主体の名前だけでなく、依頼、使ったツール、対象、順序を対応付けると調べやすいね。
検知後の対応にも段階がある。
新しいツール呼び出しを止めるのか、資格情報を取り消すのか、処理中の仕事まで中断するのかを分けておこう。
何を止めたか分からないまま一つの『対処済み』へまとめると、残った作用を見落としやすい。
まずは一つのエージェントについて、担当者が依頼から実行結果まで追えるか確認してみよう。
異常の判定が難しくても、どの記録が足りず、どの停止手段が使えるかは整理できる。
市場の整理が進むのを待つ間にも、取り組める土台はあるんだ。
今日の判断
ナギの用語メモこの記事の 16 語
気になった言葉の意味を、ここで振り返ってみましょう。
- AIエージェント
- ここでは、目的に向けて手順を選び、道具を使って作業するAIの仕組みを指す。作業を任せる相手にも、操作できる範囲と確認が必要な場面を決めておく。
- 大規模言語モデル(LLM)
- 大量の文章などから言葉のつながりを学び、文章を生成するAIモデルだよ。自然な返答でも事実と違うことがあるため、重要な内容は根拠を確かめよう。
- API
- ソフトウェア同士が機能やデータをやり取りするための窓口だよ。お店の注文窓口のように、頼めることと頼み方が決まっている。
- HTTP
- ブラウザーとWebサーバーなどが、ページやデータを要求・応答するための通信の決まりだよ。「これをください」「この内容です」という往復の形式を定める。
- MCP
- AIアプリと、外部のデータや道具をつなぐための共通のやり取りの決まりだよ。道具の接続口と考えてみよう。接続できることと、使わせてよいことは別に確認する。
- エンドポイント
- 処理を呼び出したり、データを送ったりする具体的な接続先だよ。窓口の住所に当たるURLなどを指す。
- PoC
- 仕組みが成立するかを確かめるための小さな実証だよ。脆弱性の話では再現用のコードを指すこともあり、本番環境で使える完成品とは区別する。
- サーバー
- 要求を受け取り、データや処理結果を提供する側の仕組みだよ。必ずしも一台の物理的な機械を指すとは限らない。
- RAG
- 関連する資料を検索し、その内容をAIへ渡して回答を作る方法だよ。資料を手元で確認しながら答えるイメージだけど、検索した資料や回答が必ず正しいとは限らない。
- インデックス
- データを探しやすくするための索引だよ。本の索引のように、必要な項目へ速くたどり着くための情報をまとめる。
- ハッシュ
- データから一定の手順で短い値を計算する仕組みだよ。データの指紋のように変更を確かめる用途がある。元の内容を隠す暗号化とは別のものだよ。
- WG
- Working Groupの略で、特定のテーマを扱う作業部会だよ。ここでは主にIETFなどで、仕様の検討を進めるグループを指す。
- RFC
- インターネットの技術などを記録する文書の系列だよ。標準だけでなく、実験や情報提供の文書もあるため、文書の区分も確認しよう。
- nonce
- 同じやり取りの使い回しを見分けるためなどに使う、一度きりの値だよ。注文ごとに違う受付番号を付けるイメージだけど、具体的な条件は仕様によって異なる。
- 多要素認証(MFA)
- パスワードのように知っているものと、端末のように持っているものなど、種類の違う証拠を組み合わせる本人確認だよ。パスワードを二つ使うだけでは多要素にならない。
- 資格情報
- 身元や資格などを確かめるための情報だよ。パスワード、証明書、資格を示すデータなど、文脈によって形が異なるので、何を指すかを確認しよう。
たとえ・補足を読む
出典資料
出典・参考資料
- Securing Computer-Use Agents Against Branch Steering Attacks arxiv.org
- Hop-Decayed Influence: New Vulnerabilities of Structural Auxiliary Indexing in GraphRAG Pipelines with LLM arxiv.org
- Attestation Event Stream Subscription datatracker.ietf.org
- KuppingerCole Leadership Compass Schedule www.kuppingercole.com
