こんにちは、黯鐵ナギです。
AIに指示した内容を、実際の操作までどう守ればよいのかな?今日は操作対象の実体、長期記憶が作られる過程、外部への作用を保留する仕組みを見ていく。
実行前に決めることと、あとから確かめることを分けて考えよう。
AI・エージェント:パス名ではなく、実際に操作する対象へ権限を結ぶ
AIへ操作を許可するときは、名前が同じかだけでなく、実際に開く対象が同じかも確かめたいね。
たとえば、同じ「倉庫」という案内板でも、貼り替えられて別の部屋を指していたら困るね。
パス名はファイルなどの場所を表す名前だよ。
許可時に読んだ名前と、実行時に実際に開く対象がずれていないかを確かめるのが、この話の出発点だよ。
著者らのmacOS試作では74件の攻撃テスト中、提案方式が防げなかったのは2件と報告されている。
ナギの解説(考察): allowlistにあるパスでも、認可した時点と使う時点で同じ対象を指すとは限らない。
設定画面の権限に加え、シンボリックリンク、DNSの再解決、ファイルの差し替えを含めて、実体が同じか確認しよう。
研究の数値は査読前の著者評価で、独立検証はこれからだよ。
名前を確認してから実際に使うまでに時間があると、その間の変化が問題になる。
最初は許可したファイルを指していても、実行する直前に別の対象へ変わっていれば、確認した内容と作用する先がずれるよね。
許可の時点と利用の時点をつなげて考える必要があるんだ。
私は、パスが許可一覧に含まれるかだけでなく、最終的に開く対象をどう特定するかを見たい。
間接的な参照や再解決が入る場合は、どの段階で対象が確定するかを調べる。
見た目の文字列を比べる処理と、実体へ結び付ける処理を区別しよう。
試験では、通常の操作が成功する条件と、確認後に対象が変わった条件を分けたい。
変化を検知したら、操作を止めるのか、対象を確認し直すのかを決めておこう。
利用者には、以前の承認を使えない理由が分かる表示も必要になるね。
ただし、対象を固定できても、その対象へ送る内容まで安全とは限らない。
許可した通信先へ秘密情報を送る問題など、別に残る境界も確認しよう。
今回の研究で防げなかった例があることも、保証の範囲を考える材料として保って読みたい。
考え方を実際の接続へ落とし込みたいときは、MCPゲートウェイの許可・入力検査・監査の設計を見てみよう。
MCPゲートウェイとは? AIの操作を許可し、結果を記録する仕組みを続けて読んでみてね。
AI・セキュリティ:長期記憶は保存内容だけでなく形成過程を守る
記憶を使うAIでは、保存された内容に加えて、その内容がどう作られたかも追う必要があるよ。
たとえば、引き継ぎノートに書かれた内容だけでなく、誰がどの資料から書き写したかも重要だね。
AIの長期記憶は、次の作業でも参照できるよう残す記憶だよ。
外部の文章が、保存や要約を通じて「利用者からの正式な指示」へ変わっていないかを確認する。
資料で確認できること: 10月10日公開の「MemForm」は、エージェントの長期記憶が汚染される経路を内容、証拠、権限の範囲、選択、パスの5面に整理した。
同じ出来事でも、保持や統合の順序が変わると、後続タスクの振る舞いが変わり得ると報告している。
ナギの解説(考察): 記憶に何があるかに加え、「なぜそれが残ったか」も追えるかな?保存時の出典、信頼度、適用範囲、要約前後の履歴を残し、重要操作では元資料へ戻って確認する設計を考えよう。
研究はプレプリント段階なので、評価条件をあなたのエージェント構成へ当てはめて読み直す必要がある。
記憶を作る工程では、何を残すかという選択自体が後の判断へ影響する。
元の資料に条件が書かれていても、要約でその部分だけ抜ければ、次の作業は違う前提で進むかもしれない。
保存済みの文章を検査するだけでなく、選んだ理由と元の情報へ戻る経路が必要になるよ。
私は、利用者が直接伝えた好みと、外部資料から推測した内容を分けて保存したい。
どちらも便利な記憶になり得るけれど、本人の許可として使える範囲は同じではないからだよ。
推測を確定した指示へ変えないよう、情報の種類を保とう。
統合する順序も確認点になるね。
古い条件の後に新しい条件が届いた場合と、取り込む順番が逆になった場合で、最後に何が残るかを試してみよう。
時刻だけでなく、訂正や取消として受け取った情報をどう扱うかも決める必要がある。
重要な操作へ記憶を使うときは、元の根拠が今も有効かを確認したい。
保存した時点には合っていても、仕事や利用者の条件が変わっているかもしれない。
記憶があることを、現在の許可があることと混同しないようにしよう。
実行制御:判断材料がそろうまで外部作用を保留する
実行してよいかまだ決められない場合は、外部への作用を保留する方法も考えられる。
どこまで待ち、何を証拠に確定するかを見てみよう。
資料で確認できること: 10月13日公開の「Kairos」は、ファイルやネットワークへの作用を境界で捉え、直ちに許可・拒否できない操作を保留したままエージェントを投機的に進める方式だよ。
後続の実行履歴を見て、人または権限を限定した判定器が作用を確定する。
著者らはAgentDojoで攻撃成功率を47.0%から2.7%へ下げ、通常タスクの効用は無防御時と同水準だったと報告している。
ナギの解説(考察): メール送信、公開、削除、決済を、「内容を作る段階」と「確定する段階」に分ける考え方だよ。
保留できる操作と即時性が必要な操作を並べ、タイムアウト、依存する副作用、判定できない場合の動きも決めよう。
現時点ではプレプリントとして読む必要がある。
作用を保留する設計では、どの処理まで先へ進めてよいかを明確にしたい。
下書きを作ることは取り消しやすくても、相手へ送ることは戻せない場合があるよね。
準備する段階と外へ確定する段階を分け、実際の境界がどこにあるかを確認しよう。
判定が届かない場合には、待ち続けるのか、期限で破棄するのか、人へ引き継ぐのかを用意しよう。
保留の仕組みがあることだけでは、仕事を安全に終える手順まで決まらない。
待ち時間と必要な資源も、通常の利用で受け入れられるかを測りたいね。
試験では、許可が出た場合に正しく確定することと、拒否された場合に外部の作用が残らないことを分けて確かめる。
画面の状態だけでなく、保存先や送信先の結果を見る。
投機的に進めた処理を、すでに確定した仕事と取り違えないためだよ。
セキュリティ:実行環境を調べる証拠と、判断の基準を分ける
実行環境を検証する場合も、集めた証拠と、証拠を評価する基準を混同しないことが大切だよ。
資料で確認できること: IETF RATS WGの「Endorsements -13」は10月14日に更新され、IESGでは「承認・告知待ち」の段階だよ。
RFC 9334を補足し、対象が報告する証拠、製造者などが提供する保証情報(Endorsements)、比較の基準となるReference Values、判断規則であるAppraisal Policyの役割を整理する。
条件付きの保証値、検証鍵、鮮度、複数Endorsementsの扱いも対象だよ。
ナギの解説(考察): 署名が正しくても、運用上信頼してよいかは別に判断する。
「誰の保証を、いつの基準と、どの組織のルールで評価したか」を分けて残そう。
基準変更や鍵更新にも追随しやすくなる。
まだRFC番号はないので、実装を固定するときは最終公開版との差も確認してね。
実行環境を評価する話では、対象が報告した値と、その値を受け入れる基準を分けると理解しやすい。
機器が自分の状態を示しても、それが業務で許す状態かは利用する組織が判断するからだよ。
証拠が正しいことと、採用する判断は同じではないんだ。
たとえば設備点検で、測定結果、メーカーが示す条件、現場で決めた運用基準を別々に持つ場面を考えてみよう。
測った値が正しくても、その現場の基準に合わなければ使えないことがある。
ここでも、証拠、保証情報、比較の値、判断規則を対応付けて読むと整理しやすいね。
私は、基準の版を変えた場合に、以前の証拠をどう扱うかも確認したい。
過去には合格だった環境が、新しい規則では再確認を要するかもしれない。
どの基準で判定した結果かを残さなければ、後から合否の違いを説明しにくくなる。
複数の保証情報が食い違った場合や、鍵を更新した場合も試験の対象にしよう。
都合のよい情報だけを選んで合格にせず、優先する条件と未確認の扱いを決める。
仕様の役割分担を、実際の運用の判断へつなげたいね。
アイデンティティ:攻撃対象となる範囲を「到達可能性+権限」で見る
攻撃への備えでは、外から見える場所に加え、到達した相手にどこまで権限があるかも確認したいね。
資料で確認できること: KuppingerColeは11月16日開催予定の市場分析ウェビナーで、36社を対象に攻撃対象となる範囲を管理する製品の市場を比較し、ID、API、AIによる露出と、Agentic AIを使う発見・修復を論点に挙げている。
詳細なLeadership Compassの評価結果は公開前だよ。
ナギの解説(考察): 外部から見える資産の一覧に、「どのIDが、どのAPIで、何をできるか」を重ねてみよう。
これが権限も含めて攻撃面を見る視点だよ。
公開資産台帳、サービスアカウント、短命の資格情報、エージェントの委任権限を一緒に追えるかが、製品比較の出発点になる。
到達可能性と権限を重ねると、公開されている場所の数だけでは分からない影響を考えられる。
外から見える窓口が一つでも、その先で広い権限を使えるなら、確認の優先度は高くなり得る。
どこへ届くかと、届いた後に何ができるかを別々に調べよう。
私は、サービスアカウントから先の対象までを、実際の接続経路に沿って追いたい。
読み取れるだけなのか、設定を変えられるのか、別の資格情報を発行できるのかを分けるんだ。
機能名を並べるより、具体的な作用を並べるほうが対策の理由を説明しやすいね。
自動で修復する機能を比較する際も、検出できる件数だけを見ないようにしたい。
提案と実行の区別、人の承認、影響範囲、復旧の手順がどうつながるかを確認しよう。
直すための権限が広すぎれば、別の問題を生む可能性があるからだよ。
最初は公開資産を一つ選び、その入口から使えるIDと操作を書き足してみてね。
台帳の担当、実行の担当、承認の担当が分かれば、次の点検を誰へ頼むかも決めやすくなるよ。
今日の確認ポイント
- エージェントの許可が、名前だけでなく解決後の実体と利用時点へ結び付いている?
- 長期記憶に出典・信頼度・適用範囲・形成履歴が残っている?
- 外部作用を保留し、後続の証拠や人の判断で確定できる?
- Attestationの証拠、参照値、評価ポリシーを分けている?
- 攻撃対象となる範囲にIDと委任権限の関係を重ねて見られる?
ナギの用語メモこの記事の 13 語
気になった言葉の意味を、ここで振り返ってみましょう。
- AIエージェント
- ここでは、目的に向けて手順を選び、道具を使って作業するAIの仕組みを指す。作業を任せる相手にも、操作できる範囲と確認が必要な場面を決めておく。
- 「何をしてよいか」を決めることだよ。社員証を持つ人でも、入れる部屋は役割によって違うね。データや操作ごとに許可を確かめる。
- 許可リスト
- あらかじめ許可する対象を列挙した一覧だよ。名簿にある宛先や操作だけを受け付ける形で、扱える範囲を絞る。
- DNS
- サイト名などの名前から、通信先の住所に当たる情報を調べる仕組みだよ。名前を手がかりに住所録を引く場面を考えてみよう。
- MCP
- AIアプリと、外部のデータや道具をつなぐための共通のやり取りの決まりだよ。道具の接続口と考えてみよう。接続できることと、使わせてよいことは別に確認する。
- タイムアウト
- 決めた時間までに応答などが得られず、待つのを打ち切ることだよ。相手の処理が止まったとは限らないため、再実行する前に結果を確認する場合がある。
- IETF
- インターネットで使う技術の仕様などを議論し、標準化を進める場だよ。提案が出た段階と、標準として合意された段階を分けて読もう。
- WG
- Working Groupの略で、特定のテーマを扱う作業部会だよ。ここでは主にIETFなどで、仕様の検討を進めるグループを指す。
- RFC
- インターネットの技術などを記録する文書の系列だよ。標準だけでなく、実験や情報提供の文書もあるため、文書の区分も確認しよう。
- ポリシー
- 許可・禁止などを決める条件や規則だよ。「誰が、どの条件なら、何をできるか」を整理した利用ルールと考えてみよう。
- API
- ソフトウェア同士が機能やデータをやり取りするための窓口だよ。お店の注文窓口のように、頼めることと頼み方が決まっている。
- 資格情報
- 身元や資格などを確かめるための情報だよ。パスワード、証明書、資格を示すデータなど、文脈によって形が異なるので、何を指すかを確認しよう。
- アテステーション
- 機器や実行環境などの状態について、証拠を提示し検証する仕組みだよ。点検記録を確かめるイメージだけど、証拠の対象外まで安全だと保証するものではない。
たとえ・補足を読む
出典資料
出典・参考資料
- Names Are Not Objects: Object-Bound Confinement for Compromised AI Coding Agents arxiv.org
- MemForm: Benchmarking Memory Formation Poisoning in LLM Agents arxiv.org
- Kairos: Transactional Security Enforcement at the System Boundary for LLM Agents arxiv.org
- Remote Attestation Procedures (RATS) Endorsements datatracker.ietf.org
- Cybersecurity Market Analysis: Innovation, Consolidation, and AI-Driven Transformation www.kuppingercole.com
