こんにちは、黯鐵ナギです。
正規ツールや署名だけでなく、その前に値を決めた人や情報の権限まで確認できているかな?今日は判断値、送信先、要件が生まれる時点を見ていく。
研究値は著者報告で、実環境での独立再現はこれからだよ。
AIセキュリティ:作業ではなく「判断の中身」を守る
AIに許可した仕事でも、その途中で使う値の出所を確認したいね。
たとえば、「請求書を処理する」という仕事が同じでも、金額や振込先を偽のメモから拾えば結果は変わるね。
作業は仕事全体で、判断の中身はその仕事に使う具体的な値だよ。
どの資料を参考にできるかと、どの資料に値を決める権限があるかを分けて考える。
11月5日提出の未査読研究Beyond Instruction Overrideは、別作業へ誘導せず、返金額や現在状態など正規作業が使う値だけを権限のない情報源から変える間接的なプロンプトインジェクションを評価した。
3環境・90 Caseで判断過程を6要素に分け、検知・除去防御後もObservation攻撃9.5%、状態攻撃12.1%が残ったと報告している。
『命令に従っていないから安全』だけでは見えない問題を、返金の判断で考えてみよう。
問い合わせの本文に書かれた希望額と、会社の規則から計算する返金額は、どちらも数字だけど役割が違う。
問い合わせの希望を読むことは必要でも、その数字を会社が承認した額として使ってよいわけではないね。
私は、結論に使う値の横に、その値を決めてよい情報源を対応付けたい。
商品価格は商品台帳、配送状態は配送の記録、返金の上限は承認された規則、というように分ける。
資料同士に食い違いがあった場合に、文章が自然なほうを選ぶのではなく、何を根拠に採用するかを先に決めておくためだよ。
この整理では、値が正しい形式かという確認と、その値を採用してよいかという確認も別になる。
金額が数字で、上限以内だったとしても、権限のないメモから得た値なら、今回の判断の根拠として不適切かもしれない。
型の検査に通ったことだけで、情報源への信頼まで確認できたとは扱わないようにしよう。
試すなら、仕事の種類は変えずに、判断材料だけが食い違う場面を用意する。
どの資料が採用され、どこで不一致を人へ戻したかを見ると、命令らしさの検出だけでは分からない動作を確認できるよ。
ツール認可:送信先と本文処理を分離する
とくに送信先は、読ませた文章から自由に決めてよい情報かを分けよう。
たとえば、手紙の本文に別の住所が書かれていても、それだけで封筒の宛先を変えてはいけないね。
ツールの本文処理と送信先の決定も分ける。
誰が操作するか、何を対象にするか、どんな作用を起こすかを、自由文とは別の確認できる項目として扱う設計だよ。
11月4日提出のSPILLWAYは、メールやアカウントなどの送信先を、利用者指定値または読み取り専用ツールのTyped Fieldから得た値だけに制限する。
自由文中の命令らしい領域は別のSanitizerで除去。
標準テンプレートと偽Chat TemplateによるRedirectは0、公開RL Attackerへの平均In-scope ASRは0.007だった。
初期版はNeurIPS 2026 Workshop採択だけど、現行版はプレプリントだよ。
ナギの解説(考察): MCPゲートウェイでは、主体、対象、作用を型付きデータとして残そう。
書き込み結果や自由文が、新しい送信先を決める権限へ置き換わっていないかを確認してね。
本文処理と宛先決定を分けて見るのがポイントだよ。
宛先と本文を分ける設計では、どの段階で宛先が確定したかを残したいね。
利用者が指定した送信先へ文章を整える作業と、文章の内容から新しい送信先を探す作業では、必要な許可が違う。
後者を便利な前処理として自動追加すると、元の依頼より広い相手へ送る可能性を考える必要が出てくる。
封筒のたとえなら、本文を校正する人が、気を利かせて宛名まで変更してよいかを問うことになる。
本文に連絡先が載っていても、それは引用かもしれず、返信先として確定した情報とは限らない。
だから私は、宛先を決めた主体と、文章を作った主体を記録でも区別する。
型付きの項目を使う場合も、その項目を誰が書き換えられるかを確認しよう。
自由文とは別の欄に移しただけで、信頼できる値になるわけではないからだよ。
読み取り専用として扱う元の情報、加工した値、最終的に送信へ渡す値がどこで変わり得るかを見たい。
実行前の確認では、宛先、対象となる資料、起こる作用を一緒に表示し、承認後に変化していないかを照合する。
文面がよくできたという評価と、正しい相手に正しい範囲の情報を送るという評価は、分けて残しておこう。
複数エージェント:署名前の要件抽出を検証する
引き継ぎ情報へ署名を付ける場合も、署名する前に依頼の意味を正しく取り出せたかは別の確認点になるよ。
事前登録研究Signed but Not Safeは、利用者の要件を引用と検査可能Predicateへ変換し、HMAC-SHA256で署名するHandoffを検証した。
1,440件の実行経路でUnsafe Commitは69.4%から9.0%へ低下し、転送中に改変されたSigned Manifestの違反は0件だった。
しかし署名前に攻撃されると違反率はモデル別に37.5〜75.0%まで上がり、署名が誤抽出を真正なものとして固定した。
ナギの解説(考察): 署名は転送後の改変を防いでも、その前の要件抽出が正しかったかまでは証明しない。
原文との対応、独立した検証者、曖昧な要件に対する人の承認を、署名前に置けるか確認しよう。
要件の抽出は、長い依頼文から『何を満たす必要があるか』を取り出す工程だよ。
ここで否定や条件を落とすと、その後の担当は間違った条件を守り続けることになる。
署名があるために、誤った要件が途中で変えられていないことだけは確かになる、という違いを押さえたい。
たとえば『担当者が宛先と添付資料を確認するまでは送らない』を、『確認後に送る』とだけ要約した場合、何の確認が必要かが消えるかもしれないね。
私は、抽出した条件の横に、元の依頼のどの文を根拠にしたかを残す。
文章の意味を短くしたことと、必要な条件を削ったことを、後から区別するためだよ。
確認を頼む人には、長い全文と機械向けの条件だけを渡すより、対象、許す操作、保留条件を対応付けて見せたい。
曖昧な部分があれば、勝手に都合の良い意味へ寄せず、判断が必要な点として残す。
署名を付ける前の確認に、具体的な役割を持たせる考え方なんだ。
研究で転送中の改変を防げたことと、元の意味を正しく抽出できたことを分けて読むと、追加すべき確認点が見えてくる。
自分たちの引き継ぎでも、正確さを確かめる工程と、変更を検出する工程を別々に説明できるかな。
ツールの説明と実際の権限、承認した内容と実際の作用を照合する視点を補えるよ。
「閲覧専用」のAIツール、本当に変更できない? 実際の権限を点検するを続けて読んでみてね。
組み込み:センサー値をソフトウェアへ渡す前に守る
同じく、データを受け渡す前に検証するという視点で、センサーとソフトウェアの間を見てみよう。
ハードウェアの試作SensorGuard-RVは、センサーの測定値を固定機能制御装置で認証暗号化し、タグと再送・再利用を検証した後だけRISC-V Registerへ復号する。
FPGA実装では51.9µs、19,015 Transaction/s、追加LUT 5.0%だった。
一方、推定電力は118mWから368mWへ増えており、製品ではなく研究試作だよ。
ナギの解説(考察): 産業機器やドローンではドライバーの権限に加え、センサー所有権、鍵、再送・再利用状態をハードウェア側へ移す案として読んでみてね。
電力や複数センサーへの対応も含め、実装条件を評価する必要がある。
センサーの話でも、値を計測する場所から、制御に使う場所までの経路を分けて考えてみよう。
正しく測れた値でも、途中で別の値へ置き換わったり、昔の値が再び届いたりすれば、使う側の判断は変わる。
今回の試作は、ソフトウェアが受け取る前の確認場所に注目したものとして読めるね。
導入を検討するなら、鍵の用意、交換、装置を取り替えたときの扱いも試験へ含めたい。
部品を一つ交換した後に正当な値が通るか、以前の装置からの値をどう扱うかを考えよう。
速さの数値だけでは見えない、長く運用するための条件になる。
私は、処理時間、電力、管理の手間を同じ試験の条件で記録する。
研究試作の数値をそのまま製品の性能として使わず、どの構成を再現でき、何が異なるかを残すと、採用の判断を急がず比較できるよ。
ID・決済:人の同意とエージェント委任を分ける
決済では、本人が同意したことと、AIにどこまで代理を任せたかを区別したいね。
認められた支払いの範囲を、取引する側も確認できる必要がある。
KuppingerColeの12月3日ウェビナーWallets, Credentials & Paymentsは、エージェントには固有ID、委任された権限、継続的な認可が必要だと整理している。
EMVCoのDraft Frameworkは、継続購入や累積予算に関わる購入意図を、取引の前後も共有・管理するサービス(Intent Services)を提案。
OpenID Foundationも公式回答で、エージェント IDと委任された権限の分離、各Actorの署名、プロンプトインジェクションや再送・再利用を含む脅威モデルを求めている。
いずれも標準化完了前だよ。
ナギの解説(考察): 人の本人確認や支払認証を、そのままエージェントへコピーしないでね。
エージェント ID、対象、金額、期限、停止条件を別の委任証拠として取引へ結び付けよう。
継続する購入依頼は、固定したトークンだけで表すのではなく、残り予算や取消しの状態も更新して管理する、という考え方だよ。
継続する購入依頼では、一回の購入への同意と、今後も代理で選び続ける許可を区別しよう。
たとえば消耗品を補充する仕事でも、種類、購入先、予算、終わる時期を決めなければ、どこまで任されたかを相手が判断しにくいね。
購入できる能力と、今回の購入を許す根拠は別のものだよ。
私は依頼を作るとき、途中で価格が変わった場合や、指定の商品がなくなった場合の扱いも確認したい。
代替品を自動で選んでよいのか、人へ戻すのかによって、同じ『補充する』という依頼でも行動範囲が変わる。
便利さのために条件を省くと、その判断をどこかの担当へ暗黙に渡すことになるんだ。
取消しの試験では、画面で依頼を止めた後に、相手側へ残った依頼や待機中の取引をどう扱うかを見る。
残り予算も、表示するだけでなく、次の取引の判断に反映される必要があるね。
ここで挙げた項目は設計を考えるための問いで、紹介した枠組みが既にすべてのサービスで使えるという意味ではない。
これから方式を比較するときは、誰の同意か、誰への委任か、何の取引かを一つずつたどってみてね。
値を決める権限が説明できれば、署名や本人確認をどこへ結び付けるべきかも、具体的に考えられるようになるよ。
ナギの用語メモこの記事の 5 語
気になった言葉の意味を、ここで振り返ってみましょう。
- プロンプトインジェクション
- AIが読む資料などへ指示を紛れ込ませ、本来の依頼から行動をそらす攻撃だよ。資料の中の命令を、依頼者からの指示と取り違えないことが大切だよ。
- MCP
- AIアプリと、外部のデータや道具をつなぐための共通のやり取りの決まりだよ。道具の接続口と考えてみよう。接続できることと、使わせてよいことは別に確認する。
- 認証
- 「誰なのか」を確かめることだよ。入口で社員証を確認する場面を思い浮かべてみよう。どの部屋へ入ってよいかは、別の「認可」で決める。
- AIエージェント
- ここでは、目的に向けて手順を選び、道具を使って作業するAIの仕組みを指す。作業を任せる相手にも、操作できる範囲と確認が必要な場面を決めておく。
- 「何をしてよいか」を決めることだよ。社員証を持つ人でも、入れる部屋は役割によって違うね。データや操作ごとに許可を確かめる。
たとえ・補足を読む
出典資料
出典・参考資料
- Beyond Instruction Override arxiv.org
- SPILLWAY arxiv.org
- Signed but Not Safe arxiv.org
- SensorGuard-RV arxiv.org
- Wallets, Credentials & Payments www.kuppingercole.com
- EMVCo Agentic Payments Framework www.emvco.com
- OIDF response to EMVCo Agentic Payments framework openid.net
