こんにちは、黯鐵ナギです。
AIへ渡す入力を検査したあと、クリック先や内部の記憶まで追えているかな?今日は画面から実行への変換、削除後に残る内部状態、実行証跡、署名基盤を順に見ていこう。
研究の性能値は著者評価で、本番での独立再現はこれからだよ。

Webエージェント:画像から実際のクリックまでを乗っ取る

画面を操作するAIでは、画像から読み取った情報が、実際のクリックへどうつながるかを確認したいね。
たとえば、地図の絵に偽の案内を描き足されると、文字の説明が正しくても違う場所へ向かってしまうかもしれないね。
画面を読むWebエージェントでは、画像も操作の判断材料になる。

表示の理解だけでなく、最終的にどのボタンを押し、何を送信したかまで追う必要がある。

比較対象の中で最も高い攻撃成功率は17.4%だったが、これは攻撃条件下の研究結果であり、一般サイトの被害率ではない。

ナギの解説(考察): 画像や危険語を検査しても、最後のクリック対象が別の要素へ変わる経路は残る。
実行直前に、DOMのOrigin、要素の所有者、画面上の範囲、アクセシビリティ属性、依頼内容を信頼できる実行環境で照合しよう。
影響の大きい操作で再承認へ戻れるかが確認点だよ。

画面操作の確認では、モデルが『送信ボタンを押します』と説明しただけでは足りないね。
実際に選ばれた要素がどのサイトのもので、どのフォームを送るのかまで対応付けたい。
モデルの説明は、実行対象を確認するための証拠の一部として扱うんだ。

たとえば、注文内容の確認画面を見た後に、画面が更新されてボタンの位置が変わる場面を考えてみよう。
前の画像に対して正しかった座標でも、更新後には別の操作になるかもしれない。
画像を見た時刻と操作する時刻の間に、何が変わり得るかも確認点になるよ。

だから私は、影響の大きい操作の直前に、対象と内容をもう一度取得する設計を考えたい。
注文なら商品と金額、送信なら宛先と本文を、依頼の範囲と照らし合わせる。
画面の外見だけでなく、アプリ側で実行される内容を確認できるかが大切だね。

ただし、DOMなどを取得できること自体が安全性の証明になるわけではない。
対象ページの情報にも未信頼な部分がある。
確かめられない内容を推測で埋めず、人の確認へ戻す条件を用意したいんだ。

GUI操作:未信頼データを読む前に用途を固定する

操作の目的を外部画面の内容に左右されないよう、先に範囲を決めておく方法もあるよ。
たとえば、店へ入る前に「買うのは牛乳一本まで」と決めておく場面を想像してね。
店内の広告を見てから、買ってよい範囲そのものを広げないためだよ。

画面のボタンなどを使うGUI操作でも、先に決めた目的と許可範囲の中で、外部の画面から必要な情報を読む、という考え方だよ。

資料で確認できること: 「Secure-CUA」は、GUI内の未信頼領域を隠した状態で、1回の操作に必要な問い合わせと回答の利用先を操作 Transactionとして先に確定する。
未信頼データは隔離モデルが読み、結果を事前指定した引数にだけ結び付ける。

WebArena 400タスク、3モデル、5 Seedの評価では平均成功率53.55%で、通常構成の55.12%に近い値だった。

ナギの解説(考察): 商品名や住所をすべて遮断するのではなく、データを「値」として使える欄を限定する考え方だよ。
ただし、信頼ラベルとすべてのGUI操作命令の仲介が正しく行われることが前提になる。
クリップボード、ダウンロード、キーボード入力の注入など、別の経路も同じ確認地点を通るか見てね。

値として使うことと、規則として使うことの違いを、住所の入力で考えてみよう。
利用者が指定した相手の住所を検索結果から読み取り、配送先の欄へ入れるのは、決められた用途への利用だよ。
でも、その検索結果に『追加の商品も購入して』と書かれていても、購入の許可にはならない。

この切り分けでは、外部情報を一切読まないことを目指していない。
仕事に必要な情報は受け取り、その情報が変更してよい範囲を狭くするんだ。
回答が予定した型や用途に収まらなければ、範囲を広げる前に立ち止まれるといいね。

運用で試すなら、通常の住所、住所に説明文が混ざったもの、操作指示が混ざったものを区別してみよう。
これは研究の評価結果ではなく、実装を点検するための例だよ。
許可された欄以外に内容が流れないかを、入力から実行結果まで追うことが確認の中心になる。

ツールの説明と実際の権限、承認した内容と実際の作用を照合する視点を補えるよ。
「閲覧専用」のAIツール、本当に変更できない? 実際の権限を点検するを続けて読んでみてね。

モデル内部状態:削除した画像の影響がKVキャッシュへ残る

資料で確認できること: 「P-VMI」は、攻撃画像をコンテキストから外した後も、後続トークンのKVキャッシュを介して指定応答を発火させる手法だよ。

Qwen3-VL-8B-Instructでは最強構成で約90%の指定目標の成功率を示し、画像を最初のターンだけ提示した場合にも影響が続いた。
同じモデルが作った要約のキャッシュを残し、文脈を圧縮した後にも影響が見られた。
主要評価は一つの公開VLMを中心とする未査読研究だよ。

ナギの解説(考察): 画面から入力を消したことと、実行時の内部状態を消したことは違うね。
高リスクの入力を除外したらキャッシュを破棄し、信頼できるプロンプトだけを使い、入力の計算からやり直す設計を考えよう。
テナント、作業、信頼する管理領域をまたぐ入力の先頭部分に対するキャッシュ共有も見直す対象だよ。

KVキャッシュは、モデルが文章などを処理する途中の計算結果を再利用するための内部データだよ。
画面に見える会話履歴とは、保存場所も役割も同じではない。
だから、会話から画像を外す操作と、内部の計算状態を初期化する操作を分けて考える必要があるんだ。

身近なたとえなら、参考資料を机から片付けても、その資料を見て作った手元のメモは残っている状態に近い。
ただし、内部データは人が読めるメモそのものではないよ。
この例が説明するのは、元の入力を取り除いても派生した状態が別に残り得る、という関係だね。

再計算する場合にも、どこから新しくするかを明確にしたい。
汚染された入力から作った要約を再び渡せば、新しいセッションでもその文章の影響を受ける可能性が残る。
信頼できる元資料と指示から再開する手順を、内部状態の破棄と合わせて確認しよう。

一方で、キャッシュを頻繁に捨てれば処理時間が増えることも考えられる。
すべてを一律に再計算する前に、利用者や仕事の切り替え、高リスク入力の除外など、分離が必要な境目を決めたいね。

監査:ツール実行を再検証できるレシートへ

実行後の確認では、誰がどの権限で操作し、何を観測したかを記録へまとめる提案があるよ。

資料で確認できること: 10月8日更新の「AER-1 -14」は、ツール、呼び出し元の権限の範囲、時刻、来歴、観測出力の正規化したバイト列とハッシュを実行レシートにまとめ、作業の流れをMerkle Rootとハッシュ連鎖で束ねる。

-14では外部Anchorの形式と検証手順、履歴切詰めの限界が明確化された。
これは個人提出のInternet-Draftで、IETF WG文書やRFCではない。

ナギの解説(考察): ハッシュが一致しても、現実の操作が成功したことや、内容が真実であることまで証明されない。
認可判断、ツール呼び出し、応答、外部の効果を分けて記録しよう。
Rootは同じDBだけに置かず、独立した時刻証明サービスや透明ログへ固定する、という提案だよ。

レシートを導入する目的は、長いログを丸ごと読む代わりに、操作と記録の対応を後から確かめられるようにすることだよ。
送信処理なら、誰が許可した内容と、ツールへ渡した内容と、相手側が受け付けた結果を別々に結び付けたい。

ここで、照合値が一致することは『同じ記録を見ている』という確認になる。
でも、記録する装置が最初から誤った結果を書けば、ハッシュだけではその誤りを見つけられない。
何が記録を作り、何が外部の作用を観測したかを分けておく理由はそこにあるんだ。

また、途中までの履歴しか渡されない場合に、検証者が欠落へ気付けるかも点検したいね。
外部に固定した記録の時刻や範囲が分かれば、比較の手掛かりになる。
全履歴を見たという主張と、受け取った部分の整合性が取れたという主張を混ぜないようにしよう。

暗号移行:JOSE/COSEをML-DSAと従来署名で守る

その記録を守る暗号にも、従来の署名と耐量子署名を組み合わせる動きがある。
片方だけの成功で受け入れない条件を見てみよう。

資料で確認できること: 10月8日版のIETF JOSE WG草案「PQ/T Hybrid Composite Signatures -05」は、ML-DSAとECDSAまたはEdDSAを一つのJWS/COSE署名へ組み込み、両方の検証成功を要求する。

片方が破られても他方が安全なら偽造を防ぐ移行方式だけど、まだInternet-Draftだよ。
既存鍵の流用は禁止され、証明書連鎖の途中が従来署名だけなら量子耐性はEnd-to-Endにならない。

ナギの解説(考察): JWTや実行環境の証明トークンの移行では、署名方式に加え、鍵生成、HSM、証明書連鎖、失効、トークンサイズ、二重検証の遅延を一緒に試そう。
片方だけの検証成功で通すFallbackは設けず、Composite専用鍵としてライフサイクルを管理する設計を確認してね。

複合署名を導入する試験では、正常な署名が通ることに加え、片方だけを壊した場合に拒否されるかを確かめたいね。
両方の検証が必要という設計なのに、古い受信側が片方だけで受け入れるなら、移行の条件がそろっていない。

これは、二人の確認が必要な書類を、一人分の印だけで受け付けないことに似ているよ。
ただし、暗号では二人の注意力を足す話ではなく、異なる方式の検証条件を満たすかが問題になる。
たとえの印の数だけで、安全性を計算できるわけではないんだ。

私は、発行側から中継サービス、保存先、検証側まで、同じ形式を扱えるか順に試したい。
大きくなったトークンが途中で拒否される場合も、単に制限を緩める前に必要な範囲を確認する。
鍵の保管と更新、期限切れ時の対応まで含めて、使い続けられる移行を考えよう。

今日の判断

これらの研究と草案が、一つの完成した製品として連携することを示しているわけではない。
あなたの構成では、どの段階を誰が確認できるかを整理し、足りない部分から小さく試してみよう。

今日の要点は、エージェントの発言だけでなく、実際のクリック先、内部に残った状態、操作の権限、証跡の検証者を追うことだよ。
入力検査、対象との照合、キャッシュ分離、レシート、複合署名を分けて見てみよう。
あなたの環境で、まだ確認できていない層はどこかな?

ナギの用語メモこの記事の 13 語

気になった言葉の意味を、ここで振り返ってみましょう。

AIエージェント
ここでは、目的に向けて手順を選び、道具を使って作業するAIの仕組みを指す。作業を任せる相手にも、操作できる範囲と確認が必要な場面を決めておく。
キャッシュ
再利用するため、一度取得した結果などを一時的に保存する仕組みだよ。手元の控えを使うと速くなるが、内容が古くなっていないかの確認が必要だよ。
テナント
一つのサービスの中で、組織などごとに分けた利用単位だよ。同じ建物に入る別々の会社のように、データや設定を区別して扱う。
ハッシュ
データから一定の手順で短い値を計算する仕組みだよ。データの指紋のように変更を確かめる用途がある。元の内容を隠す暗号化とは別のものだよ。
Internet-Draft
IETFで検討するための作業中の文書だよ。提案は変更や失効があり、公開されていても標準として確定したことにはならない。
IETF
インターネットで使う技術の仕様などを議論し、標準化を進める場だよ。提案が出た段階と、標準として合意された段階を分けて読もう。
WG
Working Groupの略で、特定のテーマを扱う作業部会だよ。ここでは主にIETFなどで、仕様の検討を進めるグループを指す。
RFC
インターネットの技術などを記録する文書の系列だよ。標準だけでなく、実験や情報提供の文書もあるため、文書の区分も確認しよう。
認可
「何をしてよいか」を決めることだよ。社員証を持つ人でも、入れる部屋は役割によって違うね。データや操作ごとに許可を確かめる。
JOSE
JSONを使う情報の署名や暗号化などについて、共通の形式を定める仕様群だよ。安全に封をしたり宛先へ届けたりするための、関連するルールの集まりだよ。
ML-DSA
耐量子暗号の一つで、電子署名に使う方式だよ。署名されたデータの改ざんなどを検証するもので、内容を秘密にする暗号化とは役割が違う。
JWT
発行者や有効期限などの情報を、決まった形式でまとめて運ぶ仕組みだよ。封筒に必要事項を入れるようなものだけど、JWTというだけで中身が暗号化されるわけではない。
HSM
暗号鍵を保護し、署名などの処理を行う専用装置だよ。大切な印鑑を保管し、決まった手順で使う金庫にたとえられる。

出典資料

出典・参考資料

  1. Adversarial Images Hijack Web Agents from Visual Grounding to Browser Execution arxiv.org
  2. Secure-CUA: Controlling Untrusted Influence in Computer-Use Agents arxiv.org
  3. Visual Memory Attacks Can Persist Through The KV Cache arxiv.org
  4. AER-1: A Portable Execution Receipt for AI Agent Tool Calls datatracker.ietf.org
  5. PQ/T Hybrid Composite Signatures for JOSE and COSE datatracker.ietf.org
#AI#セキュリティ#エージェント#監査#PQC