こんにちは、黯鐵ナギです。
記憶や定期作業があると、最初の会話が終わっても影響が残るね。
今日は時間と操作列をまたぐ安全性、実行証拠、資格情報の現在状態、エージェントから見える攻撃面を確認する。
一操作だけでは分からない関係を、一緒に見ていこう。
AI・エージェント:攻撃者が去った後もPayloadが再発火する
AIが記憶や予約した作業を使う場合は、最初のやり取りが終わってからの影響も追いたいね。
たとえば、机に残された偽の引き継ぎメモは、書いた人が帰ったあとでも次の担当者へ影響するね。
Payloadは、攻撃を実行するために仕込まれた内容だよ。
AIの保存データや後続処理に残ったものが、時間を置いて再び作用しないかを見る考え方だよ。
CarryoverBenchは、一度の間接プロンプトインジェクションで記憶やScheduled 作業へPayloadを書かせると、別セッションや無人実行で攻撃が繰り返される問題を測定した。
別実行環境では効果が弱まったものの、消失はしなかった。
arXiv
ナギの解説(考察): 記憶ファイルへの書込みやScheduler登録は、将来の動作も変える操作だよ。
外部内容に由来する書込みには、出典、作成者、期限、許可ツール、外向き宛先を残そう。
将来起動するときにも認可を確かめ直せるかがポイントだよ。
保存する操作の影響は、今の回答より後まで続く。
だから記憶の更新や定期作業の登録を、単なる文章の追加として扱わないようにしたいね。
誰の依頼に基づき、どんな条件で後から動くのかを、保存する時点で確認する必要がある。
私は、登録時に許可した情報と、起動時に使う情報を分けて試したい。
後から送信先やツールが変わったなら、以前の許可をそのまま使ってよいかを再評価するんだ。
過去に登録できたことを、未来のすべての実行を許す根拠にはしない。
試験では、利用者が作業を取り消した後、新しいセッションや無人の実行でも停止が反映されるかを確認しよう。
目の前の会話を閉じただけでは、保存された仕事まで消えたとは限らない。
取消の対象と残っている状態を一覧にすると、後から動く経路を見つけやすくなるよ。
認可:一つずつ許可しても全体が安全とは限らない
時間だけでなく、操作の組み合わせも確認の対象になるよ。
たとえば、「材料を出してよい」「配送してよい」という二つの許可があっても、秘密の材料を外部へ送ってよいとは限らないね。
認可は各操作の許可判断だけど、連続した操作で何が可能になるかも重要だよ。
単体の許可と、組み合わせた結果を分けて点検する。
「Local Allow, Global Deny」は、単発操作だけを見る認可では、複数回の開示合計や二つの実行を比較して初めて分かる目的外利用を原理的に検出できない場合があると示す。
資料で確認できること: 2026年10月20日提出で、IEEE TPS 2026採択論文の拡張版だよ。
Relational Purpose Violationを二つの実行にまたがるPropertyとして形式化し、誤検知を出さない一つの実行記録だけを読む監視役では観測できないことを証明している。
9つのLLM Judgeも単発表示では合成した反例をほぼ許可し、二実行を並べると検知した。
arXiv
ナギの解説(考察): ツール呼び出しごとに認可の状態を捨ててしまうと、累積の影響を見失う。
作業、目的、委任連鎖、宛先、累積金額、開示データを共有し、同じ目的の実行も比較できるようにしよう。
一回の許可と、全体として許す範囲を分けて考えてね。
累積した影響を見る場合は、何を同じ仕事としてまとめるかを先に決めよう。
一回ごとの金額が上限内でも、同じ依頼で繰り返せば合計が大きくなるよね。
利用者、目的、期間など、集計の単位を決めなければ全体の条件を検査しにくい。
一方、別の仕事を何でも結び付ければ、不要な情報の集約や誤った拒否につながる可能性もある。
必要な範囲で関連付ける識別子と、保存期間を考えたいね。
私は、同じ目的の操作を追うための情報と、利用者の行動全体を集める情報を区別したい。
また、複数の実行の比較が必要だという研究の結論を、ログを集めればすべて検知できるという意味に広げないようにしよう。
どの関係を観測し、どんな違いを違反とするかは別に定義する必要がある。
検知できる条件と、まだ見えていない範囲を試験で残しておこう。
権限の考え方を押さえたいときは、読む・編集する・削除する操作を分けるところから確認できるよ。
AIに社内ツールを任せる前に、読む・編集する・削除する権限を分けようを続けて読んでみてね。
Confidential Computing:適用規則と実行証拠をTEE内で結ぶ
次は別の観点から、操作直前の許可確認と、その実行の証拠を結び付ける研究を見てみよう。
前の研究が扱う、複数の実行を比べる問題をすべて解決するという意味ではないよ。
KNOXは、適用規則、想定ツール呼び出し、許可されたOSへの処理要求をまとめた一覧(適用規則のManifest)を作り、各操作を実行する前に、TEE内の検査機構で条件と照合する研究だよ。
資料で確認できること: 2026年10月20日提出の未査読プレプリントだよ。
操作と判定をAttested Execution Graphへ記録し、モデルの重みを開示せず第三者が実行を確認できる構成を提案している。
試作の追加負荷は1%未満と報告されている。
ナギの解説(考察): TEEへモデルを入れても、適用規則そのものが適切か、ツールモデルに抜けがないかは残る確認点だよ。
Manifestをどう作ったか、迂回できる実行経路がないか、鍵と検証者をどう運用するかまで見てね。
私は、許す操作の一覧をどう作り、誰が更新するかを確認したい。
一覧にない経路で外部へ作用できないか、更新後に古い条件が残らないかも試す。
保護の対象へ入れた部分だけでなく、その外側とつながる場所を追ってみよう。
実行証拠を読む側にも、何を確かめた証拠かを伝える必要があるね。
特定の環境で指定した規則を使ったことと、その仕事の結果が業務上正しいことは別だよ。
証拠の検証に成功したという一つの表示へ、異なる判断をまとめないようにしたい。
アイデンティティ:VCの失効状態を共有一覧で配る
資格情報は発行時に有効でも、その後に停止されることがある。
利用時点の状態を、どう共有するかという話だよ。
W3CのBitstring Status List v1.1は、Verifiable Credential(検証可能なデジタル証明)の失効・停止などを圧縮可能なBitstringで配布し、資格情報ごとの発行者照会による追跡を減らす仕様だよ。
資料で確認できること: 2026年10月21日公開のWorking Draftで、Recommendation Track上の作業中文書だよ。
Terse Entryや更新通知用途などが追加されている。
公開済み標準ではなく、今後変更・置換され得る。
ナギの解説(考察): ウォレットを評価するときは、圧縮率に加えて状態の新しさも確認しよう。
一覧の更新周期、キャッシュ、古い状態を許す時間、Decoy、発行者障害時の扱いを一組で試す必要がある。
失効後も古い状態を使い続けないか、という視点だよ。
状態の一覧をまとめて受け取る方式では、取得した時刻と、一覧が表す状態の時刻を分けて見たい。
今ダウンロードできても、内容が古ければ現在の取消を反映していないかもしれない。
いつまで古い状態を許すかを、利用する操作の影響に合わせて決めよう。
たとえば入館証の停止一覧を朝に受け取った場合、午後に停止した人の情報がまだ載っていないことがあるよね。
デジタルな資格情報でも、発行時の署名と利用時点の状態確認を分ける理由は同じだよ。
署名が正しいことだけで、現在も有効とは判断しない。
私は、取得に失敗した場合、古い一覧しかない場合、一覧に対象がない場合を別々に試したい。
すべてを同じエラーとして扱うと、必要な対応が分からなくなる。
プライバシーを守る取得方法と、状態の鮮度を保つ方法の両方を検討しよう。
セキュリティ運用:エージェントが「見つけられる露出」を先に直す
外部からどこへ到達できるかの点検も、AIが使う検索基盤や接続ツールまで広げたいね。
KuppingerColeの2026年版攻撃対象となる範囲の管理に関する評価は、AIアプリケーション、LLM、エージェント、ベクトルデータベース、プラグイン、MCP サーバーを保護対象へ含めている。
別のAnalyst Blogは、エージェントが疲れずコードやAPI 応答を辿るため、未文書化接続窓口やGuest Pathが見つからず残る時間は短くなると指摘する。
資料で確認できること: Leadership Compassとブログはいずれも2026年10月21日公開だよ。
Leadership Compassでは、継続的な資産の発見、実悪用可能性、優先順位付け、修復連携を評価している。
Analyst Blogは市場分析であり、新たな脆弱性仕様ではない。
ナギの解説(考察): CVSSや実悪用の報告に加え、外部エージェントが到達でき、追加Exploitなしで操作でき、強い資格情報へつながる露出も探そう。
修復をエージェントに任せる場合も、権限の範囲、承認、ロールバック、監査を外さないでね。
直す側の権限も確認が必要だよ。
外部からの到達可能性を調べるときは、公開するつもりの入口だけでなく、そこからたどれる機能も確認したい。
検索用の窓口が資料の場所を返し、その先で管理用の機能へ届くなら、個別の画面だけでは全体の経路が見えないからだよ。
私は、資産一覧にあることと、実際に外から見つかることを照合したい。
管理者が把握していない入口があれば、まず用途と担当を確かめる。
見つけたというだけで危険と決め付けず、どんな条件で何を操作できるかを調べて優先順位を付けよう。
自動修復の試験も、検出の試験とは別に必要だね。
止める対象を取り違えないか、変更前の状態を確かめられるか、失敗したら人へ引き継げるかを確認する。
安全を直すためのエージェントにも、操作範囲と停止手順を用意したい。
一つの資産を選び、発見から判断、修正、結果確認までをたどると、担当や記録が途切れる場所を探せるよ。
今日の確認点
ナギの用語メモこの記事の 13 語
気になった言葉の意味を、ここで振り返ってみましょう。
- 資格情報
- 身元や資格などを確かめるための情報だよ。パスワード、証明書、資格を示すデータなど、文脈によって形が異なるので、何を指すかを確認しよう。
- AIエージェント
- ここでは、目的に向けて手順を選び、道具を使って作業するAIの仕組みを指す。作業を任せる相手にも、操作できる範囲と確認が必要な場面を決めておく。
- ペイロード
- 通信やデータの中で、主な内容に当たる部分だよ。荷物の送り状に対する中身のように考えられるが、攻撃の話では実行させる内容を指すこともある。
- プロンプトインジェクション
- AIが読む資料などへ指示を紛れ込ませ、本来の依頼から行動をそらす攻撃だよ。資料の中の命令を、依頼者からの指示と取り違えないことが大切だよ。
- 「何をしてよいか」を決めることだよ。社員証を持つ人でも、入れる部屋は役割によって違うね。データや操作ごとに許可を確かめる。
- 大規模言語モデル(LLM)
- 大量の文章などから言葉のつながりを学び、文章を生成するAIモデルだよ。自然な返答でも事実と違うことがあるため、重要な内容は根拠を確かめよう。
- Verifiable Credentials
- 発行者の署名などを検証できる形で、資格や属性を表すデータだよ。資格証を電子的に確かめるイメージだけど、記載内容の扱いや信頼する発行者は別に決める。
- キャッシュ
- 再利用するため、一度取得した結果などを一時的に保存する仕組みだよ。手元の控えを使うと速くなるが、内容が古くなっていないかの確認が必要だよ。
- MCP
- AIアプリと、外部のデータや道具をつなぐための共通のやり取りの決まりだよ。道具の接続口と考えてみよう。接続できることと、使わせてよいことは別に確認する。
- サーバー
- 要求を受け取り、データや処理結果を提供する側の仕組みだよ。必ずしも一台の物理的な機械を指すとは限らない。
- API
- ソフトウェア同士が機能やデータをやり取りするための窓口だよ。お店の注文窓口のように、頼めることと頼み方が決まっている。
- CVSS
- 脆弱性の特徴から深刻度を評価する共通の仕組みだよ。点数だけで自社の対応順位は決まらず、利用状況や影響も合わせて確認する。
- ロールバック
- 変更前の状態へ戻すことだよ。保存した版へ戻すイメージだけど、データの変更など、単純には戻せないものもある。
たとえ・補足を読む
出典資料
出典・参考資料
- After the Attacker Leaves: Benchmarking Carryover Attacks on LLM Agents arxiv.org
- Local Allow, Global Deny: Why Per-Action Authorization Does Not Compose in LLM Agents arxiv.org
- KNOX: Hardware-assisted Regulatory Sandbox for Generative Models arxiv.org
- W3C Bitstring Status List v1.1 www.w3.org
- KuppingerCole Leadership Compass: Attack Surface Management www.kuppingercole.com
- Security by Obscurity Had a Good Run www.kuppingercole.com
