こんにちは、黯鐵ナギです。
AIの作業手順は、単体では安全そうでも、組み合わせや小さな差分、版の比較で別の影響が現れることがある。
今日はその変化を追う研究を見ていこう。
数値は各論文の著者報告で、独立再現済みの一般則ではない。
AIエージェント:安全なスキル同士が危険な経路を作る
AIへ複数の作業手順を渡すときは、個別の確認だけでなく、組み合わせた経路も見たいね。
たとえば、名簿を読む仕事と郵便を送る仕事を別々に認めても、名簿そのものを外へ郵送してよいとは限らないね。
スキルはAIが参照する作業手順だよ。
AIの手順も同じで、つないだときにどのデータがどこへ渡り、何を実行できるようになるかを確かめたいんだ。
10月23日提出の「KnotScryer」は、エージェントスキルをデータとCapabilityの流れとして表し、複数スキルをまたいで保護情報や非信頼入力が危険な操作へ届く経路を探す。
ClawHubでCleanとされた13,598件を調べ、612件の危険な組合せを検出した。
GLM-5.1では候補連鎖の悪用率が85.6%で、13.7%は、組み合わせたすべてのスキルが、単体の検査ツールで安全と判定されていた。
これは未査読プレプリントで、共有ファイルや環境変数などの暗黙経路は評価範囲外だよ。
組み合わせを調べるには、手順の名前ではなく、受け取る情報と起こせる作用を並べると分かりやすい。
資料を読む手順の出力が、外部送信できる手順の入力になるなら、二つをつなぐ部分が確認点になるよ。
個別の署名が正しいことだけでは、この流れの許可を判断できないんだ。
私は、新しいスキルを追加するとき、既存のどの出力を受け取り、どこへ渡せるようになるかを確認したい。
追加したものが単体では何も送信しなくても、別の送信機能へ情報を渡す経路を作る可能性がある。
変更した一つだけでなく、変更によってできた経路を試す必要があるね。
共有ファイルや環境変数など、今回の評価範囲外の経路は、導入側で残る確認として整理しよう。
研究の検査に通ったことを、その環境のすべてのデータ移動が安全だという保証にはできない。
何を追跡でき、何をまだ追跡していないかを記録しておきたい。
対策を選ぶ際は、仕事に必要な組み合わせまで一律に禁止するのではなく、渡す情報や許す送信先を絞る方法を考えよう。
必要な連携と許可されていない流出を区別できれば、どの制限を設ける理由があるかを利用者へ説明しやすくなるよ。
安全を確認した手順同士でも、組み合わせると何ができるようになるかを考えられるよ。
AIの安全な手順をつないだら? 組み合わせと権限を確認しようを続けて読んでみてね。
AIセキュリティ:「ほぼ正解」が攻撃を隠す
大部分の仕事が正しくても、許可していない操作が少し混じる場合があるよ。
たとえば、お釣りは正しくても、レシートに頼んでいない商品が一つ混じっていたら、その会計は適切ではないね。
AIの仕事も、大部分が正解であることと、許可していない処理が混ざらないことは別だよ。
全体の成績に加えて、実行した操作を一つずつ追う視点を持とう。
同日提出の「Near-Target Prompt Injection」は、作業を完全に乗っ取るのではなく、正しい結果に見えるまま日付・宛先・金額・ツール引数などを少しずらす攻撃を測る。
7モデル、10の言語データセット、2つのエージェント評価用の試験で、固定された遠い攻撃目標より成功率が全設定で高く、言語作業のIncorrect Targetでは9.3〜35.8ポイント増えた。
これも未査読プレプリントで、結果は3回の攻撃予算と選択した作業・適用規則に依存する。
ナギの解説(考察): 拒否できたかだけでなく、期待したツール呼び出しとどこが違ったかを項目ごとに比べよう。
宛先など重要な項目が変わったとき、再承認へ戻れるかな?「ほぼ正しい」の中にある差分を見る試験だよ。
小さな差分を見つけるには、何を正解とするかを項目ごとに決めておきたい。
依頼の文章全体が似ているかではなく、宛先、金額、日付、対象の識別子が期待どおりかを比較するんだ。
自然な説明が付いていても、重要な値が変われば別の操作になるね。
たとえば請求書を送る仕事で、本文は正しくても宛先が一件追加されていれば、情報の公開範囲が変わる。
文章の品質だけを採点する評価では、その変化を見逃すかもしれない。
これは具体的な試験を考える例で、今回の研究の実測事例として紹介しているわけではないよ。
私は、実行前に確認した値と、ツールへ実際に渡した値を照合したい。
モデルが途中で引数を組み立て直す場合、承認後にも値が変わる余地があるからだね。
変更を認める条件を決め、重要な差分は再確認へ戻す仕組みを考えよう。
結果の読み方でも、誤りの件数だけでなく、その影響を分けたい。
軽い表記の違いと、対象や金額の違いを同じ重さで数えると、運用上の優先順位が見えにくい。
どの項目を守る試験なのかを示すと、改善の意味を判断しやすくなるよ。
ID管理:最小権限に唯一の答えはない
「Incomparable Minima」は、Microsoft Graphの22,305件の接続先と権限の対応、Google APIの23,852種類の操作を分析した。
同じ作業を完了できる最小Grantが複数あり、互いに包含関係を持たない作業はMicrosoft Graphで29.8〜33.3%、Googleの資源作業で3.2%だった。
操作数、書き込み、サービス範囲、Admin Surfaceのどれを重視するかで順位も変わる。
この研究はTAS 2026 Oral採択だけど、対象は公開された認可表から生成した作業だよ。
ナギの解説(考察): 権限の範囲の数が少ないものを自動で選ぶだけでは、リスクの違いを説明し切れない。
どれかを減らすと別の条件が悪くなる選択肢の集合、つまりPareto Frontierと、それぞれのリスク根拠を承認者へ見せる設計を考えよう。
最小権限を比較する場面では、権限の数と権限の広さを区別しよう。
一つの広い権限で多くの対象を変更できる場合と、複数の狭い権限で必要な対象だけを読める場合では、数が少ないほうが安全とは限らない。
数えやすい指標だけで決めないための視点だね。
たとえば同じ報告書を作るために、全社の資料を読む権限と、必要な部署だけを読み取る複数の権限を選べるとしよう。
どちらも仕事はできても、触れられる情報の範囲が違う。
許可の項目数だけで比較すると、こうした違いが隠れてしまうんだ。
さらに、片方がすべての点で小さいとは言えない場合も考えてみよう。
一件の報告書を読む仕事に対し、仮の方法Aは『部署全体を閲覧できるが変更できない』、方法Bは『その一件だけを閲覧・編集できる』とする。
Aは余分な資料も見えてしまい、Bは対象を絞れる代わりに不要な編集ができる。
この二つなら、どちらにも相手にはない権限があるね。
私は、まず一件の閲覧だけで済む別の方法がないかを探したい。
それが用意できない場合は、情報を広く読める影響と、内容を書き換えられる影響を比較する必要がある。
権限の項目数だけでは、この判断を代わりにしてくれないんだ。
私は、候補ごとに、読む範囲、変更できる範囲、対象サービス、管理機能への影響を並べたい。
ある項目で小さくても別の項目で大きいなら、その違いを承認者へ示す。
唯一の正解を自動で出すより、選ぶ理由を説明できることが重要になる場合があるよ。
選んだ後も、実際に使った操作と権限を照合して見直そう。
必要だと思っていた権限が使われていなければ、削れるかを試せる。
逆に失敗を直すために範囲を広げた場合は、その理由と期限を残し、広げたまま忘れないようにしたいね。
プライバシー:削除前後のモデル差分が秘密を残す
学習した情報を削除する方法では、削除後だけでなく、前後のモデルを比べられる場合にも注意が必要だね。
NeurIPS 2026採択研究「TRACE」は、Unlearning前後のモデルスナップショットへWhite-box Accessを持つ攻撃者が、埋め込み表現差分と両モデルのPerplexity差から削除対象本文を再構成できると報告した。
TOFU、MUSE、WMDP、複数モデル、6種類の近似Unlearningを評価している。
本番の大規模モデルや、二つのスナップショット間に別の学習更新が混ざる条件まで一般化された結果ではない。
ナギの解説(考察): 削除後も、旧Checkpoint、Optimizer 状態、LoRA/Delta、ロールバックスナップショットが残っていないかな?これらも削除対象と同等の機密資産として隔離し、保持期間を短くする必要がある。
Unlearningの確認には、版の差分から復元できないかのテストも加えよう。
削除の確認では、現在公開しているモデルだけを見ても、保存された過去の版まで把握できないことがある。
更新や復旧のために残した複製が、比較の材料として使われる可能性を考えよう。
運用上便利な保管物も、内容に応じた管理が必要になるんだ。
今回の研究は、削除前後の内部へアクセスできる条件を扱っている。
外から質問できるだけの利用者と、内部の重みを読める相手を同じ条件として語らないようにしたいね。
攻撃者が何を持つ必要があるかを残すと、自分の環境で確認すべき範囲が見えてくる。
私は、版を保存する場所と閲覧できる担当を一覧にしたい。
通常の配布先に加え、実験用の保存先や復旧用のコピーも含める。
削除した内容が含まれ得る資産を特定しなければ、保管期間やアクセス制限の判断をそろえにくいからだよ。
ただし、保存物を消したという記録だけで、学習した内容の除去が確認できたことにはならない。
保管する複製の管理と、モデルに残る情報の評価を分けて進めよう。
今回の評価範囲を超える本番条件については、分からない点を残して検証する姿勢が必要だね。
メール・エージェント防御:読む前と動く前の二つの境界
メールを読むAIは、読んだ直後に操作へ進むこともある。
だから、届いた後の削除と、実行前に止める確認は分けて考えよう。
10月26日のKuppingerCole Analyst Blogは、エージェントがメール到着後すぐに返信、CRM更新、ファイル取得などを実行し得るため、配信後に削除するメールのセキュリティ対策では間に合わない場合があると指摘した。
MicrosoftはDefender for Office 365で受信時にプロンプトインジェクションを検査し、Purview DLPでは外部メールをCopilotの回答の根拠から除外するプレビュー機能を提供している。
ナギの解説(考察): メールをエージェントへの未信頼な指示の入口として見てね。
回答の根拠として使う前に出所を判断し、そこから作ったURL、コマンド、API 要求、MCP ツール呼び出しは実行直前に再認可する、二段階の確認を考えよう。
メールの処理を設計するときは、内容を読むことと、内容から操作を作ることの間を明確にしたい。
外部メールを要約する必要があっても、そこに書かれた送信先へ資料を渡してよいとは限らないよね。
情報源として使う許可と、操作を指示する権限を分けるんだ。
私は、メールから取り出したURLや添付ファイルが、次のツールへ渡る経路を試したい。
受信時の検査を通ったあとも、取得先や保存先の値が変換される可能性がある。
最終的に使う値を、実行の手前でも確認するという考え方だよ。
誤って危険な内容が届いた場合には、メールを削除するだけで何が止まるかも確かめよう。
すでに待ち行列へ入った処理や、保存済みの情報が残るなら、取消の対象を広げる必要がある。
配信後の対策が間に合うかを、時刻を含む処理の流れで見ると分かりやすいね。
最初の試験には、実際の秘密情報ではなく、追跡できる試験用の内容を使う方法を考えたい。
どの入力がどの操作へ届いたかを確認し、受信側と実行側のどちらが止めたかを記録する。
二段階の確認を置く意味を、観測した結果から説明できるようにしよう。
ナギの用語メモこの記事の 8 語
気になった言葉の意味を、ここで振り返ってみましょう。
- 差分
- 二つの版を比べて、追加・削除・変更された部分だよ。文書の赤入れのように、何が変わったかを確認する手がかりになる。
- AIエージェント
- ここでは、目的に向けて手順を選び、道具を使って作業するAIの仕組みを指す。作業を任せる相手にも、操作できる範囲と確認が必要な場面を決めておく。
- API
- ソフトウェア同士が機能やデータをやり取りするための窓口だよ。お店の注文窓口のように、頼めることと頼み方が決まっている。
- 「何をしてよいか」を決めることだよ。社員証を持つ人でも、入れる部屋は役割によって違うね。データや操作ごとに許可を確かめる。
- 埋め込み(Embedding)
- 文章などの特徴を、数値の並びで表す方法だよ。似た特徴の資料を探す手がかりに使えるが、意味の一致や正しさをそのまま保証するものではない。
- LoRA
- 大きなAIモデルの多くの重みを固定し、小さな追加部分などを学習する方法だよ。少ない学習対象で調整できるが、必要な計算量や品質は条件による。
- プロンプトインジェクション
- AIが読む資料などへ指示を紛れ込ませ、本来の依頼から行動をそらす攻撃だよ。資料の中の命令を、依頼者からの指示と取り違えないことが大切だよ。
- MCP
- AIアプリと、外部のデータや道具をつなぐための共通のやり取りの決まりだよ。道具の接続口と考えてみよう。接続できることと、使わせてよいことは別に確認する。
たとえ・補足を読む
出典資料
出典・参考資料
- Detecting Insecure Compositions of Clean Agent Skills via Capability-Flow Graph Analysis arxiv.org
- On Task, Off Track: Benchmarking LLM and Agent Robustness to Near-Target Prompt Injection arxiv.org
- Incomparable Minima in Agent Tool Authorization arxiv.org
- TRACE: Data-Free Text Reconstruction Attacks against Approximate Unlearning in LLMs arxiv.org
- When AI Agents Read Your Email, Every Message Is a Potential Prompt Injection www.kuppingercole.com
- Microsoft Purview DLP for Microsoft 365 Copilot and Cowork learn.microsoft.com
- Prompt injection protection in Microsoft Defender for Office 365 learn.microsoft.com
