こんにちは、黯鐵ナギです。
悪意ある入力がなくても、長い実行の途中で権限の範囲がずれることがある。
今日は実行経路、推論の境界、永続記憶、委任者の立場を見ていこう。
研究値は著者報告で、本番環境の発生率ではない。
AI・権限管理:攻撃者がいなくてもAuthorization Driftは起きる
まず、AIが作業を進めるうちに、最初の許可から外れていく問題を見てみよう。
たとえば、最初は「牛乳だけ買ってきて」だったのに、気を利かせて頼まれていない品まで買い足す場面を想像してね。
Authorization Driftは、作業の途中で実際の操作が許可の範囲からずれることだよ。
攻撃者がいなくても起こり得るので、仕事の途中でも対象・宛先・期限を確認する。
未査読プレプリントAuthorization Drift in LLM Agentsは、エージェントが正規作業の途中でデータ、ツール、権限の範囲、時間の認可境界から逸脱する現象を評価した。
648件の作業、7領域、13種類のモデル、3種類の枠組み、25,207件の実行経路で、先端的なモデルの権限逸脱率は0.43〜0.61。
一方、86.18%の作業には境界を守った成功経路もあり、逸脱は不可避ではなかった。
長い作業では、目標を達成するために便利な近道が、許可した範囲を越えることがある。
売上の一部分を集計する依頼で、全顧客のデータを先に取得したほうが簡単だとしても、その便利さが全件取得の許可になるわけではないね。
私は、最終的に出力する情報だけでなく、途中で集める情報の範囲を最初に決めたい。
牛乳の例なら、指定した店で品切れだったときが分かれ道になる。
別の商品を買う、別の店へ行く、依頼者へ聞く、といった選択肢のうち、どこまで任されているかを決めておく。
AIの作業でも、例外が起きた際に自分で変えてよい条件と、人へ戻す条件を明らかにすると、想定外の寄り道を見つけやすい。
試験は正常に終わる依頼だけでなく、情報不足や途中失敗を含めよう。
完成率だけを見ると、範囲を越えて完成させた実行が良い結果に見えることがある。
完了したかと、許可を守って完了したかを並べて記録する理由はここにあるんだ。
依頼を文章にするときは、許可する内容だけでなく、迷った際の連絡先も一緒に決めたいね。
対象の資料が見つからなければ、別部署の資料を探すのではなく、まず依頼者へ聞く、といった戻り先だよ。
これは細かな禁止を無限に並べるためではない。
自分で決めてよい範囲の外へ出たときに、作業を安全に引き継ぐ道を用意するためなんだ。
途中で保留された件数も記録すれば、権限を広げる前に依頼の書き方を改善できるか検討できる。
依頼の変更があった場合は、新しい許可として確認し直そう。
権限の考え方を押さえたいときは、読む・編集する・削除する操作を分けるところから確認できるよ。
AIに社内ツールを任せる前に、読む・編集する・削除する権限を分けようを続けて読んでみてね。
AIセキュリティ:外部文書が「自分の思考」に見える
外部の文章を読む場面では、参考情報と、自分への指示を区別する必要もあるよ。
たとえば、他人の伝言をメモへ写すうちに、「自分が決めたこと」のように読んでしまうと困るね。
外部文書やツール結果は、AIが参照するデータだよ。
考えるために読むことと、その内容を実行指示として採用することを分ける境界が必要になる。
Thought Injection研究は、外部の文章を、対象モデルの推論記録らしい文体へ整形する間接注入を検証した。
Cyber Rangeではリバースシェルによる持出しやリポジトリバックドアが最大50%成功。
同じ目的を通常の利用者の指示文で与えると成功せず、Thinking Tagの除去も安定した防御にならないと報告している。
ナギの解説(考察): ファイル、メール、Web、ツール結果を、型付きの外部データ経路へ分けよう。
ネットワーク、シェル、リポジトリ書き込みの許可はモデルの判断だけで決めず、決定論的な適用規則で確認する設計だよ。
外部文書を自分の指示として扱わない境界を作ってね。
外部の文章がもっともらしい口調で書かれていても、その出所は変わらない。
たとえば読んだ資料に『私は確認を終えたので次へ進む』とあっても、その『私』が今のAI自身であるとは限らないよね。
引用した文章と、自分たちが確認して作った実行方針を混ぜないことが、説明と操作の両方で必要になる。
私は入力を渡す際、どこから来た文かを保つと同時に、危険な操作の許可を文章の読み方だけへ預けないように考える。
どんな説明が生成されたとしても、外へ送る対象や書き換える場所は別の条件で確認する。
外部データの表示形式を整えることと、実行できる範囲を制限することは、互いの代わりにはならないよ。
試す際には、攻撃的な命令の有無だけでなく、参考資料を読んだ後に許可条件が変わっていないかを見たい。
資料の内容を理解するために影響を受けることと、資料へ操作権限を与えることを分けるのが、この検討の中心になる。
エージェントの記憶:保存時だけでなく再取得時にも認可する
さらに、読み込んだ情報が記憶へ保存されると、別の日の作業にも影響し得る。
そこで、保存時から取り出す時までを追った評価を見てみよう。
未査読の評価用試験MemoryDojoは、あるセッションの悪性指示が記憶へ保存され、後のセッションで実行されるライフサイクルを追う。
155本、4領域、5種類の記憶システムを比較し、全方式が記憶へ悪意ある情報を混ぜる汚染の影響を受けた。
ナギの解説(考察): 記憶の各項目へ出所、信頼する範囲、原文のハッシュ、期限を付け、外部文書が自動で利用者の希望として扱われないか見てみよう。
重要な書き込みでは確認を求め、再取得時にも今回の作業の権限で認可し直すことがポイントだよ。
たとえば『今後はこの送り先を使う』という記憶を保存するとする。
利用者本人が確定した希望なのか、読んだメールの提案なのかで、その後の扱いは違うよね。
私は、書かれた内容、書いた主体、確認した主体を分けて残し、後から希望として採用した経緯を追えるようにしたい。
再取得の試験では、別の利用者、別の仕事、期限を過ぎた状態から同じ記憶へ触れた場合を見よう。
保存時には正しかった情報が、そのまま新しい依頼の許可になっていないかを確かめる。
不要になった記憶を消す際も、元の記録だけでなく、そこから作られた要約をどう扱うかを決めておきたいね。
ID管理:同じ人の「個人」と「従業員」を区別する
誰のための作業かも大切だよ。
同じ人が依頼していても、私用なのか会社の業務なのかで、使える契約や許可が変わる。
KuppingerColeが11月9日に公開したOne Customer, Two Hats, One Agentは、個人用エージェントが同じ人の私的な購入と会社業務を扱うと、販売者側では支払者、適用契約、会社の規則、責任を判断できない問題を示した。
エージェントの認証だけでなく、今回どの立場で行動したかを取引へ結び付ける必要がある。
これは問題定義・標準化前段階で、共通属性情報や失効方式は未確立だよ。
ナギの解説(考察): 同じ人でも、個人として買うのか、従業員として買うのかで条件は違うね。
依頼者、エージェント、個人か従業員かという立場、支払者、作業、販売者、期限、金額上限、適用する規則を署名対象へ含め、高額・高リスク時は人へ直接確認する設計を考えよう。
同じ人の立場を分ける話は、メールアドレスを二つ持つだけでは終わらないよ。
たとえば会社の備品を買う依頼なら、本人の希望に加えて、会社として認めた購入範囲や支払方法が関わる。
個人の買い物の履歴を便利だからと参照した際に、その条件を会社の取引へ持ち込んでよいかも考えたい。
私は、依頼を受けた時点で『今回はどの立場か』を確かめ、見積もり、承認、購入の各段階で同じ立場が保たれているかを追う。
承認した人が後から部署を離れた場合や、途中で支払者が変わった場合も、元の判断を使ってよいか再確認する必要があるね。
ここで挙げた整理は運用を考えるための例で、紹介した記事が共通の完成した方式を提供しているわけではない。
実装ごとに足した属性や署名の条件は、互換性が確認済みだと扱わず、検証する仮定として明示しておこう。
ネットワーク管理:rConfigのキューを侵入口にしない
最後は、後から処理する仕事を受け付ける仕組みの脆弱性だよ。
処理の待ち行列へ、誰が仕事を入れられるかが問題になる。
11月9日にCVE化されたCVE-2026-124079は、Redisを使うLaravel Horizonの処理待ち行列へ細工したジョブを投入し、rConfigの処理担当プロセスの権限で任意コードを実行できるCritical脆弱性だよ。
Vendor Advisoryは11月6日公開で、Core 8.0.0〜8.2.18、Pro 8.4.0以前が対象。
Redisへ直接到達できない場合も、認証済み利用者がDevice TargetをLoopbackへ向ける経路があった。
修正はCore 8.2.19、Pro 8.4.1だけど、Core 8.2.19には別の資格情報エクスポート問題があるため、ベンダーはCore 8.2.20以降を推奨している。
ナギの解説(考察): 更新後もRedis認証、管理ネットワークの範囲の限定、処理ワーカーの非root化を確認してね。
API トークン、機器の認証情報や特権モード用パスワード、SMTP、LDAP、RADIUSの共有秘密の更新も対応に含める。
キュー履歴、未知アカウント、Web シェル、不審なArtisan/Tinker実行を調べ、更新だけで調査を終えないようにしよう。
待ち行列は、受付と作業をする担当の間にある依頼箱にたとえられる。
依頼箱が内側にあるから安全だと思っても、別の窓口を通じて誰でも内容を入れられるなら、作業担当は意図しない仕事を受け取ってしまうね。
どこへ直接接続できるかだけでなく、別機能を経由して仕事を入れられないかを見る理由だよ。
更新後の確認では、依頼を入れられる主体と、実行するプロセスの権限を並べてみよう。
正常な処理が続くことに加え、不要な到達経路を閉じたか、処理担当に必要以上の権限が残っていないかを確かめたい。
認証情報を交換する場合も、どのサービスで使っていたものかを対応付けて、古いものが受け入れられないか確認する。
調査を終えるときは、見た記録の種類と期間を残しておこう。
不審なものが見つからなかった場合にも、それが全期間を調べた結果か、保存されていた範囲だけの結果かで意味が変わる。
更新の実施結果と調査の結果を別に説明することが、次の担当へ正確に引き継ぐ助けになるよ。
ナギの用語メモこの記事の 8 語
気になった言葉の意味を、ここで振り返ってみましょう。
- 「何をしてよいか」を決めることだよ。社員証を持つ人でも、入れる部屋は役割によって違うね。データや操作ごとに許可を確かめる。
- AIエージェント
- ここでは、目的に向けて手順を選び、道具を使って作業するAIの仕組みを指す。作業を任せる相手にも、操作できる範囲と確認が必要な場面を決めておく。
- リポジトリ
- コードや文書と、その変更履歴を保管する場所だよ。過去の版や変更者もたどれる作業用の書庫を考えてみよう。
- ハッシュ
- データから一定の手順で短い値を計算する仕組みだよ。データの指紋のように変更を確かめる用途がある。元の内容を隠す暗号化とは別のものだよ。
- 認証
- 「誰なのか」を確かめることだよ。入口で社員証を確認する場面を思い浮かべてみよう。どの部屋へ入ってよいかは、別の「認可」で決める。
- CVE
- 公開された脆弱性を識別するための共通の番号体系だよ。問題を取り違えずに追うための管理番号で、番号そのものは深刻度を表しない。
- 資格情報
- 身元や資格などを確かめるための情報だよ。パスワード、証明書、資格を示すデータなど、文脈によって形が異なるので、何を指すかを確認しよう。
- API
- ソフトウェア同士が機能やデータをやり取りするための窓口だよ。お店の注文窓口のように、頼めることと頼み方が決まっている。
たとえ・補足を読む
出典資料
出典・参考資料
- Authorization Drift in LLM Agents arxiv.org
- I Think, Therefore I Attack arxiv.org
- MemoryDojo arxiv.org
- One Customer, Two Hats, One Agent www.kuppingercole.com
- rConfig Security Advisories www.rconfig.com
- CVE-2026-124079 www.cve.org
