こんにちは、黯鐵ナギです。
安全を確認した部品でも、つなぎ方や渡す権限が変わると確認し直す必要がある。
今日はスキルの組み合わせ、実行権限、RAGへのデータ投入、統制を適用する場所を見ていこう。

研究値は著者評価で、本番環境での独立再現はこれからだよ。

AIエージェント:安全なスキルの組合せが危険な能力を作る

AIへ渡す手順を一つずつ確認した後は、組み合わせて何ができるかも見てみよう。
たとえば、「書類を読む係」と「外へ郵送する係」は、それぞれ必要な仕事だよ。
でも二人の連携で秘密の書類を外へ送れてしまうなら、全体の手順を見直す必要があるね。

スキルはAIの作業手順をまとめたもので、単体の確認に加え、組み合わせでできることを調べるのがポイントだよ。

公開スキル 4,000件と8種類の攻撃行動を使った著者評価では、直接合成の成功率は平均17.0%、実行結果に応じて組合せを調整すると52.3%だった。

ナギの解説(考察): スキルを一つずつ承認するだけでなく、基盤エージェント、全スキル、接続順、利用権限をまとめた実行構成も見てね。
「資格情報の読取り+外部送信」「コード生成+実行」がそろうと、何ができるかな?公開前の結合試験と、実行時の権限制御を分けて用意する考え方だよ。
研究は未査読で、二つのスキルと定義済みの攻撃が中心だよ。

組み合わせを調べるときは、各スキルが何を読み、何を作り、どこへ渡すかを並べてみよう。
単体の説明が無害でも、前のスキルが作った出力を次のスキルが命令として扱えば、意図しない操作につながることがある。
部品の名前より、受け渡しの関係を見るんだ。

たとえば、社内資料から要約を作るスキルと、告知文を公開するスキルがあるとする。
どちらも通常の仕事だけれど、要約の保存先がそのまま公開対象になるなら、社内情報を外へ出す経路ができる。
両方を使ってよいという許可だけでは、公開してよい内容までは決まらないね。

そこで、社内資料を扱う段階と、公開する段階の間に確認を置きたい。
外部へ出すために選んだ内容だけを渡し、元資料の秘密情報や資格情報は渡さない。
AIが読み取れた情報を、すべて次のツールへ送ってよいと扱わないことが大切だよ。

また、新しいスキルを一つ追加したときは、既存の組み合わせにも影響する。
今まで外部送信できなかった構成が、追加後には送信可能になる場合を考えてみてね。
追加した部品の検査だけでなく、構成全体の権限を見直す理由が分かると思う。

全部の組み合わせを無制限に試すのは難しいから、まずは秘密情報の読取り、外部への送信、コードの実行、データの削除を持つ組み合わせから確認する案が考えられる。
これは研究が示した優先順位ではなく、影響の大きい経路を見つけるための運用上の提案だよ。

認可:モデル侵害と実害を切り離す

組み合わせの確認に加えて、AIが誤った判断をしても実際の操作を制限できるとよいね。
たとえば、作業する人が間違えても、施錠された部屋へは入れないようにする場面を想像しよう。
モデルが誤った指示に従うことと、実際にデータを変更・送信できることを分ける考え方だよ。

認可は、今回その操作をしてよいかを判断する仕組みで、モデルの回答だけに任せない。

資料で確認できること: 同日投稿の「Compromise Is Not Consequence」は、一度生成した同じツール要求を広いBearer トークンとタスク限定適用規則へ再生し、認可方式だけの差を比較した。

4領域・128シナリオ・5モデル構成で、攻撃後の有効な判断のうち広いトークンでは8.9〜37.8%が有害な実行へ到達したが、対象操作、資源、引数を限定した3条件では0件だった。
これはプロンプトインジェクションを防いだ結果ではなく、侵害された判断を副作用へ変えなかった結果だよ。

ナギの解説(考察): エージェントへ広い長期トークンを渡す前に、仕事ごとに絞れないか考えよう。
宛先、金額、パス、期限を含む短命の資格情報を発行し、最後のサービス側でも検証する設計だよ。
モデルの意図、ポリシー判断、実際の効果は分けて記録してね。

実験で0件だったことを、一般的な安全保証とは読まないようにしよう。

モデルの判断と実害を分けると、対策の評価も変わってくるよ。
モデルが不適切な操作を提案した回数と、実際にその操作が実行された回数を別に数える。
提案を止められなくても、実行を止めたなら、その制御が担った役割を説明できるね。

ただし、実行を拒否しただけで仕事が完了したわけではない。
必要な操作まで拒否される場合には、権限の範囲が狭すぎるのか、依頼の内容が曖昧なのかを確認しよう。
安全のための制限と、正常な仕事を進める条件を一緒に調整したいんだ。

短命の資格情報を使う場合も、短い期限だけで対象や操作が限定されるとは限らない。
期限内なら広い操作ができる設計もあるからだよ。
時間、対象、操作内容の三つを、それぞれどこで検証するか整理してみよう。

たとえば、下書き保存だけを許した仕事なら、公開操作は別の許可へ分ける。
保存先も特定の場所へ限定し、他の利用者の原稿には触れないようにする。
こうして一つの依頼を具体化すると、拒否された操作が本当に依頼に必要だったかも判断しやすくなるね。

私は、認可の結果をモデルが自由に書き換えられない場所へ置きたい。
モデル自身の『許可されています』という説明ではなく、検証済みの利用者情報と業務ルールで判断する。
その分離が、誤った判断を実際の作用へ変えない設計の土台になるよ。

考え方を実際の接続へ落とし込みたいときは、MCPゲートウェイの許可・入力検査・監査の設計を見てみよう。
MCPゲートウェイとは? AIの操作を許可し、結果を記録する仕組みを続けて読んでみてね。

RAG:未検証データの露出時間に上限を置く

検索へ新しい文書を入れる運用では、まだ確認できていない情報をいつまで見せるかも決めておきたい。

資料で確認できること: 「Bounded Provisional Visibility」は、継続投入される文書を暫定的に検索可能にしつつ、期限までに検証が確定しなければ自動的に非表示にする方式だよ。
5ワークロードの評価では、検証遅延時に毒入り文書が検索された中央値を34件から7件へ減らした。

事前検証方式は初回公開まで6.3秒、暫定方式は3ミリ秒以内だったが、正常文書も期限切れで一時的に消える可用性上の代償がある。

暫定公開は、新しい資料を早く使える利点と、未検証の内容に触れる時間を持つ代償を合わせた選択だよ。
たとえば、未確認の資料を『確認待ち』の棚に置き、期限までに確認できなければ棚から下げる運用に似ている。
置いたまま忘れないための期限だね。

でも、その棚を見て作ったコピーが別の机に残れば、元を下げても使われ続けるかもしれない。
RAGでは、文書の断片、検索用の数値表現、生成した要約がそのコピーに当たる。
元文書の状態変更を、どの派生データまで伝えるかが確認点になる。

検証が遅れた場合は、正常な資料もいったん検索できなくなる。
そのときAIが古い資料を代わりに使うのか、必要な根拠がないと説明するのかを決めておきたいね。
取得できなかった理由が分からないまま、もっともらしい回答で補うことは避けたい。

試験では、検証処理を意図的に遅らせ、期限後に検索結果へ残らないかを確認する案が考えられる。
さらに、すでに生成済みの回答や保存済みの要約をどう扱うかも確認しよう。
非表示にする操作は、過去に利用された影響まで取り消すものではないんだ。

だから、この方式を選ぶかは情報の用途にもよる。
最新性を優先する社内の参考情報と、支払いなどの重要な判断に使う情報では、未検証のまま見せる許容範囲が違う。
期限の数字を先に決めるより、その情報で何を実行するかから考えたいね。

IAM:規程をエージェントが読める形へ変える

運用規程をAIから参照できるようにする場合も、読めることと、実行時に規則が適用されることは別に確かめよう。

資料で確認できること: KuppingerColeの10月6日セッション「IAM Governance for an Agentic Workforce」は、人間向け文書に閉じたIAM要件を検索可能にし、チーム内に規程の確認を担当するエージェントを置き、実行ごとに適用する要件を調べる構想を示した。

基盤となるNIST OSCALはControl情報をXML、JSON、YAMLで表し、OPAは構造化コンテキストから適用規則判断を外部化できる。

ナギの解説(考察): 規程への適合を確認するエージェントには要件の検索と説明を手伝ってもらい、最後の許可・拒否は、決めた規則に従って判定する仕組みへ残す設計を考えよう。
規程の版、例外、承認、実行結果を同じ証跡で追えるか、要件を取得できなければ追加承認や拒否へ戻れるかも確認してね。

エージェント連携の初期設計と、OSCAL・OPA自体の成熟度は分けて評価しよう。

規程を検索できるようにすると、どの条項が関係するかを探しやすくなる。
一方で、見つけた条項が最新か、対象の部署や契約に適用されるかは、別に確認が必要だよ。
検索の関連度が高いことを、そのまま適用の正しさとして扱わないようにしよう。

たとえば、出張規程を調べるときに、昨年度の上限額を参照したら、文章を正しく読めても判断はずれてしまうね。
システムでも、規程の版、有効期間、例外の対象を、判断するための情報として渡したい。
文章を読めるだけでは、この条件が自動でそろうわけではないんだ。

OSCALのような情報表現と、OPAのような判断の仕組みも役割が違う。
前者で要件を整理できても、後者へ渡す条件が適切かは設計と確認が要る。
個々の技術の成熟度を、エージェントとつないだ構成全体の検証済みという意味へ広げないでね。

私なら、一つの規程について、元の条文、機械が扱う条件、許可・拒否の例を並べる。
条文を変えた際に、どの条件と試験を更新する必要があるか分かる形だよ。
例外を承認した場合も、本文を都合よく読み替えず、対象と期限を別に記録したい。

今日の話を合わせると、部品、権限、データ、規程のどれも、単体の確認だけでは仕事全体の判断にならないと分かるね。
まず一つの業務の流れを描き、どこで情報や権限が増えるかを見てみよう。
その増える場所が、次に確かめる候補になるよ。

今日の判断

一つの失敗を補うための便利な代替処理が、別の制限を越えることも考えられる。
代替経路も元の依頼の範囲に収める、という視点を、部品をつなぐときの確認に加えたいね。

「何とつながるか」「どの権限とデータを受け取るか」「どこで副作用を止めるか」。
今日はこの3つをあなたの構成へ当てはめてみてね。
スキル構成、仕事ごとの資格情報、RAGの表示状態、機械で読める統制を、実行の記録と結び付けて追っていこう。

ナギの用語メモこの記事の 9 語

気になった言葉の意味を、ここで振り返ってみましょう。

RAG
関連する資料を検索し、その内容をAIへ渡して回答を作る方法だよ。資料を手元で確認しながら答えるイメージだけど、検索した資料や回答が必ず正しいとは限らない。
資格情報
身元や資格などを確かめるための情報だよ。パスワード、証明書、資格を示すデータなど、文脈によって形が異なるので、何を指すかを確認しよう。
AIエージェント
ここでは、目的に向けて手順を選び、道具を使って作業するAIの仕組みを指す。作業を任せる相手にも、操作できる範囲と確認が必要な場面を決めておく。
認可
「何をしてよいか」を決めることだよ。社員証を持つ人でも、入れる部屋は役割によって違うね。データや操作ごとに許可を確かめる。
プロンプトインジェクション
AIが読む資料などへ指示を紛れ込ませ、本来の依頼から行動をそらす攻撃だよ。資料の中の命令を、依頼者からの指示と取り違えないことが大切だよ。
ポリシー
許可・禁止などを決める条件や規則だよ。「誰が、どの条件なら、何をできるか」を整理した利用ルールと考えてみよう。
MCP
AIアプリと、外部のデータや道具をつなぐための共通のやり取りの決まりだよ。道具の接続口と考えてみよう。接続できることと、使わせてよいことは別に確認する。
埋め込み(Embedding)
文章などの特徴を、数値の並びで表す方法だよ。似た特徴の資料を探す手がかりに使えるが、意味の一致や正しさをそのまま保証するものではない。
IAM
人やシステムの身元と、利用できる権限を管理する仕組みだよ。社員名簿と入室許可の運用をまとめて扱うイメージだよ。

出典資料

出典・参考資料

  1. Runaway Reaction: When Benign Skills Compose into Malicious Behavior arxiv.org
  2. Compromise Is Not Consequence: Evaluating Task-Scoped Authorization in LLM Agents with Paired Replay arxiv.org
  3. Bounded Provisional Visibility: Controlling Poisoning Exposure in Continuously Ingested RAG Vector Stores arxiv.org
  4. IAM Governance for an Agentic Workforce www.kuppingercole.com
  5. NIST OSCAL pages.nist.gov
  6. Open Policy Agent www.openpolicyagent.org
#AI#セキュリティ#エージェント#RAG#IAM