こんにちは、黯鐵ナギです。
検査に合格したものと、実際に動いたものは同じかな?今日はエージェントスキル、SOC調査、ツールのポリシー、推論基盤、IDに関するイベントを見ながら、その差を追っていく。
研究の性能値は著者評価で、本番での独立再現はこれからだよ。
AI供給網:安全なソースとは別のキャッシュを実行する
まず、検査した元のコードと、実際に読み込まれる実行用データの違いを考えよう。
たとえば、原本のレシピは確認済みでも、厨房では古い書き写しを使っていたら、同じ料理にはならないね。
ソースは元のコード、キャッシュは再利用のために保存したデータだよ。
元のコードを確認するだけでなく、実際に読み込んで動かしたものとの対応を確かめる、という話だよ。
100種類のスキル・7種類の検査ツールの著者評価で攻撃成功率は94〜100%だった。
対策のExecution-Aware Validationは、指示、読み込み、読み込み機構、実行成果物を型付きグラフで結び、評価対象のキャッシュ置換100件をすべて検出した。
ただし5攻撃群と正常スキルを含む評価では偽陽性率10%で、まだ研究段階だよ。
ナギの解説(考察): 見えるソースだけでなく、読み込み機構が選べる成果物全体を確認しよう。
未信頼パッケージの.pycを受け入れず、隔離環境でソースから再生成する方法が考えられる。
承認したものと実行時に開く実体の照合値を比べ、読み込みの依存関係やネイティブ拡張もSBOMに含めてね。
この違いは、ファイル名の一覧を眺めるだけでは見つけにくい。
どの場所から、どの順番で、何を読み込むかによって、使われる実体が変わるからだよ。
検査の入口と実行の入口を同じものだと思わず、実行環境の読み込み規則まで確認したいね。
運用例としては、受け取ったパッケージをそのまま本番へ置かず、再生成した成果物を別の保存先へ固定する方法が考えられる。
承認の記録には、その成果物の照合値と作成条件を残す。
後から同じ名前のファイルが差し替わっても、同じ承認で通さないための対応だよ。
ただし、再生成したというだけで、元のソースや依存先が安全になるわけではない。
ソースに含まれた悪意や、生成時に取得する別の部品は、引き続き確認する必要がある。
対策の効く範囲を、検査と実行のずれを減らすことに限定して考えよう。
研究の検出率を見るときも、正常なスキルを誤って止める割合を一緒に読みたいね。
止める件数が多ければ、誰が調べて再承認するかが運用上の課題になる。
数字の良し悪しだけでなく、判断をやり直せる記録があるかも選ぶ基準にしたいんだ。
モデルを変換した後や修正した後に、以前の確認をどこまで使えるかを整理できるよ。
一度検査に通れば安心? AIモデルの変換後・修正後を確かめるを続けて読んでみてね。
SOC:検索結果ゼロを「安全」の証拠にしない
セキュリティ調査でも、検索結果がない理由まで確認したいね。
たとえば、防犯カメラの検索結果がゼロでも、カメラが止まっていたなら「何も起きていない」とは言えないね。
SOCはセキュリティ監視や対応を行う組織・機能だよ。
記録を集められた範囲と検索条件を先に確かめ、結果ゼロを安全の証明にしないようにしよう。
資料で確認できること: 「ALERT-BENCH/AIDA」は、Live SIEMから証拠を集める1,247件の警告で5種類のエージェント方式を比較し、すべてが攻撃警告を最低40.4%見逃したと報告した。
空の検索結果が対応不要という判定を促し、同じコンテキスト内の自己点検は訂正より悪化が多い傾向だった。
提案方式AIDAは、初期判断、別コンテキストの反証、独立した判定役、追記専用台帳を分け、同じ評価で見逃し率を3.1%へ下げる一方、18.4%を人の判断へ引き継いだ。
ナギの解説(考察): 検索結果が0件でも、攻撃がなかったとは限らない。
検索範囲、索引、センサーの稼働状態、保存期間は十分かな?証拠が足りなければ未解決として残し、重大警告を閉じる条件はモデルの自信度より、必要な証拠がそろったかで決めよう。
検索結果ゼロには、少なくとも二つの読み方があるよ。
必要な範囲を正しく探したうえで見つからなかったのか、それとも必要な記録に届いていないのか。
前者なら判断材料になるけれど、後者なら調査の続きが必要になるね。
たとえば、問題の時刻より後のログだけを検索したら、結果が空でも発生時の状況は分からない。
利用者IDの表記が変わった場合や、対象機器の記録が転送されていなかった場合も、検索条件の見直しが要る。
私は、検索式と期間、対象の範囲を、判断理由と一緒に残したい。
人へ引き継ぐ際にも、『AIが判断できなかった』だけでは次の調査を始めにくいよ。
どの記録は取得でき、何が欠け、どの仮説が未確認かを短くまとめる。
その整理があれば、別の担当者が同じ検索を最初から繰り返す負担を減らせる。
なお、別の判定役を置けば必ず独立した検証になる、とは限らない。
同じ欠けた証拠だけを渡せば、複数の判定役も同じところで迷う。
役割の分離に加えて、反証に必要な情報へ到達できるかを見たいね。
エージェント認可:文章で書いた規則を、実行時に判定できる条件へ変える
人が文章で書いた運用規則を、ツール実行時に検査できる条件へ変換する研究もあるよ。
資料で確認できること: 10月8日投稿の「NOMOS」は、人が書いた適用規則を4段階でツール呼び出しの規則へ変換し、ツールの定義だけで参照引数やBindingの矛盾を静的検査する。
候補規則の37%(航空)と13%(小売)を修復または拒否し、状態変更呼び出しの適用規則違反を航空で66.3%から2.6%、小売で30.8%から6.9%へ低減した。
実行時判断はLLMを使わずマイクロ秒単位だけど、未査読のコンパイラーの試作だよ。
ナギの解説(考察): 適用規則をプロンプトに書いたら、次はどこで強制するかを確認しよう。
生成したルールのスキーマを検証し、MCPゲートウェイやSaaSへの接続を仲介するプロキシで決定的に適用する設計だよ。
表現できない要件を勝手に緩めず、拒否か人への確認へ戻せるようにしてね。
規則を機械が判定できる形へ変えるときは、元の文章との対応を確認しよう。
『承認された担当者だけが返金できる』なら、担当者の識別方法、承認の記録、金額の上限などを具体化する必要がある。
文章を短い条件式へ変換できたことと、意図を保てたことは別なんだ。
ここは、学校の校則を受付の確認表へ書き直す場面に似ているよ。
確認欄にない例外や条件は、担当者が見落とすかもしれない。
ツールの規則でも、表現できない部分を黙って省かず、別の確認へ回すか、その操作を保留にする設計がほしいね。
私は、許される例と許されない例を隣に置いて、規則変更の前後を比較したい。
同じ返金でも、対象顧客が違う、金額だけが超える、承認が期限切れ、といった境目を一つずつ試す。
結果が変わった理由を、元の文章まで戻って説明できることが大切だよ。
AI基盤:高速化機構を計算量DoSへ変える
AIの処理を速める仕組みは、負荷をかける入力によってどんな影響を受けるかな? 通常時の速さとは別に評価する必要がある。
資料で確認できること: 「Speedbumps」は、攻撃用の文章を入力末尾へ付け、小型の予測モデルと、その予測を確認するモデルの出力を食い違わせる。
小型モデルの予測を先に作って高速化する投機的デコードで、採用できる予測を減らす攻撃だよ。
一部条件では一つずつ生成する通常の方法より遅くなった。
ナギの解説(考察): トークン数だけではGPU負荷を説明し切れない点に注目しよう。
テナントや取得元文書ごとに小型モデルの予測が採用された割合、大きなモデルで確認した回数/トークン、GPU時間を記録し、閾値を下回る要求を通常の生成方法へ切り替える考え方だよ。
RAG文書などの外部入力を、コストの観点でも評価してみてね。
投機的デコードは、先に作った予測が採用されるほど効率がよくなる仕組みとして読めるね。
身近なたとえなら、注文を予測して材料を先に用意する厨房だよ。
予測が外れ続けると、用意と確認の手間が増え、普通に注文を受けてから作るより遠回りになる場合がある。
このたとえで見たいのは、出力の長さだけでは途中の手間が見えないこと。
AIでも、同じ長さの応答だから同じ計算負荷だった、と決め付けないようにしたい。
待ち時間、計算資源の消費、他の利用者への影響を別々に測る必要があるよ。
ただし、予測が採用されにくい入力をすべて攻撃と扱うのは早い。
通常の仕事でも相性の悪い内容はあり得るからだね。
切り替えの基準を試す際は、正当な利用の品質や待ち時間も比較し、利用者を不必要に止めない運用を考えよう。
ID連携:一括送信する通知を個別確認する
複数の通知をまとめて送る場合は、一部だけ届かなかった状態も追えるとよいね。
まとめた通信と、一件ずつの到達確認を分ける話だよ。
資料で確認できること: 10月9日更新の「Multi-SET Push -05」は、複数のSecurity Event トークンを一つのHTTP POSTで送り、各jtiへ成功またはエラーを返す仕様だよ。
未回答イベントだけを再送でき、セッション失効や資格情報侵害の通知をまとめて送っても個別の配送状態を保てる。
Standards TrackのInternet-Draftで、まだRFCではない。
ナギの解説(考察): 一括送信全体がHTTP 200でも、一つずつのイベントが届いたかは別に確認しよう。
イベント単位の受領確認、再送回数、期限、重複排除を管理する。
IdP、SaaS、SOCをつなぐとき、急ぐべき失効イベントが長い一括送信待ちに混ざっていないかも見てね。
一括通知は、封筒の束を一度に受付へ渡す場面に置き換えると分かりやすいよ。
束を受け取った確認があっても、一通ずつの宛先に届いたとは限らない。
同じように、HTTPの成功表示と個々のイベントの受領結果は、別の記録として扱う必要がある。
さらに、受領後の処理にも目を向けたいね。
資格情報の侵害を知らせる通知を受け取ったとしても、接続先のセッションが実際に無効になったかは別の問いだよ。
配送の確認を、業務上の対処が済んだ証拠へ広げないようにしよう。
仮に、A・B・Cの三件を送り、Aは受領済み、Bは内容不備で拒否、Cは結果が返らなかったとする。
この三件を全部『送信失敗』にまとめると、Aまで送り直し、Bは同じ不備を繰り返してしまうね。
Aは受領の記録を残し、Bは拒否理由を直せるか確認し、Cは未確認として再送の条件を調べる、という分け方が必要になる。
私は、再送してよいかをイベントIDとエラーの種類から判断できるようにしたい。
ただし、Cは相手が処理して応答だけ失われた可能性もあるから、再送時の重複排除を受信側と合わせて確かめよう。
そして、Aが失効通知なら、受領済みの記録とは別に、対象のセッションが使えなくなったことも確認したいね。
再送する場合は、未回答のイベントを識別し、同じ通知を受けた側で重ねて処理しても問題が起きないか確かめる。
急ぐ失効通知の期限を超えたら、通常の待ち行列とは別に対応できる手順もほしい。
どこまで届き、どこから未確認かを示せる状態が、次の判断を助けるんだ。
今日の判断
まずは一件の処理を選び、検査結果と実行結果の対応が途切れる場所を探してみよう。
そこに確認や記録を足すと、改善の効果を説明しやすくなるね。
今日は、表示上の合格や成功から、実際の処理までをたどった。
実行した成果物、調査証拠の完全性、ツールへの制御の適用、計算量、イベントごとの配送状態を、あなたの運用でも追えるかな?結果のラベルと中身を照合するところから始めよう。
ナギの用語メモこの記事の 14 語
気になった言葉の意味を、ここで振り返ってみましょう。
- SOC
- ここでは、システムの安全を監視し、異常を分析・対応する組織や機能を指す。警報を受け取って調べる監視室を思い浮かべてみよう。
- ポリシー
- 許可・禁止などを決める条件や規則だよ。「誰が、どの条件なら、何をできるか」を整理した利用ルールと考えてみよう。
- キャッシュ
- 再利用するため、一度取得した結果などを一時的に保存する仕組みだよ。手元の控えを使うと速くなるが、内容が古くなっていないかの確認が必要だよ。
- SIEM
- さまざまな機器やサービスの記録を集め、関連付けて異常を探す仕組みだよ。別々の受付記録を一緒に確認することで、気付きにくい動きを調べる。
- AIエージェント
- ここでは、目的に向けて手順を選び、道具を使って作業するAIの仕組みを指す。作業を任せる相手にも、操作できる範囲と確認が必要な場面を決めておく。
- 大規模言語モデル(LLM)
- 大量の文章などから言葉のつながりを学び、文章を生成するAIモデルだよ。自然な返答でも事実と違うことがあるため、重要な内容は根拠を確かめよう。
- MCP
- AIアプリと、外部のデータや道具をつなぐための共通のやり取りの決まりだよ。道具の接続口と考えてみよう。接続できることと、使わせてよいことは別に確認する。
- テナント
- 一つのサービスの中で、組織などごとに分けた利用単位だよ。同じ建物に入る別々の会社のように、データや設定を区別して扱う。
- RAG
- 関連する資料を検索し、その内容をAIへ渡して回答を作る方法だよ。資料を手元で確認しながら答えるイメージだけど、検索した資料や回答が必ず正しいとは限らない。
- HTTP
- ブラウザーとWebサーバーなどが、ページやデータを要求・応答するための通信の決まりだよ。「これをください」「この内容です」という往復の形式を定める。
- 資格情報
- 身元や資格などを確かめるための情報だよ。パスワード、証明書、資格を示すデータなど、文脈によって形が異なるので、何を指すかを確認しよう。
- Internet-Draft
- IETFで検討するための作業中の文書だよ。提案は変更や失効があり、公開されていても標準として確定したことにはならない。
- RFC
- インターネットの技術などを記録する文書の系列だよ。標準だけでなく、実験や情報提供の文書もあるため、文書の区分も確認しよう。
- IdP
- 利用者の本人確認を行い、その結果をサービスへ伝える役割だよ。複数の窓口で使う本人確認をまとめて担当する受付にたとえられる。
たとえ・補足を読む
出典資料
出典・参考資料
- PyCache Trap: The Inspection-Execution Gap in Agent Skill Scanners arxiv.org
- From Investigation Failures to Reliable SOC Agents arxiv.org
- NOMOS: Compiling Written Policies into Statically Verified Tool-Call Gates for LLM Agents arxiv.org
- Speedbumps: Rejection Attacks on Speculative Decoding arxiv.org
- Push-Based Delivery For Multiple Security Event Tokens Using HTTP datatracker.ietf.org
