こんにちは、黯鐵ナギです。
今日はエージェントの監査から、認証と画像処理の入口まで見ていく。
委任と結果をどうつなぐか、評価の数字をどう読むか、更新と設定で何を確かめるかを、一つずつ整理しよう。
AI・エージェント:委任から結果までを跨ドメインで結ぶ
AIの仕事を後から確認するには、処理の番号だけでなく、依頼の許可と結果を結び付けたいね。
たとえば、荷物の追跡番号だけでは、誰が発送を許可したかや、中身を変更してよかったかまでは分からないね。
実行記録 IDは処理をつなぐ識別子だよ。
組織をまたぐエージェントの仕事では、その番号へ委任範囲、許可の判断、実際の結果を対応付けて記録する必要がある。
11月8日更新のIETF 127 AUDIT BoF agendaでは、11月17日にエージェント監査のscope、architecture、use case、WG charterを議論する。
User intent、エージェント・sub-agent・ツール、実行/拒否操作、交換データ、結果を管理Domainを越えて相関する。
モデル内部や学習データは対象外だよ。
ナギの解説(考察): 実行記録 IDだけで、誰の権限で何が起きたかを説明できるかな?主体、委任権限の範囲、適用規則判断、拒否操作、副作用、結果内容の照合値、親子関係をEvent Schemaへ残そう。
改ざん検知、テナントの分離、PIIの最小化は、それぞれ別の制御として考えてね。
監査の記録を作るなら、まず一つの依頼を選び、依頼者から結果までを線でつないでみよう。
受付、判断、別担当への引き継ぎ、実行、結果の保存という順に置くと、どこで番号が変わり、どこで記録が途切れるかが見えてくる。
私は、すべての処理を細かく記録する前に、この対応が説明できるかを確かめたい。
荷物の例なら、配送の記録があっても、受け取った荷物の中身が注文どおりかは別に照合するよね。
AIでも、ツールを呼んだ記録と、実際に何が変わったかの記録を結び付ける必要がある。
失敗や拒否の記録も残すと、何も起きなかったのか、許可されず止まったのかを区別しやすい。
組織をまたぐ場合は、同じ項目名でも意味がそろっているかを確認しよう。
『完了』が受付完了なのか、操作の確定なのかで、後から読んだ人の判断は変わる。
共有する記録には必要な意味を残しつつ、本文や個人情報をどこまで渡すかを別に決める。
何でも一か所へ集めることが、監査できることと同じではないんだ。
記録が欠けた部分は、何も起きなかった部分と区別して残そう。
委任の経路と、判断を後から確かめ直せる記録について、もう一歩詳しく読めるよ。
AIからAIへ渡った仕事を、最後までたどれる記録にするにはを続けて読んでみてね。
ID管理:トークンを持つクライアントと利用先を結び付ける
また、鍵を持っていることを示せても、別のサービスの権限を得てよいとは限らないよ。
たとえば、会員証を持つ本人だと分かっても、別の施設の利用券へ自由に交換できるわけではないね。
DPoPは、トークンに結び付いた鍵を持つことを示す仕組みだよ。
鍵の所持確認と、今回どの相手向けにどんな権限へ交換してよいかの判断は別になる。
OAuth 2.0 Audience-Bound Token Exchangeは、Subject トークンのaudが示す資源と、交換を要求するクライアントの関係をAuthorization サーバーが確認する案だよ。
Local 適用規則、資源のjwks_uriで検証するJWT、token_exchange_clients 付随情報を使う。
複数利用先が曖昧なら拒否し、交換先・権限の範囲・Actor 連鎖は別適用規則で判定する。
10月8日公開の個人Internet-Draftで、11月8日にIETF 127資料へ追加。
WG採用は未確定だよ。
ナギの解説(考察): トークンを持っていることやDPoPの成功だけで、再交換を許可していないかな?aud、クライアント、操作の関係を適用規則へ整理しよう。
付随情報を取得する経路にも、SSRF対策、許可リスト、TLS検証が必要だよ。
トークンを交換するときは、『元の許可を誰が使えるか』と『新しい許可をどこで使えるか』を並べると整理しやすいよ。
本人だと確認できたからといって、別の利用先へ権限を持ち出してよいとは限らない。
元の許可に関係のないアプリが交換を求めた場合、何を根拠に断れるかを考えてみよう。
私は試験用の構成で、正しい相手への交換、違う相手への交換、利用先が曖昧な交換を分けたい。
正常な一件が通ることだけでなく、通してはいけない組み合わせが拒否されるかを見よう。
同じ利用者でもアプリが違えば条件が変わることを、設定と記録の両方で確認するためだよ。
付随情報を取りに行く処理も、外部の指定を使って通信する一つの操作になる。
交換の判定そのものを厳しくしても、確認用の取得先が自由に変えられるなら別の問題が残るね。
どの取得先を許し、取得できなかった場合にどう保留するかまで、判定の手順へ含めておこう。
ネットワーク運用:高いF1を運用品質と誤認しない
監視の評価でも、一つの高い点数だけでは実際の使いやすさを判断できない。
F1は、警告の正確さと異常を拾える割合をまとめた指標だよ。
何を異常として、どんな条件で測った数値なのかを確認しよう。
IETF 127で扱われるNetwork Anomaly Detection評価法は、規則・統計・MLを同じ枠で比較し、Class Prevalence、単純比較の基準、障害の注入試験、再送・再利用、複数SignalのGround Truthを報告する案だよ。
Informational想定の個人草案で、プロトコルではない。
ナギの解説(考察): 高いF1に加え、Precision、Recall、AUC、イベント検出率、検出までの時間も見てね。
固定したデータの再生条件と、評価に使っていない別のデータで測り、自動修復では誤検知のコストも確認しよう。
数字を実際の運用負荷へ結び付ける視点だよ。
監視の点数を運用へ結び付けるには、警告を受け取る人の仕事まで想像すると分かりやすい。
異常を多く拾えるとしても、一日に確認する警告が大量に増えれば、本当に必要な対応へ進みにくくなるよね。
一方、警告を減らしすぎて重大な異常を見逃していないかも確認が必要になる。
たとえば設備点検で、故障しやすい機器だけを集めた試験と、正常な機器が大部分を占める現場では、同じ検査でも警告の受け止め方が変わる。
ネットワーク監視でも、異常をどれくらい含むデータで測ったかを記録したいね。
F1などの指標を比べる際には、対象と条件がそろっているかを先に確認しよう。
さらに、一つの障害を時間の流れで追ってみよう。
仮に十時に回線が切れ、十時十分に復旧したのに、最初の警告が十時十二分に出たとする。
後から異常を言い当てても、障害中の対応には間に合っていないね。
また、同じ切断について毎分警告が出ても、別々の障害を何件も発見したことにはならない。
だから私は、警告の件数と、独立した障害の件数を分けて数えたい。
障害の開始、最初の検出、担当者の確認、復旧の時刻を並べると、遅れが検知側にあるのか、確認や対応の手順にあるのかを調べられる。
点数を改善する前に、どこで待ち時間が生じているかを知るための見方だよ。
私は、検出までの時間と、担当者が確認を終えるまでの時間を別々に見る。
さらに自動で復旧する仕組みなら、誤った警告で正常な通信を止めた場合の影響も考える。
検出の成功率だけでなく、その後の判断と操作まで含めて、小さな範囲から試す計画を立てたい。
認証基盤:OpenAMは未署名SAML Assertionを拒否する版へ
ここからは製品の修正だよ。
認証結果を受け取る際に、署名のない情報を受け入れてしまわないかが確認点になる。
OpenAM Advisoryは、16.1.3以前が特定のSAML Bindingで未署名Assertionを受理し、認証なしにセッションを発行し得る問題をCriticalと評価。
修正版は16.1.4だよ。
ベンダー告知は10月22日で、当日のレーダーでCVE連携を含めて追跡対象となった。
ナギの解説(考察): この記事の確認時点では16.1.4への更新が対応点だよ。
Partner IdPが署名に対応するか先に確認しよう。
暫定策のWantAssertionsSigned=true、未使用ECPの遮断、Artifact ResolutionのHTTPS強制も、自分の構成で適用できるか確かめてね。
試験の準備では、使っている連携方式、相手先、証明書の更新手順を一覧にしておきたい。
普段使わない方式が有効なままなら、通常のログイン確認では気付かない入口になり得る。
利用中の経路を把握したうえで、未使用の機能を止められるかを管理者と確認しよう。
暫定策を適用した場合は、修正版への更新と同じ扱いにせず、残っている作業を明記しておく。
私は、適用した設定、確認した連携先、見直す期限を一緒に残したい。
これなら、担当者が変わっても『いつか更新する』という曖昧な状態を引き継がずに済むね。
クラウド画像処理:imgproxyのICO整数Overflowを塞ぐ
画像を受け取るサービスも、入力を処理する部品まで点検したいね。
今回は、画像が示す大きさと、実際に確保する領域の扱いに関する問題だよ。
imgproxy Advisoryによると、4.0.0〜4.0.15のICO読み込み処理では、攻撃者が指定したサイズの32-bit加算が扱える上限を超え、小さすぎるメモリ領域を確保してしまう。
その領域を超える書き込みにより、異常終了や遠隔での任意コード実行につながり得る。
修正版は4.0.16以降だよ。
ベンダー告知日は10月6日で、実悪用は確認されていない。
ナギの解説(考察): 版更新と合わせて、画像の取得元の許可リスト、ダウンロード上限、管理者権限で動かさないこと、読み取り専用のファイルシステム、外向き通信の制御を見直そう。
画像処理ワーカーから資格情報を分け、画像の読み込み処理の異常終了を監視できるかも確認してね。
画像の処理は、表示する前にファイルの構造を読み取る工程を含む。
見た目には小さなアイコンでも、読み取り側はファイルに書かれた値を使って処理するんだ。
だから、利用者が画像として扱っていることだけでは、処理する部品への入力が安全とは判断できないね。
私は、画像を受け取る入口、取得する処理、変換する処理、保存する場所を分けて見る。
外部から取得するなら取得先の制限、変換するなら使う権限や資源の上限、保存するなら他のデータへ触れない構成を確認する。
それぞれは版更新の代わりではなく、問題が起きた場合の影響範囲を考える別の確認点だよ。
更新後は、よく使う画像形式が正常に処理されるかに加え、処理が失敗した場合に何が記録され、誰へ通知されるかも試そう。
異常終了の回数だけを見て原因を断定せず、対象の版や入力形式と対応付ける。
入力を調査用に保存する場合は、その保存先の閲覧範囲にも気を配りたいね。
ナギの用語メモこの記事の 23 語
気になった言葉の意味を、ここで振り返ってみましょう。
- AIエージェント
- ここでは、目的に向けて手順を選び、道具を使って作業するAIの仕組みを指す。作業を任せる相手にも、操作できる範囲と確認が必要な場面を決めておく。
- 認証
- 「誰なのか」を確かめることだよ。入口で社員証を確認する場面を思い浮かべてみよう。どの部屋へ入ってよいかは、別の「認可」で決める。
- スコープ
- ここでは、許可する操作などの範囲を表する。「読むだけ」「書き込みもできる」といった入場券の利用条件を思い浮かべてみよう。
- WG
- Working Groupの略で、特定のテーマを扱う作業部会だよ。ここでは主にIETFなどで、仕様の検討を進めるグループを指す。
- OAuth
- あるサービスが、別のアプリへ操作の権限を渡すための仕組みだよ。合鍵を丸ごと渡す代わりに、用途を限定した入場券を渡すイメージだよ。本人確認そのものとは区別する。
- HTTP
- ブラウザーとWebサーバーなどが、ページやデータを要求・応答するための通信の決まりだよ。「これをください」「この内容です」という往復の形式を定める。
- RFC
- インターネットの技術などを記録する文書の系列だよ。標準だけでなく、実験や情報提供の文書もあるため、文書の区分も確認しよう。
- テナント
- 一つのサービスの中で、組織などごとに分けた利用単位だよ。同じ建物に入る別々の会社のように、データや設定を区別して扱う。
- DPoP
- トークンを使う側が、対応する秘密鍵を持っていると示す仕組みだよ。券を持つことに加え、券に結び付いた鍵も確かめるイメージだよ。
- クライアント
- サービスへ要求を送って利用する側のアプリなどだよ。注文する側をクライアント、受け付けて応答する側をサーバーと考えてみよう。
- 「何をしてよいか」を決めることだよ。社員証を持つ人でも、入れる部屋は役割によって違うね。データや操作ごとに許可を確かめる。
- サーバー
- 要求を受け取り、データや処理結果を提供する側の仕組みだよ。必ずしも一台の物理的な機械を指すとは限らない。
- JWT
- 発行者や有効期限などの情報を、決まった形式でまとめて運ぶ仕組みだよ。封筒に必要事項を入れるようなものだけど、JWTというだけで中身が暗号化されるわけではない。
- Internet-Draft
- IETFで検討するための作業中の文書だよ。提案は変更や失効があり、公開されていても標準として確定したことにはならない。
- IETF
- インターネットで使う技術の仕様などを議論し、標準化を進める場だよ。提案が出た段階と、標準として合意された段階を分けて読もう。
- SSRF
- サーバーに、攻撃者が意図した宛先への通信をさせる問題だよ。受付係をだまして、本来取りに行くべきでない場所へ資料を取りに行かせるようなものだよ。
- 許可リスト
- あらかじめ許可する対象を列挙した一覧だよ。名簿にある宛先や操作だけを受け付ける形で、扱える範囲を絞る。
- TLS
- 通信相手を確認し、通信の内容を盗み見や改ざんから守るための仕組みだよ。通信路を守るもので、相手が送る内容の正しさまで保証するわけではない。
- プロトコル
- 通信で使う手順や形式の決まりだよ。お互いに通じる言葉だけでなく、どちらが何をいつ送るかも合わせた会話のルールだよ。
- SAML
- 本人確認の結果などを、サービス間で伝えるための仕様だよ。複数のサービスへログインする仕組みなどで使われる。
- CVE
- 公開された脆弱性を識別するための共通の番号体系だよ。問題を取り違えずに追うための管理番号で、番号そのものは深刻度を表しない。
- IdP
- 利用者の本人確認を行い、その結果をサービスへ伝える役割だよ。複数の窓口で使う本人確認をまとめて担当する受付にたとえられる。
- 資格情報
- 身元や資格などを確かめるための情報だよ。パスワード、証明書、資格を示すデータなど、文脈によって形が異なるので、何を指すかを確認しよう。
たとえ・補足を読む
出典資料
出典・参考資料
- IETF 127 AUDIT BoF Agenda datatracker.ietf.org
- AUDIT BoF Request datatracker.ietf.org
- OAuth 2.0 Audience-Bound Token Exchange datatracker.ietf.org
- Evaluation Methodology for Network Anomaly Detection datatracker.ietf.org
- OpenAM unsigned SAML assertion advisory github.com
- imgproxy ICO integer overflow advisory github.com
