こんにちは、黯鐵ナギです。
注意書きを読ませるだけでなく、仕組みの構造で制限できる場所はどこかな?今日はモデル内部、エージェントの状態遷移、HTTP署名、プロトコル、暗号証明を見ていく。
研究の性能値は著者報告で、一般的な保証ではない。
AIセキュリティ:TrustをAttention Headへ組み込む
AIが情報を読む際には、出所による信頼の違いを扱いたいね。
たとえば、掲示板の張り紙と、管理者からの正式な連絡を同じ重さで扱うと、偽の張り紙に振り回されるね。
Attentionはモデルが入力のどの部分を参照するかに関わる仕組みだよ。
ここでは情報の出所による信頼の違いを計算へ反映する研究として読み、物理的な鍵のような保証とは区別する。
10月27日提出の未査読プレプリントHeads of Securityは、信頼済み指示と非信頼内容の間で、Attention Headごとの注目配分を調整する、小さなゲートを学習する。
GPT-OSS-20BではRL-Hammerの攻撃成功率がBase モデルの97%に対し10%となり、強化したWhite-box攻撃も同じ成功率へ達するのに約3倍の計算量を要したと報告した。
入力を読めなくするのではなく、データを命令として扱いにくくする設計だよ。
ただしLlama-3.3-70BとGPT-OSS-20Bでの実験であり、未知の構成や対策へ適応した攻撃への一般化は未確定だよ。
出所の信頼を計算へ組み込む場合、その出所を最初に分類する処理も確認したいね。
信頼してはいけない文書が、信頼済みの指示として入力されれば、分類の前提そのものが崩れる。
モデル内部の工夫と、入力を組み立てる側の責任を分けて考える必要があるよ。
私は、同じ文章でも、利用者が直接依頼した場合と、検索結果に書かれていた場合を比較してみたい。
文章の意味が同じでも、操作を指示する権限まで同じとは限らないからだよ。
内容だけを見た検査では、この違いを確かめられないことがある。
また、防御を追加した後に、攻撃側がその仕組みを知った条件で試すことにも意味がある。
以前の攻撃例だけを通す試験は、以前の弱点を直した確認にはなるけれど、新しい回避方法へ強いことまでは示さない。
試験で攻撃者へ何を知らせたかも、結果と一緒に残したいね。
運用へ取り入れるか判断する際は、正常な資料を読める範囲も並べて確認しよう。
守りたい境界が保たれたか、必要な回答の質が落ちていないかは別の観点だよ。
どの条件を改善できたかを具体的に記すと、研究の数値を過大に受け取らずに済む。
AIエージェント:会話の手順を、許される状態遷移として強制する
操作の順番を仕組みで制限する方法もあるよ。
先に何を確認しなければ次へ進めないかを表すんだ。
たとえば、窓口で「申請→確認→許可→受取」の順に進むと決まっていれば、確認前の受取を断れるね。
セッション Typeは、通信で許されるやり取りの順序や種類を表す考え方だよ。
順序を守れることと、渡される内容が正しいことは別に確認する。
同日提出のConcordatは、「変更前に利用者の明示確認を得る」といった手順を有限状態プロトコルにし、現在の状態で許可されたツールだけをモデルへ提示するオープンソースのPythonライブラリだよ。
許可されていない呼び出しは、外部へ作用する前に拒否され、人間専用の判断はエージェントが代行できない。
航空予約の作業では通常エージェントがgpt-4.1で50件中13件、Claude Haiku 5.5で128回の実行中29件を確認なしで変更した一方、Concordatは0件で、作業成功率に有意差はなかったと報告している。
これは未査読プレプリントの限定評価だよ。
ナギの解説(考察): 返金、予約変更、資格情報発行では、使えるツールに加えて「確認→実行→記録」の順序も守れるか見てね。
サーバー側で状態を持ち、順序を迂回できるツールをモデルへ見せない構成が考えられる。
状態の順序を設計するときは、単に確認画面を一度出せばよいわけではない。
どの変更を、誰が、どの内容で確認したかを、次の実行へ結び付ける必要があるよ。
金額や対象が変わった後に、以前の確認を再利用しないようにしたいね。
たとえば予約変更で日付の確認を得たあと、モデルが別の便へ変えるなら、同じ『確認済み』状態のままでよいかを考えてみよう。
確認という名前の段階は通っていても、承認した内容と実行する内容が違えば、守りたい目的から外れる。
順序と内容の対応を両方見る理由だよ。
私は、中断と再開も手順の中へ含めたい。
通信が切れたときにどの段階から再開するか、確認が期限切れなら戻すか、実行済みの操作を再び行わないかを決めるんだ。
正常な一本道だけでなく、途中で戻る場合を描くと、必要な状態が見つけやすい。
ツールを画面から隠すことと、実行時に拒否することも区別しよう。
モデルへ提示しなくても、別の経路から呼べるなら順序を迂回できるかもしれない。
実際に作用する手前で、現在の状態と許可を確かめる処理があるかを確認したいね。
権限の考え方を押さえたいときは、読む・編集する・削除する操作を分けるところから確認できるよ。
AIに社内ツールを任せる前に、読む・編集する・削除する権限を分けようを続けて読んでみてね。
Web・エージェント ID:BotをUser-Agentではなく要求署名で識別
Webへアクセスする自動プログラムは、名乗った名前だけで識別できるかな? 要求そのものへ署名を付ける提案を見てみよう。
10月29日更新のWebBotAuth HTTP Message Signatures -01は、自動クライアントがHTTP 要求へ署名し、Signature-AgentからJWKS形式の公開鍵ディレクトリを発見する仕組みだよ。
Web Bot Auth WGの初期Internet-Draftで、RFCではない。
ナギの解説(考察): 要求署名は運営主体を識別する手掛かりだけど、本人の同意やエージェントへの委任、要求内容の正当性まで証明しない。
method、path、query、body digestを署名対象へ含め、短い有効期限とNonce検証を別に設計しよう。
要求へ署名を付けるときは、署名が守る範囲を具体的に読む必要がある。
誰の鍵で署名したかだけでなく、どの操作や対象が署名の対象になっているかが重要なんだ。
一部だけが保護されている場合、保護されていない値まで同じ保証があるとは考えないようにしよう。
たとえば宛先と本文が別々に扱われる依頼では、本文が変わらなくても、宛先が変われば意味が変わるよね。
HTTPの要求でも、送る先、要求する操作、内容の対応を確かめる必要がある。
私は、どの値を変えたら署名の検証が失敗するかを試して、保護範囲を確認したい。
鍵を探すための通信も、入力された参照先を無制限に取得してよいわけではない。
取得できる相手や応答の大きさ、時間をどう制限するかを、受信側の設計として考えよう。
認証の材料を集める処理が、別の負荷や通信の問題を生まないようにする視点だよ。
正しく署名された要求でも、相手にそのデータを渡してよいかは別に判断する。
署名を確認した結果を、アクセスの許可条件へどう渡すかまで設計しておきたいね。
認証の成功を、すべての要求の承認へ広げないことが大切なんだ。
インフラ:NTPv5は古い運用モードを捨てる
通信の仕様を見直す際には、利用できる機能を減らして、攻撃に使われ得る経路を整理する考え方もあるよ。
ナギの解説(考察): NTPv4を今すぐ置き換える段階としては扱わないでね。
まず台帳でLegacy Modeの利用を洗い出し、使う版の交渉、NTS、監視、時刻補正の実装を含めた相互運用テストを準備しよう。
使う機能を減らす移行では、まず今どの経路がその機能に頼っているかを調べたい。
設定ファイルに名前があることと、実際の通信で使われていることは同じとは限らないよね。
設定と観測を照合して、使っていない機能と、止めると困る機能を分けてみよう。
時刻の同期は、利用者から普段見えにくいけれど、ログの順番を調べたり、有効期限を確認したりする場面に関係する。
だから変更の試験では、時刻を取得できたことだけで終えず、関連する処理が想定どおり動くかも見る必要がある。
これは移行の影響を整理するための視点だよ。
私は、新旧の実装が混在する期間と、同期先へつながらない期間を分けて試したい。
どの条件で以前の方式へ戻り、どの条件で停止するかを記録すれば、接続できたという結果だけでは見えない動作を追える。
監視が示す版と、実際の通信が合うかも確かめよう。
草案の改訂が進む間は、評価に使った版を残しておくと後から比較しやすい。
新しい版が出たときに、変わった要件に関係する試験を選べるからだね。
将来の移行準備と、今の運用を直ちに置き換える判断は、分けて進めよう。
ID・プライバシー:必要な属性だけを、提示同士を結び付けにくい形で証明する
証明を相手に示す場面では、必要な属性だけを伝えつつ、別の提示と結び付けられにくくする仕組みも検討されている。
10月29日更新のBBS Signatures -14は、複数属性への一つの署名から必要な属性だけを選択開示し、未開示情報や元署名を見せずに証明を生成する。
証明同士は関連付けにくく、Nonceや利用先をpresentation_headerへ結び付けられる。
これはCFRGのActive Research Group Documentで、IETF標準として承認済みではない。
ナギの解説(考察): 年齢や資格を必要な属性だけで示しても、同じヘッダーや識別子から関連付けられないかは確認が必要だよ。
検証者ごとの利用先、Nonce、有効期限を証明へ結び付け、相関の鍵になる情報が残らないか見てね。
選択して開示する仕組みは、何を証明したいかを先に決めて使うと理解しやすい。
資格があるかだけを知りたい相手へ、証明書のすべての情報を渡す必要があるかを考えるんだ。
出せる情報を全部出すのではなく、判断に必要な範囲を整理してみよう。
ただし、開示する属性が少なくても、その組合せから特定の人だと分かる場合は考えられる。
珍しい資格と所属など、値そのものが識別の手掛かりになるかもしれない。
暗号の証明が関連付けにくいことと、公開した内容から何も推測できないことは別なんだ。
私は、証明の生成だけでなく、検証後にサービスが何を保存するかも確認したい。
利用目的を満たしたあとに、提示した属性や識別子が長く残れば、別の利用履歴と結び付く可能性がある。
最小限の提示を、最小限の記録へつなげる運用が必要だね。
自分たちの規則を一つ選び、どの境界で検査すべきかを書き出してみよう。
ナギの用語メモこの記事の 14 語
気になった言葉の意味を、ここで振り返ってみましょう。
- AIエージェント
- ここでは、目的に向けて手順を選び、道具を使って作業するAIの仕組みを指す。作業を任せる相手にも、操作できる範囲と確認が必要な場面を決めておく。
- HTTP
- ブラウザーとWebサーバーなどが、ページやデータを要求・応答するための通信の決まりだよ。「これをください」「この内容です」という往復の形式を定める。
- プロトコル
- 通信で使う手順や形式の決まりだよ。お互いに通じる言葉だけでなく、どちらが何をいつ送るかも合わせた会話のルールだよ。
- 「何をしてよいか」を決めることだよ。社員証を持つ人でも、入れる部屋は役割によって違うね。データや操作ごとに許可を確かめる。
- 資格情報
- 身元や資格などを確かめるための情報だよ。パスワード、証明書、資格を示すデータなど、文脈によって形が異なるので、何を指すかを確認しよう。
- サーバー
- 要求を受け取り、データや処理結果を提供する側の仕組みだよ。必ずしも一台の物理的な機械を指すとは限らない。
- クライアント
- サービスへ要求を送って利用する側のアプリなどだよ。注文する側をクライアント、受け付けて応答する側をサーバーと考えてみよう。
- WG
- Working Groupの略で、特定のテーマを扱う作業部会だよ。ここでは主にIETFなどで、仕様の検討を進めるグループを指す。
- Internet-Draft
- IETFで検討するための作業中の文書だよ。提案は変更や失効があり、公開されていても標準として確定したことにはならない。
- RFC
- インターネットの技術などを記録する文書の系列だよ。標準だけでなく、実験や情報提供の文書もあるため、文書の区分も確認しよう。
- ハッシュ
- データから一定の手順で短い値を計算する仕組みだよ。データの指紋のように変更を確かめる用途がある。元の内容を隠す暗号化とは別のものだよ。
- nonce
- 同じやり取りの使い回しを見分けるためなどに使う、一度きりの値だよ。注文ごとに違う受付番号を付けるイメージだけど、具体的な条件は仕様によって異なる。
- 認証
- 「誰なのか」を確かめることだよ。入口で社員証を確認する場面を思い浮かべてみよう。どの部屋へ入ってよいかは、別の「認可」で決める。
- IETF
- インターネットで使う技術の仕様などを議論し、標準化を進める場だよ。提案が出た段階と、標準として合意された段階を分けて読もう。
たとえ・補足を読む
出典資料
出典・参考資料
- Heads of Security: Learned Attention Gates Improve Prompt Injection Robustness arxiv.org
- Concordat: Typed Sessions for LLM Agents arxiv.org
- HTTP Message Signatures for automated traffic datatracker.ietf.org
- Network Time Protocol Version 5 datatracker.ietf.org
- The BBS Signature Scheme datatracker.ietf.org
