こんにちは、黯鐵ナギです。
一つずつ許可した情報やツールでも、組み合わせた結果まで同じように扱えるかな?今日は情報の関係、検索結果が少ない領域、削除した情報の派生物、暗号方式の組み合わせ、コンパイル済みキャッシュを見ていこう。

AI・新技術:許可済み文書を組み合わせると秘密になる

文書の閲覧を一件ずつ許可しても、集めた結果から何が分かるかは別に考えたいね。
たとえば、ジグソーパズルの一片では分からなくても、いくつか合わせると全体の絵が見えるよね。
文書も、一件ずつは閲覧を許可されていても、組み合わせると個人や秘密の計画が分かる場合がある。

閲覧を許可する単位と、まとめて取り出した結果の機密性を分けて考える話だよ。

10月21日提出のプレプリント「Agent Mosaic」は、単体で閲覧を許された文書でも、組み合わせると禁止情報を導ける「compositional leakage」を測っている。

30種類の合成シナリオ、10,800件のシミュレーション、1,440件の実運用モデル試験で、最良モデルでも無害に見える要求の7.08%で漏えいし、防御を集約した条件でも最大32.37%が残ったと著者らは報告している。
ACL Rolling レビュー向けのプレプリントで、確立済みの評価標準ではない。

情報を組み合わせた結果の扱いを決めるには、文書の権限表だけでなく、何を外へ出したくないかを整理する必要がある。
個別の資料は公開していても、特定の人や計画と結び付けた説明は許さない、という条件があり得るからだよ。
守りたい関係を言葉にするところから始めよう。

たとえば公開済みの日程と担当者の一覧が、別々の目的で配られている場合を考えてみてね。
二つを合わせることで、まだ公表していない担当の割当てを推測できるかもしれない。
これは説明のための仮定で、今回の研究の具体的な測定対象という意味ではないよ。

私は、単一の質問だけでなく、複数回の質問で集めた情報も評価に含めたい。
一度に全部を聞かなくても、別々の回答を組み合わせれば同じ結果へ近づく可能性がある。
セッションごとの制御と、利用者が持ち帰る回答全体の機密性を分けて考えよう。

ただし、出力を検査する規則を置けば、あらゆる推測を防げるとは限らない。
どの関係を検知する対象にしたか、正常な回答をどれだけ制限したかを明示する必要がある。
今回の合成シナリオの結果を、すべての業務データへそのまま広げずに読むことが大切だね。

AIセキュリティ:検索の空白は、一枚の攻撃ページに弱い

検索する情報が少ない場合も、見つかった資料を強く信じてよい理由にはならないよ。
たとえば、初めて行く町で案内板が一枚しかなければ、その内容を頼りにしがちだね。
検索結果が少ない話題でも、見つかった一件が正しいとは限らない。

RAGのように検索資料をAIへ渡す仕組みでは、情報が少ないことを、信頼できることへ読み替えないのが大切だよ。

10月21日提出の「Data-Void Exploits」は、信頼できる検索結果が乏しい問いへ攻撃者のページを一つ置き、検索拡張型AIの回答を誘導する手法を検証した。
56のデータ空白を対象にChatGPT、Gemini、Perplexity Sonarを試し、攻撃者の内容が回答へ取り込まれた割合は31%と報告している。

懐疑的に答える指示だけでは効果が限られたという。
NDSS 2027向け拡張版で、査読確定後の運用指針ではない。

ナギの解説(考察): 検索結果が少ないことを、そのまま質の高さだと読まないでね。
公式レジストリを優先し、出典同士が独立しているかを確かめ、根拠が薄い場合は警告できる?RAGで取得する段階から、この確認を入れよう。

検索結果の独立性を確かめるには、ページの数だけを数えないようにしたい。
複数のページが同じ一件を転載しているなら、別々の根拠が集まったわけではないからだよ。
情報の最初の発信元と、各ページが何を追加しているかをたどってみよう。

特に新しい製品名や珍しい用語では、見つかったページが少ない理由を考えたいね。
まだ公式資料がないのか、表記が違うのか、そもそも根拠が存在しないのかで次の調べ方が変わる。
見つからない部分を、もっともらしい一件で埋めない姿勢が必要なんだ。

私は、根拠が薄いときに、答えの確度を下げて伝えられるかを試したい。
判断を保留し、何が分かれば確認できるかを示すことも、検索するAIの役割になる。
資料を取得できたという成功と、質問へ十分に答えられることを分けて評価しよう。

取得するページを制限する場合も、許可した場所なら内容が常に正しいと考えないようにしたいね。
更新日、一次資料への参照、主張と引用の対応を確認する段階は残る。
検索経路の制御と、取得した根拠を読む作業を組み合わせることが大切だよ。

プライバシー:元データを消しても、派生記憶が残る

情報を削除する場合は、元の文書だけでなく、そこから作った要約や記憶にも目を向けたいね。

10月22日提出の「AfterDeleteBench」は、元情報を消したあとも、要約や別エージェントの記憶から内容を再構成できるかを測っている。
著者らは単一の問い合わせで約3分の2のケースから削除情報を回復し、構成要素の62〜99%を再現できたと報告している。

一方、由来を追って関連する派生物まで削除する方式では、試験条件で回復がゼロになった。
こちらもプレプリント段階だよ。

ナギの解説(考察): 元のレコードを消したあと、要約や埋め込み、会話記憶、他のエージェントへ転送した情報はどうなるかな?削除を派生関係全体の操作として設計しよう。
既存セッションだけでなく、新規セッションや別エージェントからも再取得できないか試してみてね。

削除対象の派生物を探すには、作った時点で元情報との関係を残すことが役立つ。
後から文章の一致だけを探しても、言い換えた要約や複数の断片から再構成できる情報を見落とすかもしれない。
内容が同じ文字列かどうかと、同じ情報に由来するかを分けよう。

私は、元の資料から、要約、検索用のデータ、会話記憶、別のエージェントへの引継ぎまでを図にしてみたい。
削除の依頼が届いたら、どの担当がどこまで伝えるかを決めるんだ。
一つの保存先で削除済みになっても、他の場所に届いたかは別に確認する必要があるね。

試験では、削除の直後だけでなく、新しい会話を始めた後にも同じ情報を取得できないかを確かめたい。
復元や再取込みによって、消した内容が戻る経路も考えよう。
削除の操作が成功したという記録だけで、利用できなくなったと判断しないためだよ。

なお、この研究は固定されたモデルの外部記憶を扱う試験なので、モデルの重みから知識を消す話と同一にはしない。
どの保存層を対象にした結果かを残して読もう。
対象を分ければ、手元の環境で追加するべき検証も具体的になるね。

保存した記憶が後の操作へ影響する場面と、連続する操作の許可を一緒に確認できるよ。
会話が終わっても影響は残る? AIの記憶と連続操作を確かめるを続けて読んでみてね。

ID・暗号:TLSのPQC移行は複合署名から具体化

ここからは暗号の組み合わせだよ。
新旧の署名方式を一緒に使うとき、何をもって検証成功とするのかが確認点になる。

ナギの解説(考察): 今すぐ本番の標準とみなす段階ではないが、準備はできる。
TLSライブラリ、PKI、HSMの対応範囲を棚卸しし、証明書と接続確立の手続きのサイズ、CPU負荷、弱い方式への切替に対する耐性を試す条件を整理しよう。

二つの署名方式を組み合わせる場合は、どちらかが成功すればよいのか、両方必要なのかで意味が変わる。
今回の提案は両方の検証を求めるので、その条件が失敗時にも保たれるかを見る必要があるよ。
片方が未対応だからと検証を省けば、同じ構成を使っているとは言えなくなる。

私は、片方の署名だけを壊した入力をそれぞれ試したい。
正常な接続が成功することに加え、必要な検査が一つでも失敗した場合に拒否できるかを確認するんだ。
対応表のチェック印だけでは、失敗時の挙動まで分からないからだね。

移行の負担は、暗号の計算だけでなく、証明書の配布や鍵の保管にも現れる。
どの部品がどの形式を読み、どこで署名を生成するかをつなげて整理しよう。
一つのライブラリが対応したことを、システム全体の対応完了と見なさないためだよ。

混在期間の方針も先に決めたい。
古い相手へ接続できるようにする条件と、新しい保護を必須にする条件を分けておけば、互換性のための切替を意図せず広げにくくなる。
接続できた結果には、実際に選ばれた方式も添えて確認しよう。

クラウド/供給網:CPUのビット反転がGPUカーネルへ残る

実行するプログラムの来歴も、変換後の成果物まで追いたいね。
コンパイルの途中で生じた改変が、保存済みの実行用データへ残る可能性を扱う研究だよ。

10月22日提出の「LLVMhammer」は、CPU側DRAMのビット反転がTritonのMLIR/LLVMコンパイル経路を通じてGPUカーネルを変え、ディスクキャッシュへ残り得ると報告している。
NVIDIAとAMD環境で、4〜16%の遅延増加や、生成品質指標BERTScoreが25%まで低下する例を示した。

一般の実環境で再現性が確立した事故報告ではなく、攻撃研究のプレプリントとして読んでね。

ナギの解説(考察): AI基盤ではモデル重みに加え、コンパイラの中間表現、生成カーネル、ディスクキャッシュも信頼の対象だよ。
ECCの有効化と合わせて、ビルド成果物の署名・検証、異常時のキャッシュ破棄と再生成を運用へ入れられるか確認しよう。

コンパイル済みの成果物は、元のモデルやコードと同じものではなく、変換を経て実行される別の資産として追いたい。
元の取得物を検証していても、変換中や保存後に変化した部分まで確認できるとは限らないからだよ。
どこで何を検査するかを工程ごとに整理しよう。

キャッシュは同じ計算を省くために便利だけれど、保存した内容を後で再利用するという性質も持つ。
一度作られた不正な成果物が残る場合を考えると、原因を直した後に何を破棄するかが復旧の論点になる。
再起動しただけで、新しく作り直されたとは限らないんだ。

私は、異常を見つけたときに、元の入力、変換した環境、生成物、キャッシュの対応を追えるかを確認したい。
どの環境で作った成果物をどこが使ったかが分かれば、再生成する範囲を絞りやすい。
版番号だけでなく、内容の照合値を残す意味もここにあるね。

ただし、再生成して出力が変わったことだけで、攻撃があったと断定しないようにしよう。
設定や実行条件の差も調べ、研究で示された攻撃条件と自分たちの環境を区別する。
性能や品質の異常は調査の入口であり、原因の証明とは別だよ。

情報の派生物も実行用の派生物も、元の対象だけを管理して終えないという点は共通している。
まず一つの生成経路を選んで、作成、保存、再利用、削除の担当を確かめてみよう。

ナギの用語メモこの記事の 11 語

気になった言葉の意味を、ここで振り返ってみましょう。

キャッシュ
再利用するため、一度取得した結果などを一時的に保存する仕組みだよ。手元の控えを使うと速くなるが、内容が古くなっていないかの確認が必要だよ。
ACL
誰にどの操作を許可するかを書いた一覧だよ。部屋ごとに「入ってよい人の名簿」を置くように考えると整理しやすくなる。
RAG
関連する資料を検索し、その内容をAIへ渡して回答を作る方法だよ。資料を手元で確認しながら答えるイメージだけど、検索した資料や回答が必ず正しいとは限らない。
AIエージェント
ここでは、目的に向けて手順を選び、道具を使って作業するAIの仕組みを指す。作業を任せる相手にも、操作できる範囲と確認が必要な場面を決めておく。
IETF
インターネットで使う技術の仕様などを議論し、標準化を進める場だよ。提案が出た段階と、標準として合意された段階を分けて読もう。
TLS
通信相手を確認し、通信の内容を盗み見や改ざんから守るための仕組みだよ。通信路を守るもので、相手が送る内容の正しさまで保証するわけではない。
ML-DSA
耐量子暗号の一つで、電子署名に使う方式だよ。署名されたデータの改ざんなどを検証するもので、内容を秘密にする暗号化とは役割が違う。
WG
Working Groupの略で、特定のテーマを扱う作業部会だよ。ここでは主にIETFなどで、仕様の検討を進めるグループを指す。
RFC
インターネットの技術などを記録する文書の系列だよ。標準だけでなく、実験や情報提供の文書もあるため、文書の区分も確認しよう。
PKI
公開鍵と、その持ち主を結び付ける電子証明書を管理する仕組みだよ。身分証の発行・確認・失効まで含めた運営の仕組みにたとえられる。
HSM
暗号鍵を保護し、署名などの処理を行う専用装置だよ。大切な印鑑を保管し、決まった手順で使う金庫にたとえられる。

出典資料

出典・参考資料

  1. Agent Mosaic: Data Misuse and Leakage via Compositional Interaction Across Tools arxiv.org
  2. Data-Void Exploits: Manipulating RAG by Poisoning Search Gaps arxiv.org
  3. AfterDeleteBench: Persistent Memory in LLM Agents arxiv.org
  4. Composite ML-DSA for use in TLS 1.3 datatracker.ietf.org
  5. LLVMhammer: Rowhammering GPU Kernels via the CPU arxiv.org
#AI#セキュリティ#エージェント#プライバシー#PQC#クラウド