こんにちは、黯鐵ナギです。
秘密情報を守るとき、AIの出力を確認するだけで間に合うかな?今日は学習データ、記憶の検索、認可の各段階を見ていく。
研究中の提案と、Zimbraで確認された実侵害を分けながら、どこに境界を置くか考えよう。

AI・モデル安全:出力だけから秘密を探す攻撃

まず、AIの内部を直接見なくても、返答を手掛かりに秘密を探せるかという研究を見てみよう。
たとえば、封筒を直接開けられなくても、中身について繰り返し質問し、返事の違いから推測する場面を想像してみてね。

モデルでも、返答を何度も集め、その傾向から秘密の候補を絞る方法を考えているんだ。
APIは質問を送る窓口で、内部の詳しい数値を見せないことだけでは、回答に秘密が出ないとは言えない。

ただし未査読であり、公開文字列との一致は、その鍵が現在も有効だったことまでは意味しない。
論文の要旨と投稿履歴

ナギの解説(考察): 確率を返さないAPIでも、それだけで秘密抽出を防げるとは考えないでね。
学習・微調整・サポートデータに秘密が含まれていないかの検査、類似問い合わせの検知、見つかった鍵の失効を一つの運用として追ってみよう。
Git履歴から消すことと、その鍵を使えなくすることも別だよ。

ここで守りたい秘密は、公開してはいけない文章だけでなく、別のシステムを操作できる資格情報でもある。
漏れた文字列をモデルの出力から隠すことと、その資格情報を使えなくすることは別の作業だよ。
後者が必要な場合は、発行元での失効や更新まで進める必要があるね。

たとえば、鍵の写真を公開した後に写真を消しても、誰かが控えていたら鍵そのものは使えるままだよね。
APIキーでも、掲載元から削除しただけでは、すでに作られたコピーの有無を確かめきれない。
文字列の非公開化を、権限の無効化の代わりにしないことが大切なんだ。

学習や微調整の準備では、コードだけでなく、問い合わせ履歴、添付資料、実行ログなども確認対象になる。
普段の仕事では調査に役立つ記録でも、そのまま学習用の集合へ移してよいとは限らない。
どこから集め、何を除き、誰が確認したかを残したいね。

一方で、秘密らしい形式の文字列が出たからといって、実在する有効な鍵と決めるのも早いよ。
研究の結果と、自分の環境で確認できた事実を分けよう。
調査時には秘密候補を広く転載せず、正規の管理者が安全な方法で対応できるようにしたい。

私は、発見した後の連絡先と失効手順まで準備しておくことを勧めたい。
検査で見つける仕組みがあっても、どのサービスの誰が止めるか分からなければ対応が遅れる。
検出、確認、失効、利用履歴の調査を、一続きの運用として考えてみよう。

AI・アイデンティティ:記憶を閲覧者に結び付ける

保存した記憶を回答に使う場合も、今の読者がその情報を見てよいかを先に確かめたいね。
たとえば、社内の共有ノートでも、読む人によって見てよいページが違うよね。
AIの記憶も、保存できたことと、次の利用者へ見せてよいことは別だよ。

回答を書く前に参照する段階から、閲覧者の権限を確認する必要がある、という話だよ。

資料で確認できること: 別の9月28日投稿プレプリントは、エージェントの長期記憶ごとに「記録時の閲覧者」を持たせ、派生記憶では許可範囲を広げず、現在の全閲覧者に許された項目だけをモデルの文脈へ入れる設計を提案した。

1万件の複数参加者履歴を使った著者評価では、認可なしの検索は82%の文脈に禁止項目を混入させた一方、2種類の参照実装では混入ゼロだった。
保証は、本人確認、由来記録、すべての文脈経路を仲介できることが前提だよ。
論文と付属検証物

ナギの解説(考察): 回答へ出る前でも、閲覧を許可していない記憶がプロンプトへ入った時点で境界を越えてしまう。
本文と一緒に、所有者、共有範囲、派生元、権限変更履歴を残そう。
要約・キャッシュ・バックグラウンド処理にも、同じ認可が届くか確認してね。

閲覧者の条件が変わる場面を、二人の会話へ三人目が加わる例で考えてみよう。
二人だけに許された情報を、参加者が増えた後の説明へそのまま使ってよいとは限らない。
『同じ会話の続き』という理由だけでは、共有範囲を広げられないね。

要約を作った場合にも、元の情報の許可範囲が関わる。
制限付きの資料を短く書き直したからといって、その要約が自動的に公開情報になるわけではない。
派生元との対応を残すのは、あとから誰へ見せられるか判断するためだよ。

私は、検索結果をモデルへ渡す前に、現在の利用者や参加者の情報で対象を絞る設計を考えたい。
モデルへ全部渡してから『秘密は書かないで』と頼むより、そもそも参照してよい範囲を確定する。
そのうえで回答の内容も確認するんだ。

権限が取り消された後には、検索用の索引だけでなく、生成済みの要約やキャッシュにも目を向けよう。
今の利用者が新たに取得できなくなっていても、以前の処理から引き継いだデータが残っていないかを確かめたいね。

たとえば、全員が読める議事録と、担当者だけが読める見積書を混ぜて、AIが一つの要約を作ったとする。
あとから参加した人が議事録を読めても、その混合した要約をそのまま渡してよいとは言えないね。
見積書から価格や取引条件が取り込まれているかもしれないからだよ。

私なら、今の閲覧者が読める資料だけで要約を作り直す方法を検討する。
どの部分が制限付き資料から来たか追えない場合は、見た目に秘密らしい単語がないことを理由に共有しない。
本文を短くする処理と、共有してよい範囲を決める処理は、それぞれ必要なんだ。

ただし、保存済みデータの共有を制限しても、すでに人が読んだ内容まで取り消せるわけではない。
記憶を扱う仕組みの役割は、今後どの処理へ渡すかを制御することとして整理し、できないことまで保証しないようにしよう。

保存した記憶が後の操作へ影響する場面と、連続する操作の許可を一緒に確認できるよ。
会話が終わっても影響は残る? AIの記憶と連続操作を確かめるを続けて読んでみてね。

ID管理・耐量子暗号:Kerberosの初期認証へML-KEM

認証の暗号移行でも、どの段階で新しい方式を使い、どう鍵を作るかを確認しよう。

資料で確認できること: 9月30日更新のInternet-Draft -02は、Kerberosの証明書ベース初期認証PKINITで、ML-KEMを使って応答鍵を確立する拡張を定義する。
KDCが暗号方式と暗号文を署名し、HKDF-SHA-512で鍵を導出するほか、ダウングレード防止規則も含む。

ナギの解説(考察): 耐量子移行の一覧に、企業内の認証も入っている?KDC、クライアント、証明書、パケットサイズ、旧方式との共存をまとめて見てみよう。
今回の草案はまだ初期段階なので、まず依存関係を整理し、相互運用試験を準備する材料として読んでね。

Kerberosは、利用者やサービスがネットワーク上で認証を行う仕組みで、KDCはその中心となる認証基盤だよ。
今回は、その最初の認証で使う鍵の取り決めを変える提案として読むと、移行の対象を整理しやすい。
すべての通信が一度に新方式へ変わる話ではないんだ。

たとえば、会社の受付で受け取る入館証の発行手順を変えても、各部屋の利用規則が自動で変わるわけではないね。
暗号移行でも、初期認証の鍵交換と、その先のサービスの認証や権限は分けて見る必要がある。

ML-KEMを使うという名前だけで確認を終えず、どの鍵がどの処理で作られ、どこへ渡るかを追ってみよう。
証明書や署名、既存方式との組み合わせも関わるので、一部分の対応を全体の耐量子性として説明しないことが大切だよ。

旧方式と共存する試験では、新方式が使えなかったときの挙動を確かめたい。
接続の成功を優先して、意図せず弱い条件へ戻っていないかを確認する。
拒否した場合も、互換性の問題なのか、設定不足なのかが分かる記録がほしいね。

私なら、利用しているクライアント、KDC、証明書の管理元、途中のネットワークを一覧にする。
対応状況と更新担当者を把握してから、試験対象を選ぶんだ。
草案の段階では、導入を急ぐより、どこが依存しているかを知ることにも価値があるよ。

セキュリティ事故:Zimbraは更新後も遡及調査が必要

ここからは、実際の悪用が報告されたメール基盤の問題だよ。
更新と、更新前に侵害がなかったかの調査を分けて考えたい。

資料で確認できること: Microsoftは9月30日、Zimbra Collaboration SuiteのSNMP通知経路にある認証不要のOSコマンド注入 CVE-2026-73570 の実悪用を公表した。

細工したSMTP要求からWebシェル、権限昇格、永続化へ進み、LDAPやMySQLなどのサービス資格情報、事前認証鍵、認証トークン鍵、2要素認証用秘密、メールデータの収集も複数環境で確認されている。
修正版10.1.20は7月20日に公開済みだよ。
Microsoftの攻撃分析と対策

ナギの解説(考察): 対象環境では、更新と侵害調査を分けて進める必要がある。
この記事の確認時点では10.1.20以降への更新、未対応時のSNMP通知停止が確認点だよ。
全メールボックスノードのWebシェル、未知のsystemd・cron、外向き転送を遡って調べ、認証鍵とサービス資格情報のローテーションも含めて対応を確認しよう。

更新後に調べる理由は、弱点をふさいでも、侵入時に残されたものが別に存在する可能性があるからだよ。
Webシェルは、Web経由で操作を続けるために置かれる不正なプログラムの一種として考えてみてね。
元の弱点を直すことと、その残留物を取り除くことは別の確認になる。

また、サービス資格情報や認証用の鍵が取得された可能性を考えるなら、サーバー内だけを調べて終わりにはできない。
どのサービスへ使える情報かを整理し、その先の認証や操作の記録も確認する必要がある。
影響を調べる範囲は、機器の台数だけで決まらないんだ。

ここで、疑わしい機器を急いで初期化する前には、調査に必要な記録をどう保全するかも検討したい。
対応の優先順位は被害の進行や業務の事情で変わるので、現場の責任者や対応担当と決める。
この記事の説明だけで一律の手順を断定するものではないよ。

私は、更新した版と時刻、調査した期間、確認したノード、残っている疑問を分けて記録したい。
一部のノードだけを調べた結果を、構成全体で問題がなかったという説明へ広げないためだね。

実際の対応時には、Microsoftや製品提供元の最新の案内を確認してね。
ここに書かれた版や状況は記事の確認時点のものだよ。
過去の記事を読む際も、その時点の事実と、現在の環境に必要な対応を分けて考えることが大切になる。

今日の判断

すべてを一度に変える必要はない。
まず、秘密を保持する場所から、それを使える処理まで一本の流れを描いてみよう。
途中で所有者や用途が分からなくなる場所があれば、そこが次の点検対象になるね。

今日は、出力を見てからでは遅い場面を確認した。
あなたの環境でも、「どの入力が、誰の権限で、どこまで伝わるか」を追ってみてね。
AIの学習データや記憶、認証方式、メール基盤で扱う秘密について、後段へ渡る前の確認点を見つけていこう。

ナギの用語メモこの記事の 13 語

気になった言葉の意味を、ここで振り返ってみましょう。

認可
「何をしてよいか」を決めることだよ。社員証を持つ人でも、入れる部屋は役割によって違うね。データや操作ごとに許可を確かめる。
API
ソフトウェア同士が機能やデータをやり取りするための窓口だよ。お店の注文窓口のように、頼めることと頼み方が決まっている。
大規模言語モデル(LLM)
大量の文章などから言葉のつながりを学び、文章を生成するAIモデルだよ。自然な返答でも事実と違うことがあるため、重要な内容は根拠を確かめよう。
APIキー
APIの利用元を識別するための値だよ。持っているだけで利用できる場合もあるので、秘密にすべきキーは公開記事や画面へ載せないようにしよう。
資格情報
身元や資格などを確かめるための情報だよ。パスワード、証明書、資格を示すデータなど、文脈によって形が異なるので、何を指すかを確認しよう。
AIエージェント
ここでは、目的に向けて手順を選び、道具を使って作業するAIの仕組みを指す。作業を任せる相手にも、操作できる範囲と確認が必要な場面を決めておく。
キャッシュ
再利用するため、一度取得した結果などを一時的に保存する仕組みだよ。手元の控えを使うと速くなるが、内容が古くなっていないかの確認が必要だよ。
認証
「誰なのか」を確かめることだよ。入口で社員証を確認する場面を思い浮かべてみよう。どの部屋へ入ってよいかは、別の「認可」で決める。
Internet-Draft
IETFで検討するための作業中の文書だよ。提案は変更や失効があり、公開されていても標準として確定したことにはならない。
ML-KEM
耐量子暗号の一つで、通信相手と共通の秘密を共有するための方式だよ。電子署名を行うML-DSAとは用途が違う。
IETF
インターネットで使う技術の仕様などを議論し、標準化を進める場だよ。提案が出た段階と、標準として合意された段階を分けて読もう。
クライアント
サービスへ要求を送って利用する側のアプリなどだよ。注文する側をクライアント、受け付けて応答する側をサーバーと考えてみよう。
サーバー
要求を受け取り、データや処理結果を提供する側の仕組みだよ。必ずしも一台の物理的な機械を指すとは限らない。

出典資料

出典・参考資料

  1. Practical Secrets Extraction against Black-box LLMs arxiv.org
  2. Audience-Bound Persistent Memory arxiv.org
  3. Post-quantum Key Encapsulation with ML-KEM in PKINIT datatracker.ietf.org
  4. Microsoft Security Blog: CVE-2026-73570 www.microsoft.com
#AI#セキュリティ#アイデンティティ#耐量子暗号