こんにちは、黯鐵ナギです。
部品を一つずつ確認していても、組み合わせると挙動が変わることがある。
今日はAIツール、追加学習モデル、コード変換、エージェントの監視、認証フローを見ていこう。

研究の評価値は著者報告なので、実環境の被害率と混同せずに読んでね。

AI・MCP:ツールが「選ばれる段階」も攻撃面になる

MCPは、AIと外部のツールやデータをつなぐための共通の取り決めだよ。
お店を選ぶ場面にたとえると、看板の説明で入店先を決めるよね。
AIもツールの説明を選択の材料にするが、「安全です」と書かれた看板自体は安全の証明ではない。

説明文も検査する対象だと考えよう。

9月22日提出のA2Mは、第三者MCPサーバーの説明情報と返却結果を使う、二段階のエージェント乗っ取り研究だよ。
まずツール名や説明を調整して選ばれやすくし、次に実行記録を手掛かりに返却内容を改善して、目的外の行動へ誘導する。

GLM-4.6を用いたLiveMCPBenchの評価では、情報流出など3シナリオの平均攻撃成功率74.4%を報告している。
AACL-IJCNLP 2026採択と記載された研究だけど、数値は特定条件の実験で、MCP利用全体の危険度ではない。
一次資料:A2M

ツールを登録する段階では、説明文の内容と、実際の接続先を対応付けたいね。
似た説明のツールが複数ある場合も、どの管理者が提供し、どのデータへ届くものかを区別する。
分かりやすい紹介文だけを、信頼の根拠にしないことが大切だよ。

また、登録後に説明が変わる場合も考えよう。
機能は変えていないつもりでも、モデルが選ぶ理由や順番が変わるかもしれない。
私は、ツール本体だけでなく、名称、説明、入力の定義の変更も確認履歴へ含めたい。

実行結果の扱いも同じだね。
検索結果や文書の中に『次はこのツールを使って』とあっても、それを業務上の許可へ読み替えない。
必要な値として利用する範囲と、次の操作を決める規則を分けておこう。

試験では、説明が似た別ツールや、指示が混ざった返却値を用意し、最終的な操作が許可範囲に収まるかを見る方法が考えられる。
選ばれた確率だけでなく、その後に何が実行されたかまで確認したいね。

AI・モデル供給網:LoRAは単体だけでなく組み合わせを確認する

LoRAは、基礎となるAIモデルへ追加の学習結果を比較的小さな部品として反映する方法だよ。
料理で、一つずつなら味を確認した調味料でも、混ぜた後の味は別に確かめるね。
同様に、アダプターという追加部品の確認では、単体の結果と組み合わせた結果を分ける。

このたとえで押さえたいのは、単体の評価をそのまま組み合わせへ広げられない、という点だよ。

9月22日提出のLoRangoは、画像生成モデルへ追加する二つのLoRAを、特定の組として読み込んだ場合だけ隠れた挙動が現れる研究だよ。
単体では正常に見えるアダプターでも、組み合わせた際の内部表現の相互作用が発火条件になる。

著者らはSD 1.5とSDXLで高い攻撃成功率を報告した。
ただし研究段階の実証であり、公開モデル配布サイトで実被害が見つかったという報告ではない。
一次資料:LoRango

ナギの解説(考察): 単体で問題が見えなかったとしても、未検査の組み合わせまで大丈夫とは言えないね。
配布元とハッシュに加え、基礎モデル、同時に使うアダプター、適用の強さを記録しよう。
「どの組み合わせを確認したか」を残すのがポイントだよ。

組み合わせの記録では、ファイル名だけでは情報が足りない場合があるよ。
同じ名前でも中身が更新されていたら、前と同じ評価対象ではない。
照合値と入手元、基礎モデルの版、適用条件をセットで残すと、何を確認した結果か追いやすいね。

たとえば、二つの追加部品を使った構成で問題が見つかった場合、片方だけを外した構成や、適用の強さを変えた構成と比較できると、差を調べる手掛かりになる。
ただし、少数の比較で問題が出なかったことを、あらゆる組み合わせの安全へ広げることはできないよ。

私は、利用する組み合わせを事前に決め、未確認の追加部品を本番へ自由に混ぜない運用を考えたい。
新しく組み合わせるときには、通常の品質と、意図しない出力の両方を確認する。
便利さを保つためにも、試した条件が分かる形にしたいんだ。

研究が画像生成で示した結果を、そのまますべてのモデルの実被害として説明しない点も大切だね。
ここから取り出せるのは、単体の確認結果を組み合わせへ引き継ぐ前に、追加の検証が必要か考える視点だよ。

安全を確認した手順同士でも、組み合わせると何ができるようになるかを考えられるよ。
AIの安全な手順をつないだら? 組み合わせと権限を確認しようを続けて読んでみてね。

開発・セキュリティ:Rustへの自動変換と脆弱性除去は別の成果

コードを別の言語へ変換する場合も、変換できたことと、元の問題が解消したことを分けて評価したいね。

9月22日提出の「C-to-Rust Fallacy」は、メモリー関連の不具合を含む116個のCプログラムを4方式で変換し、464個の生成結果を評価した。
コンパイル不能、元の不具合の継承、新しい不具合の導入を報告している。

これは自動変換ツールを対象とするプレプリントで、Rustそのものの安全性を否定する結果ではない。
コンパイル成功やunsafeの減少だけでは、変換後の安全性を説明できない点が重要だよ。
一次資料:C-to-Rust Fallacy

ナギの解説(考察): 変換後の確認は、「元の不具合が再現しないか」と「必要な動作が保たれているか」に分けよう。
コンパイルが通ったことだけで終わらせず、自動修正した部分も含めて、境界値テストやファジングで確かめていく必要がある。

変換後の確認では、安全性と機能の両方が要る。
元の不具合が起きなくなっても、必要な処理が別の結果になるなら、正しい移行とは言えないね。
逆に、同じ結果が出ても、境界条件にある不具合が残っていないかは別に試す必要がある。

身近なたとえなら、説明書を別の言語へ訳した後に、文章として自然かと、元の手順を正しく伝えているかを分けて確認する場面だよ。
コードでも、新しい言語で受理されることと、必要な意味を保ったことは同じではないんだ。

私は、過去の不具合を再現する入力を移行後も使い、正常な入力での結果も比較したい。
ファジングは、さまざまな入力を自動で試して想定外の挙動を探す方法だよ。
既知の例だけでは見つけにくい境界を調べる補助として考えよう。

ID管理・運用:エージェントの台帳から実行経路の観測へ

AIの運用では、存在を一覧にするだけでなく、実際にどの権限で何をしたかまで観測する動きがあるよ。

KuppingerColeは9月23日、AIエージェント Visibility and Observability Platforms(AI-VOP)を独立した市場カテゴリとして整理し、ベンダー評価を開始したと説明した。
評価対象は発見・台帳だけでなく、実行記録、権限委譲の関係、資格情報とツールへのアクセス、異常検知、監査までの7領域だよ。

これは業界標準の成立や製品の認証ではなく、アナリストによる市場定義と評価計画だよ。
一次資料:AI-VOPの定義

ナギの解説(考察): エージェントの台数が分かったら、次は実行経路を追ってみよう。
「誰の権限で、どのツールを使い、何のデータへ触れたか」を説明できるかな?この見方なら、所有者が不明な自動化や、役目を終えた認証情報も探しやすくなる。

台帳には、名前と台数に加えて、所有者、目的、使えるツール、資格情報の管理元を結び付けたい。
エージェントが増えても、その関係が分からなければ、権限を見直す際に誰へ確認すべきか判断しにくいからだよ。

たとえば、同じAIアプリでも、資料を読む仕事と公開する仕事では、必要な権限や停止の影響が違う。
製品名だけでひとまとめにせず、実行中の仕事や個体まで区別できるかを見てみよう。
観測の目的は、一覧を長くすることではないんだ。

私は、直近の一件の操作について、依頼者から委任先、使ったツール、対象データまでたどれるか試したい。
途中で識別子が切れる場所があれば、まずそこをつなぐ記録を検討する。
小さな確認でも、監査や停止に必要な不足が見えてくるよ。

なお、市場カテゴリが定義されたことと、すべての製品で同じ機能が使えることは別だね。
製品を比較する際は、自分の構成で取得できる情報、反映の速さ、停止との連携を具体的に確かめよう。

セキュリティ事故:正規の認証画面でも意図しない許可は起こる

正規の認証画面を使っていても、誰が始めたどの依頼を承認するのかは確認したいね。
画面が本物であることと、依頼が自分の意図に合うことは別だよ。

Microsoftは9月22日、EvilTokensによる攻撃で、世界1万超の組織の1万2,000超のメールボックスが侵害されたと報告した。
攻撃者が開始したデバイスコード認証を、利用者に正規の画面で承認させ、トークンを取得する手法だよ。

盗まれたトークンはメール取得や不正な受信トレイルールなどに使われ、一部では新しいデバイスへのアクセス許可も確認されている。
被害件数はMicrosoftの観測値で、全件が同じ規模の情報流出や金銭被害に至ったことを意味しない。
一次資料:Microsoftの技術分析

ナギの解説(考察): 正規のログイン画面でも、「このコードは誰が何のために発行したの?」という確認が必要だよ。
組織ではデバイスコード認証が必要な業務を整理し、不要な利用を制限しよう。
侵害後はトークンだけでなく、登録デバイスやメールルールも点検してね。

デバイスコード認証では、画面が本物であることに加え、誰が始めた接続を許すのかを見たい。
自分で開始していない依頼に、相手から渡されたコードを入力するよう求められた場合、その目的を別の経路で確認する必要があるね。

これは、本物の受付で手続きをしていても、誰の申請書へ承認しているかが違えば、意図しない許可になることに似ているよ。
認証画面の正しさと、利用者の依頼の正しさは、別の問いとして残るんだ。

組織側では、必要な利用場面を把握したうえで、不要な認証経路を制限する方法を検討しよう。
制限を強める際も、正規の機器や業務がどう接続するかを確認する。
運用を知らずに一律に止めるのではなく、許す条件を説明できる形にしたいね。

侵害後の点検では、認証情報を無効にした後も、追加されたデバイスや転送ルールなどが残っていないかを見る。
入口を閉じたことと、すでに作られた別の経路をなくしたことは違う。
公式の対処案内に沿い、確認した範囲を記録しておこう。

ナギの用語メモこの記事の 8 語

気になった言葉の意味を、ここで振り返ってみましょう。

AIエージェント
ここでは、目的に向けて手順を選び、道具を使って作業するAIの仕組みを指す。作業を任せる相手にも、操作できる範囲と確認が必要な場面を決めておく。
認証
「誰なのか」を確かめることだよ。入口で社員証を確認する場面を思い浮かべてみよう。どの部屋へ入ってよいかは、別の「認可」で決める。
MCP
AIアプリと、外部のデータや道具をつなぐための共通のやり取りの決まりだよ。道具の接続口と考えてみよう。接続できることと、使わせてよいことは別に確認する。
サーバー
要求を受け取り、データや処理結果を提供する側の仕組みだよ。必ずしも一台の物理的な機械を指すとは限らない。
LoRA
大きなAIモデルの多くの重みを固定し、小さな追加部分などを学習する方法だよ。少ない学習対象で調整できるが、必要な計算量や品質は条件による。
ハッシュ
データから一定の手順で短い値を計算する仕組みだよ。データの指紋のように変更を確かめる用途がある。元の内容を隠す暗号化とは別のものだよ。
ファジング
多様な入力を自動で与え、異常や弱点を探すテスト方法だよ。想定外の入力も試す点検で、問題が見つからなくても安全性の証明にはならない。
資格情報
身元や資格などを確かめるための情報だよ。パスワード、証明書、資格を示すデータなど、文脈によって形が異なるので、何を指すかを確認しよう。

出典資料

出典・参考資料

  1. A2M: Trace-Optimized Agent Hijacking in the MCP Ecosystem arxiv.org
  2. LoRango: It Takes Two LoRAs to Unlock Hidden Behaviors in Diffusion Models arxiv.org
  3. C-to-Rust Fallacy: Automatic Refactoring != Memory Security arxiv.org
  4. KuppingerCole: Why Securing AI Agents Starts With Visibility and Observability www.kuppingercole.com
  5. Microsoft: Unmasking EvilTokens www.microsoft.com
#AIセキュリティ#MCP#LoRA#Rust#ID管理#Microsoft 365