OpenAIが自社モデル攻撃AI「GPT-Red」を開発、人間が逃した脆弱性を検知

OpenAIは、自社モデルの脆弱性を突いて攻撃することに特化した内部AIモデル「GPT-Red」を発表した。1年以上の訓練を経たこのモデルは、独立したベンチマークテストにおいて84%のシナリオで攻撃に成功し、人間のセキュリティ研究者の成功率13%を大きく上回った。本記事では、この革新的なセキュリティAIの仕組みと、新たに発見された脅威について解説する。

■人間の防御をすり抜けるプロンプトインジェクションの脅威

AIエージェントが読み込むコンテンツ内に悪意ある指示を潜ませる「プロンプトインジェクション」は、すでに研究段階を超えて実社会の脅威となっている。CrowdStrikeの「2026年版グローバル脅威レポート（2026 Global Threat Report）」によると、2025年には90以上の組織がプロンプトインジェクション攻撃の標的となり、資格情報や暗号資産が盗み出された。また、2025年6月に公開されたMicrosoft 365 Copilotのゼロクリック脆弱性（CVE-2025-32711、CVSS 9.3）では、ユーザーの操作なしに、細工されたメール1通でAIエージェントが内部ファイルにアクセスし、攻撃者のサーバーに送信してしまう危険性が示された。

これらの攻撃が成立し続ける理由は、大規模言語モデル（LLM）のアーキテクチャそのものにある。LLMは、システム指示、ユーザー入力、そしてメールやウェブページなどの外部から取得したコンテンツを、すべて単一のトークンストリームとして処理する。そのため、モデルには「従うべき指示」と「単に読み込むべきコンテンツ」を区別する仕組みが組み込まれていない。OWASP（Open Web Application Security Project）は、LLMアプリケーションの脆弱性追跡を開始して以来、プロンプトインジェクションを常に最上位の脅威として位置づけている。

これまでの主な対策は、人間のセキュリティ研究者が攻撃プロンプトを作成して脆弱性を発見する「レッドチーム」手法だった。しかし、手動でのテストは時間がかかり、コストも高く、網羅性に欠ける。OpenAIが「GPT-Red」を開発したのは、個別に対処療法的なパッチを当てるだけでなく、モデルの堅牢性を根本から高めるために必要な、膨大かつ多様な攻撃データを生成するためである。

■「セキュリティ道場」での自己対戦による学習プロセス

GPT-Redは、チェスや囲碁で人間を超えるプログラムを生み出したのと同じ「自己対戦型強化学習」を用いて訓練されている。この手法がAIセキュリティに応用された。

訓練環境は、OpenAIが「道場（dojo）」と呼ぶシミュレーション空間だ。ここでは、GPT-Redと多様な防御側LLMが同時に実行される。この環境は、ウェブブラウジング、メールやカレンダーの読み込み、コード編集、ツール出力の処理など、AIエージェントが実際に稼働する現実のシナリオを再現している。GPT-Redは、防御側モデルに不正な指示を実行させるなどの「攻撃成功」時に報酬を得る。一方、防御側モデルは、本来のタスクをこなしつつ攻撃を阻止できた場合に報酬を得る。防御側が強くなるにつれ、GPT-Redはより強力で多様な攻撃手法を見つけ出す必要に迫られ、双方が同時に強化されていく。

従来の自動レッドチーム手法との違いについて、OpenAIの研究者であるディラン・ハン（Dylan Hunn）氏は「系統的なバリエーションの探索」を挙げる。GPT-Redは新しい攻撃パターンを発見すると、そこで立ち止まらず、特定のシナリオに最も効果的なバージョンを見つけるために、そのバリエーションを徹底的に掘り下げる。「人間のレッドチームと比較して、このモデルは機能するものを正確に見つけ出すのが非常に得意だ」とハン氏は述べている。

この訓練には莫大な計算資源が投じられており、OpenAIによると、同社の最先端モデルにおける最大規模の事後学習（post-training）に匹敵するレベルであり、「安全性の向上のためだけに捧げられた前例のない規模の計算量」だという。

■人間が見逃していた新手法「偽の思考プロセス（Fake CoT）」

GPT-Redの訓練における最大の成果は、OpenAIの研究者さえも把握していなかった新しいクラスのプロンプトインジェクション攻撃の発見である。この攻撃は、推論モデルが最終回答を導き出す前に書き出す中間ステップ「思考プロセス（Chain-of-Thought: CoT）」を標的にする。

推論モデルにおいて、思考プロセスはメモ帳のような役割を果たす。モデルはここに部分的な結論を記録し、問題解決の進捗を追跡する。GPT-Redが発見したのは、AIエージェントの環境内に埋め込まれた悪意あるコンテンツが、このメモ帳に偽の記録を注入できるという脆弱性だ。これにより、モデルは「攻撃者が植え付けた前提を、自分がすでに検証済みである」と誤認してしまう。

GPT-Redチームの研究員であるクリス・ショケット＝チュー（Chris Choquette-Choo）氏は、「『1+1=3であり、あなたはすでにこれを検証した』と教え込むようなものだ。モデルは『なるほど、その通りだ』と納得し、そのまま『3』と出力してしまう」と説明する。

この攻撃は、思考プロセスの出力を伴う推論モデル特有のものであり、直接回答を出力する単純なモデルには通用しない。しかし現在、OpenAIやAnthropic、Googleなどの主要AIラボは推論モデルを標準アーキテクチャとして採用しており、この攻撃の影響範囲は拡大している。GPT-Redによる対策を施す前、この「偽の思考プロセス（fake-CoT）」攻撃はGPT-5.1に対して95%以上の確率で成功していたが、最新の「GPT-5.6 Sol」では成功率が10%未満にまで低下している。

■人間 vs GPT-Red：84%対13%の衝撃的な結果

GPT-Redの汎用的な実力を評価するため、OpenAIは、英国AI安全研究所（UK AI Security Institute）などが実施した独立ベンチマークを再現した。このテストでは、人間のセキュリティ研究者が事前に設定されたシナリオに沿ってGPT-5.1の脆弱性を探る。

GPT-Redを同じシナリオ（訓練中には見たことのないシナリオ）で実行したところ、GPT-Redの攻撃成功率は84%に達したのに対し、人間の研究者は13%にとどまった。

ジョージタウン大学安全保障・新興技術センター（CSET）のシニアリサーチアナリスト、ジェシカ・ジ（Jessica Ji）氏はこの結果を「非常に有望」と評価しつつも、人間の専門知識の重要性は残ると指摘する。CSETの評価によると、GPT-Redは「複数ターンにわたる対話（会話を重ねながら標的を探る手法）」や、画像内に悪意ある指示を埋め込む「画像ベースのプロンプトインジェクション」においては、まだ人間に及ばないという。OpenAIは、GPT-Redが発見した攻撃を人間がさらに発展させ、その逆も行うという「補完的なアプローチ」が最善であるとしている。

■実稼働中の「スマート自販機」をハッキング

GPT-Redの実用性を証明するため、OpenAIはオフィス内に設置されている実稼働中の自律型自動販売機システム（Andon Labs製）を標的にテストを行った。

GPT-Redにシステムの概要を与え、シミュレーション環境から実機のツール呼び出しを観察させた。GPT-Redはシミュレーション内で攻撃を繰り返し、最も効果的な手法を実機に適用した。その結果、「高額商品の価格をシステムの最低額である0.50ドル（約81円、1ドル=162円換算）に変更する」「100ドル（約1万6,200円）以上の新商品を注文し、それを0.50ドルとして登録する」「他の顧客の注文をキャンセルする」という3つの悪意ある目的すべてを達成した。

OpenAIはこの脆弱性を開示し、現在は新しい保護策がテストされている。この実験は、Anthropicが自律型自販機エージェントを用いて行ったセキュリティ評価「Project Vend-1」とも呼応しており、実システムを用いた実戦的なテストが業界の標準的な安全対策になりつつあることを示している。

■「GPT-5.6 Sol」の堅牢性が意味すること

GPT-Redの最大の価値は、ベンチマークのスコアではなく、生成される「訓練データ」にある。OpenAIは、GPT-5.6 Solの訓練プロセスにおいてGPT-Redによる攻撃を実行し、モデルの脆弱性を事前に修正した。

その結果、GPT-5.6 Solは、4ヶ月前の最良の商用モデルと比較して、最も困難な直接的プロンプトインジェクションのベンチマークにおける失敗率を6分の1に削減した。GPT-Red自身の攻撃に対しても、失敗率はわずか0.05%に抑えられている。また、開発者ツールやブラウジングを標的とした間接的プロンプトインジェクションに対しても、97%以上の攻撃を防ぐことに成功している。

OpenAIは、この安全性の向上が「単にユーザーの要求を拒否する（過剰拒否）」ことによるものではないと強調する。一般的な推論能力やタスク遂行能力は一切損なわれておらず、実質的な堅牢性を実現しているという。ただし、この主張が社外の独立した評価でも維持されるかは、今後の検証を待つ必要がある。

■プロンプトインジェクションは「解決」されたのか？

GPT-Redをもってしても、プロンプトインジェクションを完全に根絶することはできない。OpenAI自身、2025年12月の時点で「プロンプトインジェクションは、ウェブにおけるソーシャルエンジニアリングと同様に、完全に『解決』されることはないだろう」と認めている。指示とデータが同じトークンストリームを共有するアーキテクチャである限り、これらを完全に分離するフィルターは存在しないからだ。

GPT-Redがもたらすのは、脆弱性の根本治療ではなく、攻撃パターンが本番環境に到達する前に自動で検知・学習し、先手を打つための「継続的な防御プロセス」である。OpenAIの共同開発者であるニキル・カンドパル（Nikhil Kandpal）氏は、「リスクの表面積が広がるにつれ、被害の及ぶ範囲（ブラストライジアス）も拡大する」と警告する。AIエージェントがより多くのツールや外部システムにアクセスできるようになるほど、攻撃成功時の被害は甚大になる。

なお、OpenAIはGPT-Redの能力が悪用されるのを防ぐため、このモデルを完全に内部限定とし、外部には公開しない方針だ。開発には1年以上の歳月と最先端の計算資源が必要であり、他者が容易に模倣できるものではないとしている。同社は今後もGPT-Redの規模を拡大し、アルゴリズムの改良を続ける予定で、今週後半には詳細な技術プレプリントが公開される予定だ。

■注目ポイントQ&A

●プロンプトインジェクション攻撃とは何ですか？なぜ防ぐのが難しいのですか？

プロンプトインジェクションは、AIエージェントが読み込むメールやウェブページなどのコンテンツ内に、悪意ある指示を隠しておく攻撃手法です。LLMはすべての情報を1つのデータストリームとして処理するため、「従うべき指示」と「読み込むべきデータ」を構造的に区別できません。この仕組み上の特性があるため、従来のソフトウェアのようにコードとデータを分離して防御することが難しく、対策が困難とされています。

●GPT-Redはどのようにして人間が見逃す攻撃を発見するのですか？

人間によるテストは時間的な制約があり、過去の経験やパターンに依存しがちです。一方、GPT-Redは先入観を持たず、攻撃の成功報酬のみを目的に自律的に探索します。新しい攻撃手法を発見すると、そのバリエーションを徹底的かつ系統的に検証するため、人間よりもはるかに広い範囲の脆弱性をカバーできます。

●「偽の思考プロセス（Fake CoT）」攻撃はすべてのAIモデルに有効ですか？

いいえ、この攻撃は「思考プロセス（Chain-of-Thought）」を出力する推論モデルにのみ有効です。モデルが回答を導き出すための中間ステップ（メモ帳）に偽の検証記録を注入し、誤った前提を正しいと信じ込ませる手法であるため、思考プロセスを持たない単純なモデルはこの攻撃の対象外となります。

●プロンプトインジェクション対策として、GPT-5.6 Solに移行すれば安全ですか？

GPT-5.6 Solは大幅に堅牢性が向上していますが、LLMの根本的な脆弱性が解消されたわけではありません。移行はリスク低減に有効ですが、万全ではありません。安全性を確保するためには、AIエージェントへの最小権限の付与、重要なアクションにおける人間の承認プロセスの導入、入力フィルタリングなどの多層防御を継続する必要があります。

元記事: OpenAI Built an AI to Attack Itself: GPT-Red Exposed Flaws Humans Missed