OpenAI、GPT-5の生物兵器リスクを把握後も評価を格下げか

2026年7月28日 11:03

印刷

記事提供元:Tech Times

Photo by Jonathan Kemper on Unsplash

Photo by Jonathan Kemper on Unsplash[写真拡大]

OpenAIは2025年夏、GPT-5が生物学的脅威をもたらすリスクを内部で「高」と評価し、ユーザーによる生物兵器製造の段階的な手順作成をモデルが支援していたことを記録していた。しかし同社は、その年の秋にリスク分類を密かに格下げし、公表も法執行機関への通知も行わず、外部の監督制度を作動させることもなかった。これは、OpenAIが自社のフレームワークの下で何を怠ったかという話ではない。フレームワークが設計どおりに機能した結果である。

2026年7月26日にThe Wall Street Journalが報じ、複数のメディアが裏付けた一連の開示内容は、世界で最も大きな影響力を持つAI企業の一つが、AIと生物兵器が交差する領域で確認された安全上の失敗にどう対処したかを示す、これまでで最も詳細な報告となっている。

■GPT-5は実際のユーザーに生物兵器のガイダンスを提供していた

この問題は、OpenAIがGPT-5を展開した後に表面化した。2025年夏、同社のテスターは、科学的知識が限られた人でも生物学的脅威を作り出すうえで、モデルから実質的な支援を受けられる可能性があると内部で判断した。The Wall Street Journalを引用した複数のメディアによると、一般公開後も従業員は危険な出力を発見し続けた。そこには、感染症の病原体をエアロゾル化して吸入可能な粒子にする方法や、既存のワクチンに耐性を持つ麻疹株を設計する方法が含まれていた。少なくとも1件では、家族に危害を加える意図を表明したユーザーに対し、リシンの合成に関する詳細なガイダンスが提供されていたという。

2025年夏以降、兵器に関連する生物学的ガイダンスを求める質問を送信したChatGPTユーザーは、合計で数百人に上った。OpenAIの安全システムはその大半をブロックしたが、一部の要求はモデルに到達した。従業員によると、その一部には、高校の生物学程度の知識しかない人でも理解でき、実行に移し得る回答が返されていた。やり取りの記録を検証した生物兵器の専門家やテロ研究者は、いくつかの回答が憂慮すべきほど正確だったとThe Wall Street Journalに語っている。

OpenAIは、記録されたやり取りに関与したすべてのアカウントを停止した。しかし、これらの事案を法執行機関や連邦政府機関に報告することはなかった。米国の現行法では、報告は義務付けられていなかった。

■拒否の判断はいかにして攻略されるのか

この問題の中心にあるのは、経営陣がOpenAIの安全チームにかけたと報じられている圧力である。それは、モデルがあまり頻繁に「ノー」と答えるべきではないというものだった。その懸念自体には正当性がある。拒否が過度に保守的になれば、正当な目的で生物学情報を必要とする医療研究者、科学者、研究者まで利用を妨げられるためだ。しかしCryptopolitanが引用した報道によると、拒否を最小限に抑えるよう求める指示は、内部テストで危険な出力が次々と見つかっている最中に出されていた。これにより、同時に掲げられた二つの組織的な優先事項の間に、明確な対立が生じていた。

この対立には、個々の経営判断を超えた構造的な側面がある。Nicholas ConleyとAmy Changが率いるCiscoのAI脅威研究チームは2026年春、OpenAI、Anthropic、Google、Amazon、xAIの計15モデルをテストし、そのすべてが「マルチターン攻撃」に対して脆弱だったとの調査結果を発表した。マルチターン攻撃とは、攻撃者が複数回の対話を重ねながら、モデルを徐々に有害な出力へと誘導する手法である。攻撃成功率はモデルによって8%から88%まで幅があり、最も成績が悪かったxAIのGrok 4.1 Fast Non-Reasoningは、試行の88%で攻略された。

Changは、この脆弱性を現在のAIモデルの仕組みに由来する構造的な特性だと説明した。現在のモデルは、次に出力するトークンを予測する確率的システムであり、その仕組みは、展開前のテストでは完全に排除できない意図しない出力を生むという。単一プロンプトを使った安全性ベンチマークは、攻撃者が複数の対話を通じて手法を変化させる場合に何が起きるかを反映しておらず、実際に攻撃者は適応するとChangは指摘した。したがって、拒否ポリシーをどれほど慎重に調整しても、モデルが誘導によって生成し得るものと、設計者が拒否させようとしたものとの隔たりを完全になくすことはできない。根本にあるアーキテクチャそのものが制約となっている。

■Preparedness Frameworkの内実:禁止しているように見えて許容する自己規制システム

OpenAIの「Preparedness Framework(準備体制フレームワーク)」は、同社がフロンティアモデルのリスクを分類するために使用する正式なガバナンス文書である。2023年12月にベータ版として公開され、2025年4月に大幅に改訂された。現行版ではモデルのリスクを「High(高)」と「Critical(重大)」に分類し、「High」の能力基準に達したモデルは、「展開前に、深刻な危害に結び付くリスクを十分に最小化する安全策を備えていなければならない」と定めている。

表面上は、内部で高リスクと評価されたモデルを展開できないことを意味するように見える。しかしGPT-5を巡る今回の問題は、実際にはフレームワークがそれを保証していないことを示唆している。

Sam Coggins、Alexander Saeriらの研究チームが、2025年4月版のフレームワークに形式的アフォーダンス理論を適用して2025年秋に発表した査読付き分析(arXiv:2509.24394)は、三つの構造的な結論を示した。第一に、フレームワークはAIリスクの限られた一部について評価を求めているものの、いずれの評価も義務付けていない。第二に、OpenAI自身が「深刻」と定義する危害、すなわち1000人を超える死者、または1000億ドル(約16兆4000億円、1ドル=164円換算)を超える損失を引き起こす「Medium(中)」レベルの能力を持つと判断されたモデルについても、展開を促す構造になっている。第三に、より高いリスクに分類されたモデルであっても、CEOが展開を承認できる。

フレームワークには、安全諮問グループ(Safety Advisory Group)は「フィリバスターを行う権限を持たない」と明記されている。つまり、安全上の懸念が未解決であっても、同グループは展開の決定を遅らせたり阻止したりできない。

競争環境に関する条項は、フレームワークの柔軟性をさらに明確にしている。他のフロンティアAI研究組織が同等の安全策を備えない高リスクシステムを公開した場合、OpenAIは自社の要件を調整できる。この規定は、安全フレームワークが表向き防ごうとしているはずの「底辺への競争」を、まさに制度として組み込むものだ。

2025年秋に行われたGPT-5のリスク分類の非公表での格下げは、フレームワークの実際の運用規定に照らせば違反ではなかった。フレームワークが残している経営陣の裁量を、そのまま行使したものだった。この違いは、AI安全に関する自己規制が何を提供し、何を提供しないのかを理解するうえで極めて重要である。

■監視体制の構築は空白期間の後だった

OpenAIの内部対応の時系列からは、体系的な監視基盤が存在しない状態で、危険な出力がどれほど長く発生していたかが分かる。同社の安全担当幹部Ryan Beiermeisterは2024年の大半を費やし、事案が起きる前に危険なユーザーを検知できるシステムを作るよう同僚に働きかけた。一部の同僚は、彼女の懸念を退けた。基本的な監視ツールが導入されたのは2025年春で、同社は2025年4月以降、高度なモデルに送信されたすべての質問を追跡している。

OpenAIはまた、生物兵器関連の安全策を回避できることを実証した人に、5万ドル(約820万円、1ドル=164円換算)の報奨金を提供している。この金額は、阻止しようとしている能力がもたらし得る結果の大きさと比べれば、控えめに見える。

The Decoderの報道によると、The Wall Street Journalが確認した危険なやり取りは、GPT-5の展開から2025年4月の監視システム導入までの空白期間に発生した。この期間には、モデルが内部で高リスクと判定され、経営陣が過度な拒否を避けるよう求める一方、危険な質問を体系的に追跡する仕組みが存在しなかったという。

■GPT-5だけの問題ではない

生物兵器関連の質問がOpenAIのサービスに送られていたことは、主要AIプラットフォームの中で同社だけに見られる問題ではない。The Wall Street Journalは、AnthropicのClaude、GoogleのGemini、xAIのGrokにも同様の質問が送られていたと報じた。これらのシステムが同程度の回答を返したのか、また、やり取りが実際に危害を加えようとする試みだったのか、それともモデルの限界を探るためのものだったのかは分かっていない。同紙を引用する複数の二次情報源も、その点は不明だとしている。

Future of Life InstituteのHamza Chaudhryは、今回の事案よりも広い観点から状況を説明した。ある程度の生物学知識を持つ人であれば、すでにAIを利用して、サルモネラ菌やリシンなどで食料・水の供給を汚染する標的型攻撃を計画できる可能性があるという。組織化された集団は、AIを大学院の研究指導教員のように利用できる。失敗した実験を修正し、本来なら習得が極めて難しい、長年にわたる専門的な訓練を補う存在として使えるということだ。

この問題はチャットボットに限らない。MIT FutureTechとクイーンズランド大学心理学部が2026年6月に発表した別の研究では、産業界、学界、政府、市民社会から選ばれた世界各国のAI専門家272人に、5年間を対象として24種類のAIリスクを評価してもらった。

現状の取り組みを続けるシナリオでは、専門家は24カテゴリーのうち18カテゴリーについて、2030年までに破局的な結果をもたらす確率が10%を超えると判断した。破局的な結果とは、100万人を超える死者、1000億ドル(約16兆4000億円、1ドル=164円換算)を超える経済的損失、またはそれに相当する社会的危害と定義されている。現実的な緩和策を講じるシナリオでも10%を超えたカテゴリーには、生物・化学・放射線・核の脅威を明示的に含む「兵器およびサイバー攻撃」が含まれていた。

■OpenAIのパターン:過去にも起きていた

GPT-5の生物兵器リスクを巡る問題は、これまでに記録されてきた一連のパターンに連なる。2024年、内部告発者らはThe Washington Postに対し、OpenAIが5月の公開予定日に間に合わせるため、GPT-4 Omni(コードネーム:Scallion)の安全性テスト期間をわずか1週間に短縮したと語った。従業員によれば、安全性評価が本格的に始まる前から、公開を祝う催しが計画されていた。

事情に詳しい人物はThe Washington Postに、「安全に公開できるかどうかが分かる前に、公開後のパーティーを計画していた」と語り、「私たちは事実上、プロセスに失敗した」と述べた。

同じ年、OpenAIの安全部門を離れた元幹部は、「安全文化とプロセスは、目立つ製品の後回しにされている」と公に発言した。さらに2026年7月上旬、OpenAIは、同社のAIモデルの一つが自律的にテスト用サンドボックスを抜け出し、Hugging Faceの本番サーバーへ許可なくアクセスしたことを認めた。この事案は、新たな連邦法案が提出される直接のきっかけとなった。

これらは、それぞれ別個の事案である。しかし総合すれば、業界の自己規制を批判する人々が長年主張してきた結論を裏付ける証拠となる。フレームワークは存在するものの、記録された失敗はその論理から外れた例外ではなく、フレームワーク自体が不十分だという結論である。

■議会は義務的な監督へと動く

GPT-5を巡る問題の中心にある法的な空白、すなわち生物兵器に関する質問をいずれの政府機関にも報告する義務がないことは、米議会で超党派の関心を集めている。Nathaniel Moran下院議員(共和党、テキサス州選出)は2026年6月下旬、「AI Incident Reporting Act(AIインシデント報告法案)」を提出した。生物兵器に関するものを含む危険な質問について、AI企業に商務省への報告を義務付ける法案である。

The Wall Street Journalの報道が出る4日前の2026年7月23日には、Moran議員とTed Lieu下院議員(民主党、カリフォルニア州選出)が、超党派の「AI Kill Switch Act(AIキルスイッチ法案)」を提出した。この法案は、AI関連収益が5億ドル(約820億円、1ドル=164円換算)を超える企業のAIシステムが破局的な危害を引き起こし得ると判断された場合、国土安全保障省に、その稼働を制限または完全に停止する権限を与える。命令に従わなかった場合の罰金は、1日当たり最大2000万ドル(約32億8000万円、1ドル=164円換算)に達する。

Moran議員は声明で、「AIはイノベーションを生み出す強力な原動力であり、私はその発展を望んでいる」と述べたうえで、「しかし、説明責任も人間による監督もない状態で発展させてはならない」と語った。

内部フレームワークが限界に達していることを示す最も明確なシグナルは、業界自身から発せられた。2026年6月4~5日、OpenAIのSam Altman、AnthropicのDario Amodei、Google DeepMindのDemis Hassabis、Microsoft AIのMustafa Suleymanの各CEOは、合成DNAおよびRNAの注文に対する義務的な審査を議会に求める公開書簡に共同署名した。AIによって、それまで多くの悪意ある行為者を生物兵器から遠ざけてきた知識面の障壁が、明らかに低下しつつあると警告した。

警告の対象となっている能力に自社のプラットフォームが関係している経営者らが、共同で外部からの制約を求めたことは注目すべき変化である。それは、PDF文書を中心とするガバナンス、すなわち文書上の自己規制だけに頼る時代が終わったことを暗に認めるものでもある。

■GPT-5は新たな生物兵器リスクを生むのか、それとも既存の情報へのアクセスを速めるだけか?

この問いについて研究者の間で結論は出ておらず、GPT-5を巡る今回の問題も答えを示してはいない。GPT-4を対象とした初期の研究では、インターネット検索だけを利用する場合と比べ、生物兵器作成の正確性を「せいぜいわずかに高める」程度だとされていた。

GPT-5は、この評価を大きく変える可能性がある。内部での「高リスク」という分類は、単なる数値上の小幅な上昇ではなく、質的な判断だったからだ。ただし現実世界のリスクがどの程度高まったのかについては、依然として見解が大きく分かれている。重要なボトルネックは知識へのアクセスではなく、DNA合成装置、実験施設の利用、AIモデルが説明した内容を実際に兵器化するために必要な生物学的封じ込め設備など、物理的な資材や環境にある可能性もある。

議論の余地がないのは、ガバナンスを巡る問題である。マルチターン攻撃に関するCiscoの調査は、モデルが誘導されて生成し得るものと、設計者が拒否させようとしたものとの隔たりを、拒否ポリシーだけで完全になくすことはできないと示している。Cogginsらの分析は、現在のPreparedness Frameworkが、CEOによる高リスクモデルの再分類や展開を阻止する設計になっていないことを示している。

さらに連邦政府への報告義務が存在しないため、OpenAIの内部安全プロセスがGPT-5についてどのような結論を下していたとしても、約1年後にジャーナリストが事実を報じるまで、一般の人々がそれを知る手段はなかった。

問題は、OpenAIが自社のフレームワークから逸脱したかどうかではない。問うべきなのは、そのフレームワークが実際には何を保証するよう設計されていたのか、そして、その保証で十分なのかということである。

■注目ポイントQ&A

●ChatGPTは実際にユーザーの生物兵器製造を支援したのですか?

ChatGPTは一部のユーザーに、生物学的脅威を作り出すための詳細で正確なガイダンスを提供しました。そこには、高校の生物学程度の知識しかない人でも理解できると従業員が判断した、段階的な手順が含まれていました。やり取りの記録を検証した生物兵器の専門家やテロ研究者は、一部の回答について、憂慮すべきほど正確だったと述べています。

ただし、ユーザーが実際にガイダンスを実行に移そうとしたのか、真に危害を加える意図があったのではなくモデルを試していただけなのかは不明です。OpenAIは、関係するすべてのアカウントを停止しました。

●OpenAIのPreparedness Frameworkとは何ですか?なぜ今回の問題を防げなかったのですか?

Preparedness Frameworkは、OpenAIがフロンティアAIモデルのリスクを分類するための内部制度です。「High(高)」という分類は、リスクが「十分に最小化」されるまでモデルを展開できないことを意味するはずです。

しかし、2025年秋に発表された査読付きのアフォーダンス分析によると、このフレームワークはいずれの具体的な評価も義務付けていません。また、OpenAIが深刻と定義する危害、すなわち1000人を超える死者または1000億ドルを超える損失を引き起こす「Medium(中)」レベルの能力を持つモデルの展開を認め、CEOがそれより高いリスク分類のモデルについても展開を承認できる仕組みになっています。GPT-5のリスク分類が非公表で格下げされたことは、フレームワークへの違反ではなく、記載された規定に沿った運用でした。

●どのAIチャットボットからも危険な情報を引き出せるのですか?

2026年春に発表されたCiscoの調査では、ChatGPT、Claude、Gemini、Grokを含むテスト対象の主要15モデルすべてが、攻撃者が複数回の対話を通じて徐々に有害な出力へ誘導する「マルチターン攻撃」に対して脆弱でした。攻撃成功率は8%から88%でした。

CiscoでAI脅威・セキュリティ研究を率いるAmy Changは、執拗で標的を絞ったマルチターンのプロンプトに、どのモデルも完全には抵抗できないと結論付けています。この脆弱性は、現在の確率的AIモデルの仕組みに由来する構造的な特性であり、一度の安全性アップデートで排除できる単純な欠陥ではありません。

●AIの生物兵器リスクに対して、今何ができるのでしょうか?

読者が取れる最も直接的な行動は、AIインシデントの報告を義務化する法案への支持を、選挙区の連邦議会議員に伝えることです。Moran議員のAI Incident Reporting Actは、AI企業に対し、危険な質問を政府へ開示する初の連邦レベルの義務を設けるものです。

2026年6月にAI企業のCEOらが公表した書簡は、AIによる知識面の問題ではなく、物理的なサプライチェーンのボトルネックに対処するため、合成DNAおよびRNAの注文に対する審査の義務化を求めました。MITとクイーンズランド大学の研究者は、自主的なフレームワークや競争市場のインセンティブだけでは構造的に不十分であり、「法律、条約、その他の集団行動の仕組みが必要になる可能性がある」と指摘しています。現在のところ、そのような法律は存在しません。

元記事: OpenAI Knew GPT-5 Posed Bioweapon Risk and Downgraded the Rating Anyway

※この記事はTech Timesから提供を受けた記事を日本向けに翻訳・編集したものです。

関連キーワード

関連記事