AI評価の問題漏洩を暗号技術で防ぐ、Google DeepMindが二重盲検方式を実証

Google DeepMindは2026年8月27日、独自モデルの重みと外部評価者のテスト問題を相互に秘匿したまま実行する「二重盲検評価」の試験結果を発表した。Google Cloudの機密コンピューティング環境とOpenMinedのPySyftを組み合わせ、Gemini 2.5 Flash-Liteを非公開のベンチマークで評価した。

モデル提供者がテスト問題を取得せず、評価者もモデルの重みを閲覧しない構成を暗号技術とハードウェアで支える。今回の目的はGeminiの成績を示すことではなく、独立した評価に必要な機密性を技術的に確保できるかを検証することにある。

■モデルとテスト問題を相互に秘匿

今回の取り組みには、Google DeepMindのほか、シンガポールのAI Safety Institute、プライバシー保護技術を開発する非営利団体OpenMined、AI評価団体のAVERI、ベンチマークを開発するMLCommonsが参加した。

AVERIは、MLCommonsのAI安全性ベンチマーク「AILuminate」に用意された未使用の非公開プロンプトを使い、Gemini 2.5 Flash-Liteを評価した。シンガポールAISIも、同国の文脈における有害コンテンツの誘発に焦点を当てた非公開プロンプトで同モデルを評価した。

評価環境では、Google DeepMindがモデルの重みと推論コードを、評価側がプロンプトと評価コードをそれぞれ投入した。Google DeepMindは評価用のプロンプトや応答を取得せず、AVERIやシンガポールAISIなどの評価側はモデルの重みを閲覧しない。保護対象となる資産を実際に使った、独自のフロンティアクラスモデルに対する初の二重盲検評価と位置付けられている。

■公開ベンチマークが抱える汚染問題

AIモデルの評価では、ベンチマークの問題が学習データに含まれる「ベンチマーク汚染」が課題となる。モデルが問題や類似例を学習済みの場合、スコアには未知の課題を処理する能力だけでなく、学習時に得た情報を再現する効果が含まれ得る。

Google DeepMindなどの技術報告書は、31モデルを調べた先行研究で約半数からベンチマークデータ漏洩の強い証拠が見つかったことや、テストデータの混入量とモデル規模が大きいほど、測定される性能の上昇幅も大きくなるとした研究を引用している。

ベンチマークを非公開にしても、モデル提供者のAPIへ問題を送れば、提供者側のインフラがその内容を処理することになる。一方、評価者へモデルの重みを渡せば、モデル提供者の知的財産や安全管理に関するリスクが生じる。

ログを保存しない契約や運用ルールは一定の保護になるが、技術的にデータ取得を不可能にするものではない。今回の方式は、モデルとベンチマークを暗号化された一時環境へ持ち込み、双方に開示しないまま計算するという共通構造によって、この相互の機密性を支える。

2026年7月に公表された「グローバルAI安全研究の優先事項に関するシンガポール・コンセンサス」も、安全な評価基盤を優先課題の一つに挙げた。同報告書は、評価者がモデルのパラメーターへアクセスせず、開発者も具体的な評価内容を把握しない二重盲検の仕組みを、望ましい方向性として示している。

■機密コンピューティング環境の仕組み

評価にはGoogle CloudのConfidential Spaceと、NVIDIA H100 Confidential GPU、Intel TDXで保護されたホスト環境を使用した。Confidential Spaceは、データをメモリ上で処理している間も暗号化し、承認されたソフトウェアだけを実行するための信頼実行環境を提供する。

モデルの重みは暗号化された接続を通じてGPUメモリへ送られ、評価プロンプトも暗号化された接続でホスト側のメモリへ送られる。計算後は、事前に許可された集計結果だけが評価者へ返され、一時的な環境は破棄される。

機密データを送信する前には、双方がリモート構成証明を確認する。これは、実行環境のハードウェアやソフトウェア構成が合意した内容と一致するかを暗号技術によって検証する仕組みである。データを外部へ送信するよう改変されたプログラムへの投入を避ける役割を持つ。

技術報告書では、今回採用した構成は5％未満の計算オーバーヘッドで動作すると説明している。機密性の確保と実用的な処理性能を両立できる可能性を示す数値だが、今回の評価でモデルの性能値やベンチマーク結果を競うことが主目的だったわけではない。

■PySyftによるコードと通信の管理

ハードウェアによるメモリ暗号化だけでは、内部で動くコードが結果やデータを外部へ送信する可能性まで管理できない。そこで今回の評価では、OpenMinedのオープンソース基盤PySyftを使い、各組織が投入するコードとデータの承認、実行、結果の受け渡しを管理した。

モデル提供者と評価者は、エンクレーブ内で実行するコードや適用するポリシーを事前に確認する。機密情報を処理する部分からのネットワーク通信や、結果として持ち出せる情報も制限する。暗号化された実行環境と、複数組織によるコード審査を組み合わせることで、相手の資産を直接取得せずに評価を進める。

OpenMined、英国AISI、Anthropicは2024年にも、NVIDIA H100のセキュアエンクレーブとPySyftを使った小規模な検証を行った。このときはGPT-2とCAMEL-bioデータセットの一部を用いた試験で、両組織の実際の機密資産を相互に保護する段階には至っていなかった。今回のパイロットでは、Gemini 2.5 Flash-Liteの独自モデル資産と、MLCommonsおよびシンガポールAISIの非公開プロンプトが使われた。

米国立標準技術研究所のAI標準・イノベーションセンターも2026年3月、OpenMinedと共同研究開発契約を締結した。PySyftなどを利用し、モデル、データ、ベンチマークを秘密にする必要がある場合でもAIを評価できる、プライバシー保護型の手法を共同研究する。

■暗号技術の外側に残る信頼

今回の仕組みは、Google DeepMindと評価者が互いを直接信頼しなければならない範囲を縮小する。一方で、信頼そのものが完全になくなるわけではなく、ハードウェアメーカーやクラウド基盤、構成証明サービスへ一部が移る。

Confidential SpaceのゲストOSはオープンソースだが、個々のビルドの署名と構成証明にはGoogleの基盤が関与する。また、CPUやGPUによるメモリ保護は、IntelやNVIDIAが提供するハードウェア上の信頼の基点に依存する。

このため、今回の成果はあらゆる当事者を不要にする「信頼不要」のシステムではない。モデル提供者と評価者の間でデータを直接受け渡す方式から、検証可能な実行環境と限定された基盤事業者へ信頼を移す設計といえる。

また、テスト問題を秘密に保つだけで、ベンチマークの品質が保証されるわけではない。MLCommonsは、問題の新規性や評価対象との適合性、ベンチマークの継続的な管理も必要だとしている。今回の方式が支えるのは、評価時の相互機密性と、未使用の問題をモデル提供者へ開示せずに実行できるという条件である。

■マルチGPU化と普及に向けた課題

今回の評価は、1基のNVIDIA H100 GPUを備えた環境で実施された。そのため、現在の構成を直接適用できるのは、単一GPUで推論できる規模のモデルが中心となる。

より大きなモデルを評価するには、複数のGPU間を暗号化された接続で結び、分散推論を実行しながら機密性と構成証明を維持する必要がある。技術報告書では、H100やB200を複数使用する構成を今後の方向性として挙げているが、マルチGPU版は今回のパイロットの対象ではない。

普及には技術面だけでなく、組織間の法的合意やコード審査の負担も課題となる。技術報告書は、こうした調整を評価の大規模化における大きな障壁として挙げている。異なるモデル提供者、評価機関、クラウド事業者が同じ方法を採用するには、技術仕様に加えて、承認手続きや結果の管理方法も整備する必要がある。

■AIの調達や安全性評価への応用

非公開ベンチマークと独自モデルを直接交換せずに評価できれば、企業や政府機関は、一般公開されたランキングとは別に、調達目的や利用環境に合わせたテストを第三者へ依頼しやすくなる。

特に、安全性、サイバーセキュリティ、機密データを扱う用途では、問題や評価手法をモデル提供者へ事前に知らせないことが評価の独立性につながる。モデル提供者にとっても、重みや推論コードを外部へ引き渡さずに第三者評価を受けられる利点がある。

今回のパイロットは、AIベンチマークの信頼性を一度に解決するものではない。モデルとテスト問題の双方を保護しながら、独立した組織が評価を実行するための技術的な基盤を示したものだ。今後、複数GPUへの拡張、クラウド事業者からより独立した構成証明、組織間の共通ルールが整えば、AIの調達や監督における評価方法の選択肢となり得る。

■注目ポイントQ&A

●ベンチマーク汚染とは何ですか？

評価用の問題やその類似データがモデルの学習データに含まれ、スコアに学習時の露出の効果が入り込むことです。高得点が未知の問題に対する能力だけを表しているとは限らなくなるため、モデル間の比較や調達判断を難しくします。

●二重盲検評価では何を秘密にするのですか？

モデル提供者は評価用のプロンプトや応答を取得せず、評価者はモデルの重みや推論コードを閲覧しません。双方の資産を暗号化された一時環境へ投入し、あらかじめ許可された結果だけを取り出します。

●今回の評価でGeminiの安全性が証明されたのですか？

モデルの総合的な安全性を証明するものではありません。今回の中心は、未使用の非公開プロンプトと独自モデルを相互に秘匿しながら、第三者評価を実行できるかの検証です。評価結果の信頼性には、問題の設計や管理、評価対象との適合性も関わります。

●なぜクラウド事業者などへの信頼が残るのですか？

暗号化や構成証明は、CPUやGPUのハードウェア、署名鍵、クラウドの構成証明サービスが正しく機能することを前提とするためです。今回の方式は信頼を完全に排除するのではなく、モデル提供者と評価者の直接的な相互信頼を減らし、技術的に検証しやすい基盤へ移します。

元記事: Google DeepMind Ran History’s First AI Benchmark Evaluation Where Neither Side Could Cheat