Googleの「AIによる概要」が嘘を捏造？自信満みな誤情報を見破る3つのファクトチェック手順

Googleの「AIによる概要（AI Overviews）」が、実在する企業について「詐欺に関与している」といった虚偽の情報を自信満々に生成し、ドイツの裁判所でGoogleの直接責任を認める仮処分が下された。AIのハルシネーション（幻覚）は技術的に完全な排除が不可能とされており、ビジネスや個人のレピュテーションに深刻な影響を与える可能性がある。本記事では、AIが生成する誤情報に騙されないために、ユーザー自身が実践すべき3つのファクトチェック手順を解説する。

■ドイツの裁判所がGoogleに下した画期的な仮処分

ドイツ・ミュンヘンの出版社であるVerlagshaus24が、今年1月にGoogleで自社の社名を検索したところ、検索結果の最上部に表示された「AIによる概要（AI Overviews）」に衝撃的な文言が表示された。そこには、同社が「疑わしいビジネス慣行」で知られ、「詐欺スキームを運営していると頻繁に認識されている」と自信満々に宣言されていたのだ。しかし、その根拠とされた検索結果のどこにも、そのような記述は存在しなかった。AIは、無関係な本物の悪質企業の情報と原告の名前を混同し、独自の警告やユーザーへの注意喚起を交えた説得力のある回答を完全に捏造していた。

これが、大規模に発生しているハルシネーション（幻覚）の実態である。単にチャットボットが国の首都を間違えるといった他愛のない話ではない。何億人もの人々が信頼し、企業の評判を左右する最初の、そして往々にして最後の情報源となるツールが、何ら異常を示すことなく決定的な誤情報を提示しているのだ。

2026年5月28日、ミュンヘン地方裁判所は事件番号「26 O 869/26」において、Googleに対する暫定的な差し止め命令（仮処分）を下した。これは、AIシステムが生成した虚偽の記述について、AI開発企業に直接的な法的責任を認めた世界初の判決の一つとなった。裁判所は、「ユーザー自身がAIの回答を検証すればよい」というGoogle側の主張を退けた。その根拠として、AIによる概要の引用元リンクをクリックするユーザーは1%未満であるというPew Research Centerのデータを引用している。Googleは6月12日、この決定を不服として控訴することを確認した。

2026年8月2日には、ユーザー向けAIシステムに対する透明性義務を課す「EU AI法（EU AI Act）」の施行が控えており、Google、Perplexity、ChatGPT Search、Bing CopilotといったすべてのAI回答エンジンに対する法的・実務的な圧力は高まる一方である。しかし、裁判所の判決や規制の期限は、次にあなたが検索した際にAIが自信満々に誤った回答を提示してきたときの具体的な対処法までは教えてくれない。以下に、ユーザーが取るべき自衛策を解説する。

■AIが「間違っているのに自信満々」に見える理由

対策を講じる前に、その仕組みを理解する必要がある。AIによる概要やChatGPT Searchなどのツールは、すべて大規模言語モデル（LLM）をベースに構築されている。これらは、これまでに現れた文脈に基づいて、次に続く最も可能性の高い単語やフレーズをトークン単位で予測するように訓練されたシステムである。訓練の目的は「真実」の追究ではなく、「確率」の算出なのだ。そのため、モデルは知識のギャップに直面しても、立ち止まって不確実性を指摘することはない。代わりに、それまでのテキストパターンに従って、統計的に最もありそうな続きの文章を生成する。

研究者はこの現象を「ハルシネーション（幻覚）」と呼ぶが、技術文献で使われるより正確な用語は「作話（confabulation）」である。これは、もっともらしく聞こえるが事実に基づかない、創造的な隙間埋めのことだ。ミュンヘン地方裁判所の分析もこの点を的確に捉えており、AIは「検索結果にはまったく現れない、独立した新しい実質的な記述を行っている」と指摘した。システムはソースとなる情報を取得した上で、それを無視して独自の文章を書き上げたのである。

この挙動は、修正を待てば解決するような単なるバグではない。DataLabsのSourav Banerjee氏らは2024年9月、ゲーデルの第一不完全性定理を用いて、アーキテクチャの改善やデータセットの強化、ファクトチェック機能の導入によってもハルシネーションを完全に排除することは証明不可能であるとする数学的証明を発表した。根本的な問題は、LLMを含む十分に強力な形式システムには、そのシステム内では証明できない真の命題が存在することにある。訓練中に特定の事実に触れていない言語モデルは推測を行うが、その際、正解しているときと全く同じ確信に満ちたトーンを使用する。

2025年には、Samsung AI Center WarsawのMichał P. Karpowicz氏が、グリーン＝ラフォン定理に基づくゲーム理論的枠組みを用いてこの結果を拡張し、いかなるLLMの推論メカニズムも「真実の生成」「情報の保存」「関連知識の開示」「制約付き最適性」の4つの特性を同時に達成することはできないことを証明した。

実務的な意味合いとして、ハルシネーションはこれらのシステムにおける永続的な構造的特性であり、一時的な品質管理の問題ではない。精度は向上しており、Gemini 2.0 Flashは制御された要約ベンチマークにおいて0.7%のハルシネーション率を達成しているが、これはあくまで特定の文書に対する忠実度を測定したものであり、オープンエンドな質問に対する事実の正確性を測定したものではない。より実践的なタスク（複数ターンの調査質問、判例の検索、医療に関する問い合わせなど）では、エラー率は依然として大幅に高い。スタンフォード大学のRegLabとHuman-Centered Artificial Intelligenceグループによる2025年の研究では、法律分野に特化したAIツールであっても、難解な法律調査のクエリに対して17%から34%以上の割合でハルシネーションを起こすことが判明している。

もう一つの混乱要因は、訓練プロセスにある。最先端モデルの多くは「人間からのフィードバックによる強化学習（RLHF）」と呼ばれるプロセスを経て調整される。このプロセスでは、人間の評価者がAIの出力を評価し、その評価がモデルの将来の挙動を決定する。しかし問題なのは、人間の評価者が「わかりません」と答える回答よりも、自信ありげで役に立ちそうに聞こえる回答を一貫して好む傾向があることだ。その結果、モデルは不確実性を抑えることを学習し、研究者が「おもねる回答（sycophantic answers）」と呼ぶ、もっともらしく流暢だが誤った回答を生成するようになる。

最悪のハルシネーションを引き起こす主な要因は以下の通りである。

1. 訓練データのギャップ：訓練データ内にほとんど存在しない事実について問われた場合、モデルは最もらしいテキストパターンでその隙間を埋める。しかし、「もっともらしさ」と「真実」は別物である。

2. 最近の話題、ニッチな話題、または議論のあるトピック：すべての言語モデルには学習のカットオフ（締め切り）が存在する。カットオフ以降の出来事について信頼できる知識は持っておらず、それ以前であっても情報が少なかったテーマについては苦戦する。

3. 詳細な具体性：正確な統計、肩書付きのフルネーム、特定の日付など、回答が具体的であればあるほど、捏造された詳細が含まれている可能性が高くなる。具体性はモデルと読者の双方に「権威」を感じさせるシグナルとなるため、モデルはそれを好んで生成する。

4. 「わからない」の抑制効果：RLHFによる訓練では、曖昧な表現（ヘッジ）を避けるようにペナルティが課される。「これについては不確実です」と答えるモデルは人間の評価で低いスコアとなるため、モデルはそう言わないように学習する。

ニューヨーク・タイムズ紙が委託したOumiの分析によると、現行のGeminiモデルで動作する「AIによる概要」は、約9%の割合で不正確な回答を生成している。さらに驚くべきことに、正しい回答であっても、その半数以上はAIが引用したソースに遡ることができなかった。モデルは、提示した証拠とは目に見える関係のないプロセスを経て、正しい結論に達していたのである。

Googleの膨大な検索ボリュームにこの9%のエラー率を当てはめると、1時間あたりに生成される誤回答の数は、これまでに発行されたあらゆる訂正情報の総数を遥かに凌駕する。Pew Research Centerが2025年7月に米国の成人900人による約7万件の実際のGoogle検索を調査したところ、AIによる概要が表示された際、ユーザーが提示されたソースリンクをクリックした割合はわずか1%にすぎなかった。従来の検索結果のクリック率は、AIの要約が存在することで15%から8%に低下し、セッションの26%はAIの回答が表示された直後に終了していた。ミュンヘン地方裁判所は、ユーザー自身が回答を検証できるというGoogleの主張を退ける際、このPewのデータを直接引用した。99%のユーザーが実行しない検証は、意味のある安全対策とは言えない。

■行動を起こす前にAIの回答をファクトチェックする3つのステップ

だからといって、AI検索ツールが役に立たないわけではない。レシピ、一般的な慣用句の意味、広く知られた歴史的事実など、リスクの低い議論の余地のない問い合わせに対しては、非常に効率的である。リスクが集中するのは、特定のカテゴリーである。名前のある個人や企業に関する情報、統計やパーセンテージ、最近の出来事、医療や法律に関する主張など、誤りが実生活に重大な影響を及ぼすテーマがこれに該当する。

こうしたケースでは、以下の3つのステップを実行してほしい。90秒から5分程度の作業で、裁判所がようやく対処し始めたばかりの「信頼性のギャップ」を埋めることができる。

ステップ1：引用元ソースを少なくとも1つ開き、見出しだけでなく中身を読む

これは最も価値のあるチェック方法だが、ほとんど実行されていない。AIによる概要やAI搭載の回答にソースリンクが含まれている場合は、自分にとって重要な特定の主張に最も直接的に関連していると思われるリンクを開いてほしい。

確認すべきは、大まかな方向性が一致しているかどうかではない。AI以外の誰かが実際に書いた「具体的な主張、数値、または表現」がそこに存在するかどうかだ。これこそが、ミュンヘン地方裁判所が指摘したギャップである。Verlagshaus24のケースでは、AIによる概要が生成した非難の言葉は、引用された記事のどこにも存在しなかった。裁判所はこれを不適格と判断した。AIは独自の結論を書き上げ、他人の名前を代理として付与し、それを検索結果として提示していたのである。

引用元ソースのどこにもその具体的な主張が見つからない場合、AIが複数のソースを合成する過程で新しい意味を混入させたか、あるいは主張を完全に捏造した可能性がある。その情報は「未検証」として扱うべきだ。

役立つシグナルとして、AIの要約が3つ以上のソースを引用しているにもかかわらず、それらを直接引用していない場合、それは「合成（synthesis）」を行っている。合成のプロセスこそ、新しい主張が混入しやすい場所である。実在の個人や企業について具体的かつ重大な主張を行う合成回答は、必ず少なくとも1つの一次情報源と直接照合して検証する必要がある。

ステップ2：質問の表現を変えて、別のAIシステムにも聞いてみる

AIの回答には一貫性がなく、それが潜在的な不確実性を露呈させることがある。本物の事実は揺るがない。「フランスの首都は？」と10通りの方法で尋ねても、常に「パリ」という答えが返ってくる。しかし、ハルシネーションが集中する領域（ニッチなトピック、最近の出来事、正確な統計、特定の名前を持つ主体に関する主張）では、質問の枠組み（フレーミング）が変わると回答も変化する。

同じ質問を異なる表現で尋ねるか、あるいは全く別のAIシステムに尋ねてみてほしい。もし実質的に異なる回答が返ってきた場合、少なくとも一方の回答が誤っているという直接的な証拠になる。その乖離自体が有用な情報である。

また、モデルに対して「この回答に対する確信度はどのくらいですか？不確実な場合はその旨を述べてください」と直接促すことも有効だ。現在のAIシステムの多くは、不確実性を調整して表現する能力を備えている。ユーザーフィードバックで自信ありげな回答が高く評価されるためデフォルトでは抑制されているが、明示的に促すことでその機能を再活性化できる。このプロンプトに対して「確実ではありませんが、〜と考えられます」とトーンを変える回答は、真の不確実性を示している。

特に、AIが特定の研究名、パーセンテージ、直接の引用など、非常に具体的な回答を提示したにもかかわらず、追加の質問でその根拠となるソースを特定できないパターンには警戒が必要だ。この挙動は、作話（捏造）を示す最も信頼性の高い兆候の一つである。

ステップ3：その事実を生み出した一次情報源に直接アクセスする

他人に伝えたり、公開したり、引用したり、あるいは意思決定の根拠にする情報については、AIという仲介者を完全にスキップして一次情報源を見つけ出すべきだ。

これは、その主張の元となった機関、出版物、またはデータセットに直接アクセスすることを意味する。AIが「2024年の研究」と言及しているなら、その研究論文自体を探す。特定の人物の発言とされているなら、その人物が自身の言葉で実際に何と言ったかを確認する。企業の業績に関する主張であれば、企業の公式発表や、それを直接報じた報道機関の記事を確認する。

このステップが最も重要となるのは、統計やパーセンテージ、特定の人物の発言とされる引用、実在する企業や個人に関する主張、過去1〜2年以内の最近の出来事、そして医療や法律に関する情報である。

ミュンヘンの事例は、このステップが大規模に省略された場合に何が起こるかを示している。GoogleのAIによる概要は、2つの出版社を「詐欺」行為に自信満々に結びつけた。しかし、どちらの出版社を直接検索したとしても、そのような関連性は見つからなかったはずだ。AIは訓練データ内のパターンからストーリーを構築したが、そのパターンがたまたま誤った企業に当てはまってしまったのである。

■裁判所には解決できない、ユーザー自身による検証の必要性

ミュンヘン地方裁判所の判決は暫定的なものであり、Googleは控訴している。仮にこの判決が維持されたとしても、それが適用されるのはドイツ法における特定可能な当事者に対する名誉毀損の主張であり、AIのハルシネーションの大部分を占める日常的な小さな虚偽情報には適用されない。

2026年8月2日に施行されるEU AI法は、ユーザーがAI生成コンテンツと対話していることを企業が開示し、出力が機械可読な形式で「人工的に生成されたもの」とラベル付けされることを義務付ける。これらの規則は透明性を確保するためのものであり、AIの回答が正確であることを要求するものではない。また、AIが誤った医療用量を提示したり、架空の判例を捏造したり、契約を検討している企業の評判を誤って伝えたとしても、個々のユーザーにそれを強制的に是正させる手段を提供するものでもない。

ハルシネーションを生み出す構造的な要因、すなわち「確率的なテキストを予測すること」と「真実を知ること」との間の根本的なギャップは、規制や現在の技術的アプローチによって解決できるものではない。2024年と2025年の数学的証明は、これがアーキテクチャそのものの特性であり、次のモデルリリースで解決されるような品質管理のギャップではないことを示している。

実務的な結論として、AIの回答の「自信（説得力）」と「正確性」は全くの別物である。システムは前者に最適化されている。後者を確保するには人間による検証ステップが必要であり、上記で紹介した3つのステップがその役割を果たす。裁判所は、Googleがソースリンクを添付するだけでこの負担をユーザーに転嫁することはできないと判断した。しかし、裁判所にできないのは、あなたの代わりに検証を行うことだ。その役割は、今でもあなた自身に委ねられている。

■注目ポイントQ&A

●Googleの「AIによる概要」は間違えることがありますか？またGoogleはそれを認識していますか？

はい、どちらも事実です。ニューヨーク・タイムズ紙が委託したOumiの分析によると、現在のGeminiモデルを使用した「AIによる概要」は約9%の割合で不正確な回答を生成し、正しい回答であってもその半数以上は引用元ソースに遡ることができませんでした。Googleも「文脈を見落としたり、ウェブコンテンツを誤解したりすることがある」と公に認めています。

●ソースを引用しているにもかかわらず、なぜAIは誤った情報を提示するのですか？

大規模言語モデル（LLM）は、統計的な尤度に基づいて単語を1つずつ予測して文章を生成するためです。その目的は真実の検証ではなく、確率的に最もらしい文章を作ることです。そのため、ソース記事を要約する過程で、元の記事には存在しない主張を勝手に作り出してしまうことがあります。ミュンヘン地方裁判所は、Verlagshaus24のケースにおいて、AIの出力にリンク先ソースのどこにも存在しない非難が含まれていたとして、まさにこのメカニズムを指摘しました。

●Googleは「AIによる概要」の誤答に対して法的な責任を負いますか？

少なくともドイツにおいては、法的な責任を問われる可能性があります。ミュンヘン地方裁判所は2026年5月28日、GoogleのAIが第三者のコンテンツを単に紹介するだけでなく「独立した新しい実質的な記述」を行っているとして、生成された虚偽情報に対する直接的な責任を認める仮処分を下しました。ただし、Googleはこの決定を不服として控訴する方針であり、この判決はドイツ法における特定の誹謗中傷事案にのみ適用されます。

●どのようなAIの回答が最も誤りやすいですか？

特定の個人や企業に関する主張、具体的な数値やパーセンテージ、モデルの学習カットオフ以降の最新の出来事、専門的な法律・医療情報などが挙げられます。特に、具体的な数値や研究名、直接引用を含む「詳細で正確そうに見える回答」ほど、AIが説得力を持たせるために捏造したハルシネーションであるリスクが高くなります。

元記事: Google AI Overviews Can Invent Facts About You: 3 Steps to Catch Them First