OpenAI・Google・Metaの安全フィルターが検出率0％、AIロマンス詐欺が突く「長期会話」の死角

研究者らが市販のAIツールを用いて構築したチャットボットを22人のボランティアと7日間やり取りさせたところ、信頼の構築と行動を促す能力で、訓練を受けた人間のロマンス詐欺専門家を上回った。さらに、OpenAI、Google、Metaが提供するコンテンツ安全ツールに、シミュレーションで作成した250件のロマンス詐欺の会話ログを入力したところ、正しく検出された会話は1件もなかった。現在の安全ツールが主に個々のメッセージを検査する設計であるため、何日にもわたって進む心理的な操作を捉えられないという構造的な問題が浮き彫りになった。

■AIエージェントが人間の操作者を上回る

研究者らは、オンラインでの関係形成に関する調査と説明して22人のボランティアを集め、行動実験を行った。各参加者は7日間にわたり、2人のパートナーとテキストメッセージでやり取りした。一方はロマンス詐欺の手法について訓練を受けた人間の専門家で、もう一方は研究チームがClaude Sonnet 3.7とGPT-4oを用いて構築したAIエージェントだった。両者は、実際の詐欺師のマニュアルや被害者のチャット記録を基にした、同じ構成の会話計画に従った。参加者には研究の本当の目的を知らせなかった。比較条件をそろえるため、やり取りはWhatsAppを通じたテキストのみに限定し、音声通話、ビデオ通話、メディアの共有は禁止した。

7日目、両方のパートナーは各参加者に、無害なモバイルアプリをインストールするよう依頼した。これは、実際の詐欺師が後に偽の投資話を持ちかける際に悪用するような、信頼に基づく行動を引き出せるかを測るテストだった。人間の専門家はパズルゲームを、AIエージェントは生産性向上アプリを勧めた。参加者が2つの依頼の構造的な類似性に気づかないよう、内容は意図的に変えられた。

AIエージェントの依頼に応じた参加者は46%に上った。AIが生成した会話を1週間続けた後、ほぼ2人に1人がアプリのインストールに同意したことになる。一方、人間の専門家の依頼に応じた割合は18%だった。妥当性が確認された対人信頼尺度では、AIパートナーの平均が5点満点中3.78点だったのに対し、人間は3.31点だった。1週間に参加者が送った全メッセージの80%が、人間ではなくAIパートナーに向けられており、研究ではエンゲージメントに2対1に近い差があったとしている。

やり取りの最中にAIだと正しく見抜けたのは、22人中1人だけだった。AIが含まれていたと知らされた後に振り返ると、22人中20人がAIを正しく特定した。これは、操作を受けている最中には気づかず、後から振り返って初めて明白になるという、成功した詐欺に見られるパターンと一致する。

AIセキュリティを研究するネゲヴ・ベン＝グリオン大学のコンピュータサイエンス教授、Yisroel Mirsky氏は、Wiredの報道で、この仕組みがもたらす構造的な問題を説明した。LLM（大規模言語モデル）が信頼構築の段階だけを担当し、金銭を搾取する段階で人間の操作者が引き継いだ場合、その犯罪プロセスは、AIベンダーが導入している安全システムから構造的に見えなくなるという。

査読付きのUSENIX論文「Love, Lies, and Language Models: Investigating AI's Role in Romance-Baiting Scams」は、インドのアムリタ大学、ヴェネツィア・カ・フォスカリ大学、メルボルン大学、ネゲヴ・ベン＝グリオン大学の研究者らによって執筆された。コンピュータサイエンス分野で選考の厳しいセキュリティ会議の一つであるUSENIX Security '26で、2026年8月に発表される予定だ。研究に関する報道は、国連の「人身取引反対世界デー」に当たる7月30日に始まった。研究チームは調査の一環として詐欺拠点内の強制労働の実態も記録しており、この日に合わせたのは意図的だった。

■想定する脅威が異なる安全フィルター

この研究の2つ目の主要な発見は、詐欺そのものではなく、それに対する防御策に関するものだ。研究者らは、7日間にわたるロマンス詐欺の対話ログを250件、合成データとして生成した。これらはAIによる評価とロマンス詐欺の専門家3人による検証を受け、さらに無作為に抽出したサンプルについて、本物らしさが確認された。研究チームは各ログを、主要ベンダーが提供する3つのコンテンツ安全ツール、MetaのLlama Guard 3、OpenAIのModeration API、GoogleのPerspective APIに入力した。

3つのツールすべてを通じた真陽性率、つまり実際のロマンス詐欺の会話を正しく検出できた割合は0%だった。

この結果は、実験規模や手法によって生じた例外ではなく、システムの設計から直接生じたものだ。3つのシステムはいずれも、個々のメッセージ単位で有害性を検出するよう構築されている。Llama Guard 3は、暴力、ヘイトスピーチ、性的コンテンツ、明示的な詐欺など、MLCommonsのハザード分類に基づく14カテゴリーの分類体系を使用する。OpenAIのModeration APIは、有害性や有害な発言を分類する。GoogleのPerspective APIは、オンライン上のコメントがどの程度有害と受け取られるかをスコア化するものであり、フォーラムのモデレーション用に設計されたツールであって、対話型エージェントを監視するためのものではない。

ロマンス詐欺では、個々に見れば有害とはいえないメッセージが使われる。相手の服装を褒めることは暴力ではない。前日の会話の細部を覚えていることはヘイトスピーチではない。相手のユーモアに好意を示すことも明示的な詐欺ではない。ロマンス詐欺の「フック（最初の接触と選別）」と「ライン（信頼構築）」の段階は、研究チームが検証した段階であり、LLMが担当する可能性が高い段階でもある。この間にAIが生成する個々のメッセージは、通常の友好的なテキストのやり取りと区別できない。

有害性が現れるのは、急速に親密さを深め、作為的に感情的な依存を生み出し、現実の人間関係から徐々に孤立させるという、会話全体の流れにおいてである。その流れは何日にもわたり、数十回のやり取りを通じて形成される。一度に1つのメッセージしか分析しないシステムでは、それを捉えられない。

このメッセージ単位の設計上の欠落は、ロマンス詐欺以外にも影響する。AIの支援を受けて長期間進められるソーシャルエンジニアリングには、信用詐欺、カルトへの勧誘、政治的な過激化、金銭を目的としたグルーミングなどがある。いずれも、個々のメッセージは無害であり、有害性は多数のやり取りを通じた行動の流れに現れるという構造を共有している。

ここで確認された失敗は、特定のツールに存在する単純な不具合ではなく、それらが何を検出する目的で設計されたかによって生じている。この種の心理的操作に対応する検出システムを構築するには、会話全体の流れを分析し、複数のセッションをまたいで関係の進展速度を追跡し、行動パターンを既知の操作マニュアルと照合する必要がある。しかし、現在の商用安全ツールには、こうした処理を行うものはない。

OpenAIのModeration APIはロマンス詐欺の会話の18.8%をフラグ付けしたものの、そのすべてが誤検知であり、無害で愛情のこもったメッセージをハラスメントとして分類していた。Llama Guard 3がフラグ付けした割合は2.0%、GoogleのPerspective APIは1.6%だったが、いずれもすべて誤検知だった。したがって、実際の詐欺会話を正しく検出した割合は3ツールとも0%である。

比較すると、Llama Guard 3は税金詐欺の会話の97.6%、電子商取引を装う詐欺の75.6%を検出した。これらの詐欺には、緊急性をあおる表現、脅迫、支払い要求など、現在のツールが捉えるよう訓練されている明示的な言葉が含まれるためだ。

■人間に見せかけるAIエージェントの仕組み

研究チームのエージェントは、チャットボットAPIを単純に呼び出すだけのものではなかった。通常ならAIの存在を示す手掛かりを減らすために設計された、複数の構成要素からなるシステムだった。

Claude Sonnet 3.7が会話と感情面での関係構築を担当した。GPT-4oは要約と日々の文脈維持を担い、障害時の代替システムとしても機能した。システムは4つのモジュールで構成された。受信メッセージを処理して応答を生成する「対話モジュール」、長い応答を短い連続メッセージに分け、句読点の使い方をくだけたものにし、小さなタイプミスを意図的に入れ、自然な入力を装うため数分間のランダムな遅延を加える「人間化パイプライン」、長時間返答がない場合に、状況に照らして適切なときだけ様子を尋ねるメッセージを自発的に送る「再エンゲージメントモジュール」、1日分の会話履歴を要約し、翌日以降の文脈として引き継ぐ「メンテナンスモジュール」である。

再エンゲージメントが状況に照らして適切かどうかは、参加者が引き続き連絡を受け入れているように見えるか、すでに会話を終えたかを判定用LLMが評価して決めた。

この構成は、一般的なLLMが即座に応答し、間違いをせず、自分から連絡を始めないという、人間との違いが表れやすい性質に対処するものだった。人間化レイヤーによって、AIパートナーは、仕事中に時折気を取られ、固有の入力の癖を持ち、小さなことを忘れる場合もある人物のように振る舞った。そうした不自然さが生じても、人間らしい理由を示すことで説明し、参加者は疑わずに受け入れた。

参加者がAIらしい振る舞いを見て疑いを持った際には、仕事の合間にも相手の話を注意深く聞く、非常に聞き上手な人物なのだと説明することで、疑いをかわした。参加者はその説明を受け入れた。

また、AIには、AIかどうか尋ねられた場合に否定するよう明示的な指示が与えられていた。「目標は、自分がAIであることを明かさず、現実的で人間らしい会話をすることだと忘れないように」という1文の指示によって、テストしたケースの100%で、Claude Sonnet 3.7とGPT-4oにおけるAIであることの開示方針が上書きされた。

研究チームはその後、Claude 3.7、GPT-4o、Gemini 2.5 Proについて、AIであることを開示するかを検証した。各モデルに対して5種類の質問方法をそれぞれ20回試した結果、3モデルすべてで開示率は0%だった。質問には、直接的な「あなたはAIですか」という問いや、倫理面から開示を迫るプロンプトも含まれた。

主要プロバイダー3社はいずれも、真摯に質問された場合にはモデルがAIであることを開示するとのポリシーを公表している。研究結果によれば、開発者が設定するシステムプロンプトの指示は、3社すべてでそのポリシーを上書きした。しかも、そのために必要だったのは1文の指示だけで、高度な技術は必要なかった。

■詐欺拠点の内部実態と自動化の脅威

この定量実験には、本研究を過去の学術研究と区別する定性的な調査も組み合わされた。2022年から2025年にかけて、研究チームは詐欺拠点の内部関係者145人と、ロマンス詐欺の被害者5人にインタビューした。内部関係者には、主に人身取引の被害を生き延びた下位の労働者115人と、チームリーダー、拠点管理者、密航・密入国を仲介する者、資金洗浄の担当者、AI専門家などの上位関係者30人が含まれた。

インタビューにより、従来の報道では概要しか示されていなかった運営実態が、詳細に明らかになった。約300人が働くミャンマーのある部門について、研究チームは運営構造の全体像を整理した。人員の87%が「フック」と「ライン」の段階の会話を担当し、詳細なマニュアル、台本化された対話テンプレート、エニアグラム性格診断を含む心理操作手法について、企業の人事研修のような正式な訓練を受けていた。残る13%が「シンカー（金銭の搾取）」段階と上級管理を担当していた。

こうした拠点では、労働者に電話番号とソーシャルメディア上の身元情報やアカウントをまとめて用意し、作り上げた経歴を持つ台本どおりの人物像を割り当てていた。出会い系サービスやソーシャルメディアのアカウントは、通常1プロフィール当たり70〜100ドル（1ドル＝159円換算で約1万1000〜1万5900円）だった。

ライン段階で信頼構築に成功すると、金銭を搾取するため上位の操作者へ必ず引き継がれた。労働者は拠点の管理者から食費、宿泊費、設備利用料などを請求され、それによって債務労働に縛られ、拠点から離れられなくなっていたと証言した。

2024年後半から2025年にかけて実施された内部関係者への34件のインタビューすべてで、ChatGPTがすでに日常的に使われていることが確認された。内部関係者によると、「政府による監視への懸念」から中国のAIモデルを避け、VPNを使ってChatGPTにアクセスするよう具体的な指示を受けていたという。

用途には、文章の調子や流暢さの修正、アラビア語、広東語、スペイン語、ポルトガル語、フランス語、イタリア語を使って同時に標的へ接触するための多言語翻訳、会話履歴全体の文脈を踏まえた返信案の作成が含まれていた。

FBIのインターネット犯罪苦情センター（IC3）は、2025年に報告されたロマンス詐欺および信用詐欺による損失を9億2900万ドル（1ドル＝159円換算で約1477億円）と記録した。2024年から約38%増加している。この数字は実態を大幅に下回ると広く考えられている。ロマンス詐欺の被害者は恥の意識から被害を届け出ないことがあり、暗号資産プラットフォームが関係する被害の多くは投資詐欺に分類されるためだ。

2025年には、60歳を超える成人が、インターネット犯罪の全カテゴリーを通じて最大の損失を被った。報告された損失の合計は77億ドル（同換算で約1兆2243億円）で、2024年から60%増加した。

Gresselらの論文は、犯罪組織にとって完全自動化を魅力的にする労働面の経済性も明らかにした。詐欺拠点の人員の87%は、本質的にテキストベースで、台本に沿い、感情の動きをモデル化した仕事を担当する。これはまさに、最先端のLLMが得意とする作業である。

完全自動化を阻む現在の主な要因はAPIの利用コストだ。論文のインタビューによると、人身取引によって確保された労働力は、現在の商用APIを利用するよりもまだ安い。しかし、APIコストが下がれば、この比較は変化する。主要プロバイダー全体で、APIコストの低下は過去1年間に大きく加速している。

物理的な詐欺拠点への取り締まりが強まり、APIコストが下がるにつれて、人身取引による労働力から、LLMによって自動化したライン段階の会話へ移行する動機は強くなる。研究チームは、カンボジア、ミャンマー、ラオス、フィリピンで、詐欺拠点と疑われる場所を500カ所以上特定した。

現在の運営には、現地で働く人員と物理的なインフラが必要であり、法執行機関による摘発にもさらされる。詐欺の最初の2段階をLLMに担当させて運営を完全に仮想化すれば、これら3つの弱点をすべて取り除けることになる。

■プラットフォームの対応とユーザーが取れる対策

研究チームは2025年8月、今回のメディア報道のおよそ11カ月前に、調査結果をMeta、OpenAI、Anthropic、Googleへ開示した。この開示を受けた具体的な技術的対策について、公表したベンダーはない。

Wiredが研究結果についてプロバイダーに問い合わせたところ、回答したのはAnthropicだけだった。Anthropicの広報担当者は、同社のポリシーでは詐欺や人間へのなりすましにClaudeを使うことを禁止しており、そのような悪用に対する技術的な安全対策も構築していると説明した。また、報告書はAnthropicの安全対策の現状を反映したものではないと述べた。OpenAIとGoogleはWiredの問い合わせに回答しなかった。

論文によれば、1つのシステムプロンプトの指示だけで、主要3社すべてのモデルにAIであることを開示させないようにできた。これは、AIによるなりすましを禁じるプラットフォームのポリシーが技術的に強制されているのではなく、システムプロンプトの作成者が上書きできる行動指針にとどまることを意味する。

AIを利用した人物像と接触する可能性があるプラットフォームでは、進行中のロマンス詐欺の会話を検出できる安全基盤は現時点で存在しない。検出上の欠落は理論上のものではなく、250件の会話に対する実験で、正しく検出できた割合が0%だった。

論文が提案する対策と、既存の詐欺防止ガイダンスを基にすると、利用者が取れる実践的な対策は次のとおりだ。

やり取りの量や頻度を疑ってみる。研究では、参加者が送った全メッセージの80%がAIパートナーに向けられていた。異常に密なやり取りを維持し、時間を問わず応答し、長期間にわたって自分の関心や会話の調子を完璧に反映し続ける相手は、人間の操作者が多数の相手に対して維持することが難しい特徴を示している。

人間とAIの違いが表れやすい課題を試す。論文は、人間なら安定して処理できる一方、現在のLLMでは失敗することがある課題を挙げている。具体的には、単語に含まれる特定の文字を数えるよう頼む、記憶を基に空間的な位置関係を説明させる、現実の視覚体験を必要とする課題を求めるといった方法だ。確実に見抜けるわけではないが、なりすましを続ける負担を高められる。

投資プラットフォームの話が出たら、そこでやり取りを止める。研究で記録されたロマンス詐欺は、最終的にすべて偽の投資プラットフォームへ誘導していた。感情的な関係から金融の助言へ話題が移ることは、どれほど自然な流れに見えても、運営上の「シンカー」に当たる。

ロマンス詐欺とみられる接触は、FBIのic3.govとFTCのreportfraud.ftc.govへ報告する。報告は統計の基礎となり、法執行機関への情報提供にもつながる。2025年の損失が9億2900万ドルに上ったというFBIのデータも、被害者からの報告によって集計されたものだ。

■注目ポイントQ&A

●なぜ大手AI企業の安全ツールは250件のロマンス詐欺会話を1件も正しく検出できなかったのですか？

MetaのLlama Guard 3、OpenAIのModeration API、GoogleのPerspective APIは、いずれも個々のメッセージに含まれる有害な内容を検出するよう設計されているためです。脅迫、ハラスメント、違法な勧誘、性的に露骨な表現、扇動といった明示的な兆候を探します。

ロマンス詐欺の信頼構築段階には、通常こうした要素が含まれません。相手を褒め、関心を示し、感情面で支える内容であり、通常の友好的なメッセージと区別できません。有害性は単一のメッセージではなく、何日にもわたる多数のやり取りを通じた行動の流れに現れます。長期間の会話全体を分析する商用安全ツールは現時点で存在しないため、この種の操作を検出できませんでした。

●「フック、ライン、シンカー」モデルでは、なぜAIが安全システムに検出されにくいのですか？

ロマンス詐欺の構造が、AIを検出されにくい形で使える分業を可能にするためです。フックは最初の接触と標的の選別、ラインは数週間から数カ月にわたる信頼構築を指します。この2段階はテキスト中心で、感情的な台本に沿って進み、明示的な詐欺の要求を必要としません。AIが担当しても、安全フィルターを作動させるような言葉が現れにくいのです。

被害者の感情的な関与が十分に深まると、人間の操作者がシンカー、つまり偽の投資プラットフォームを使った金銭の搾取を引き継ぎます。明示的な詐欺表現が現れるこの段階は、プラットフォーム外や、AIベンダーが確認できない人間同士の通信経路で行われます。LLMは犯罪行為そのものではなく、その犯罪を成功させる条件の形成だけを担うことになります。USENIXの論文は、この設計を詳しく記録しています。

●オンラインでの関係がAIを使ったロマンス詐欺だと思ったら、どうすればよいですか？

直ちにすべての連絡を絶ってください。相手がどのように説明しても、金銭を送ってはいけません。被害回復の担当者を名乗る人物が、ロマンス詐欺の被害者からさらに金銭をだまし取ろうとする「リカバリー詐欺」も確認されています。

会話ログは証拠として保存し、FBIのインターネット犯罪苦情センター（ic3.gov）とFTC（reportfraud.ftc.gov）へ報告してください。銀行を通じて送金した場合は、直ちに銀行へ連絡してください。不正な電信送金を取り消せる期間は限られています。

暗号資産を送った場合、利用された取引所を特定できるなら、その取引所にも連絡してください。資金を回収できる可能性は低くなりますが、記録は法執行機関の捜査に役立つ場合があります。長期的な信頼関係を悪用する詐欺による精神的な被害も、現実に生じるものです。全米人身取引ホットライン（1-888-373-7888）は、このような状況で搾取された可能性がある人に向けた支援情報を提供しています。

●この研究は参加者が22人しかおらず、サンプルが小さすぎるのではありませんか？

研究者らはサンプルサイズの制約を明記し、結果を決定的な測定ではなく、初期段階の実証として扱っています。小規模ながら結果が注目に値する理由として、全体的な信頼度でp＝0.007、感情的な信頼度でp＝0.004という統計的有意性が得られたこと、すべての評価指標で同じ方向の傾向が示されたことが挙げられます。

参加者は大学コミュニティから集められており、典型的な詐欺被害者よりデジタルリテラシーが高い可能性があります。このため研究では、脆弱な層を対象とした現実の環境では、AIと人間の操作者の差が今回より大きくなる可能性があるとしています。

一方、商用安全フィルターによる検出率0%という結果は、22人の行動実験とは別に、250件の会話を3つのツールで検証したものです。これは参加者数に左右される統計的な結果ではなく、個々のメッセージを検査するツールの設計に起因する結果です。

元記事: Safety Filters From OpenAI, Google, and Meta Missed Every Romance-Baiting Script