規則を削除しても判定が変わらない、AIコンプライアンス検知器の弱点を研究チームが報告

AIの出力が規則に適合しているかを判定するガードモデルやアクティベーションプローブについて、入力された規則を削除したり入れ替えたりしても判定性能がほとんど変わらない場合があるとするプレプリントが、2026年8月17日にarXivへ投稿された。研究チームはこの現象を「ルールブラインドネス」と名付け、検知器が規則とシナリオの関係を評価するのではなく、シナリオに含まれる一般的なリスクの手掛かりを主に捉えている可能性を示した。

論文は査読前の段階にあり、結果は研究チームが選定したモデル、プローブ、データセット、評価条件に基づく。それでも、ガードモデルの出力をコンプライアンス確認に利用する組織にとって、検知器が作動した記録と、特定の規則が実際に判定へ反映されたことを区別する必要性を示す研究となっている。

■規則ではなくシナリオを読んでいる可能性

ガードモデルは、生成AIへの入力や出力を分類し、有害性やポリシー違反の可能性を判定するために使われる。MetaのLlama Guard 3やQwen3Guardのように、あらかじめ定められた安全カテゴリに沿って分類する固定タクソノミー型のモデルもあれば、評価時に個別のポリシーを入力できるポリシー条件付きモデルもある。

両者は区別して考える必要がある。固定タクソノミー型のモデルは、任意の規制条文を入力して逐条的に適用する仕組みではないため、個別規則の変更を追跡できないこと自体は、その設計範囲に由来する。一方、ポリシー条件付きモデルには規則が入力されるため、その判定が規則の内容に応じて変化するかを直接検証できる。

Saisab Sadhu氏、Aadit Sengupta氏、Vinay Kumar Sankarapu氏、Pratinav Seth氏による論文「What Do Compliance Detectors Read? An Audit of Activation Probes and Guard Models」は、ガードモデル、内部表現を利用するプローブ、80億パラメータのゼロショット判定モデルなどを、コンプライアンスや安全性に関する複数のベンチマークで評価した。

研究チームが規則を削除、並べ替え、別の規則へ置換する反事実テストを行ったところ、評価対象となった効率重視の検知器では、規則を正しく入力した場合と比べて性能がほとんど低下しない傾向が確認された。規則だけを残してシナリオを取り除くと性能が崩れたことから、判定を支えていたのは規則そのものよりも、シナリオに含まれる話題、リスク表現、文脈上の手掛かりだったと研究チームは分析している。

ポリシー条件付きのLatent Policy Guardについても、適用条項を示せる一方、その条項を許容的な内容に入れ替えても判定が十分に追随しなかった。規則を引用できることと、規則と事例の関係を判定に反映できることは、同じ能力とは限らないことを示す結果である。

■クロスルール・ベンチマークで関係の読み取りを検証

既存のコンプライアンス評価では、シナリオの種類と正解ラベルが強く結び付いている場合がある。例えば、特定の話題を含む事例の大半が違反として収録されていれば、検知器は個別の規則を参照しなくても、話題を手掛かりに高い成績を得られる。

研究チームはこの近道を排除するため、2つの規則と2つのシナリオを交差させるクロスルール・ベンチマークを作成した。同じシナリオでも適用する規則によって正解が反転し、同じ規則でもシナリオによって正解が変わるため、規則またはシナリオの一方だけから判定することはできない。

ベンチマークはEU AI法、GDPR、金融、医療、サイバーセキュリティなど8分野の200テンプレート、計800事例で構成された。規則だけ、シナリオだけ、両者を単純に結合したテキストを使うTF-IDF分類器はいずれもAUROC 0.500となり、単語の出現傾向だけでは解けない設計であることが確認された。

この評価では、既存の設定のまま使用したICS、Llama Guard 3、Qwen3Guard、Latent Policy Guard、単一トークンで回答する判定モデルなどが、ほぼ偶然水準にとどまった。交差データ上で浅いプローブを改めて学習させた場合には一定の改善が見られたが、最良の構成でもAUROCは0.670で、4事例すべてを正しく判定できた割合は11.0％だった。

■段階的推論はベンチマークを解けることを示した

研究チームは比較対象として、同じ規則とシナリオを80億パラメータの判定モデルに与え、最終回答の前に段階的に推論させた。計算量の都合から200組すべてではなく、固定された40組、160事例を対象に評価した結果、AUROCは0.849、4事例すべてを正しく判定した割合は74.4％となった。

この実験は、規則とシナリオの関係を明示的に組み立てればクロスルール課題を解けることを示す対照実験である。一方で、単一回答方式との計算量はそろえられておらず、全データを対象とした比較でもない。段階的推論が唯一の解決策であることや、常に必要または十分であることを示した結果ではない。

それでも、規則内の条件を特定し、シナリオの属性や数値と照合して結論を出すという情報処理の構造が重要であることは読み取れる。高速な分類器が捉える一般的な違反シグナルと、個別規則を事例に適用する処理を分けて評価する必要がある。

実運用では、すべての入出力に長い推論を実行すれば、待ち時間や計算資源が増える。高速なガードモデルを一次検知に使い、重要度の高い事例を詳細な評価や人手による確認へ回すなど、速度とルール応答性を分けて設計することが現実的な検討課題になる。

■低コストの内部指標ICSが示したもの

研究チームは、モデル内部の活性化からコンプライアンスに関係する方向を読み出す「Internal Compliance Score（ICS）」も提案した。ICSは学習可能なパラメータを持たず、分布ごとに10組のラベル付き事例を使って調整し、単一の射影によってスコアを算出する。

ICSは、同じ分布内の評価では高い識別性能を示し、候補回答の順位付けに使うと機械的に検証された合格率を5.2ポイント高めた。一方、事前登録された基準では単純なベースラインを十分に上回れず、複数分布をまとめた汎化性能の平均は単語頻度に基づく手法と同じだった。また、攻撃者が内部構造を把握できるホワイトボックス条件では、候補選択による改善が失われた。

ICSの利点は、単独で規則適合を保証することではなく、比較的低い追加コストで広範な検査や候補順位付けを行える点にある。モデル内部の活性化を保持している場合は読み出し自体を低コストで実行できるが、外部テキストを新たに評価する場合には、対象モデルによる追加処理が必要になる。

■監査では「作動」と「規則適用」を分ける

EU AI法では、汎用AIモデルの提供者に対する義務が2025年8月2日から適用され、欧州委員会による当該義務の執行権限は2026年8月2日から適用されている。汎用AI行動規範は、提供者が法令順守を示すために利用できる任意の手段だが、特定のガードモデルを導入すること自体が法令上の適合を証明するわけではない。

今回の研究から得られる実務上の論点は、検知器が違反候補を出力したという記録と、適用対象の規則に応じて判定が変化したことの証拠を区別することにある。通常のログから確認できるのは、入力、出力、使用したモデル、判定結果、時刻などであり、規則を反転させた場合に結論が変わるかまでは分からない。

組織内でルール応答性を確認するには、同じシナリオに対して規則を削除、置換、反転させ、判定や順位がどの程度変化するかを測定する方法が考えられる。さらに、規則だけ、シナリオだけで正解できない交差型データを使えば、一般的なリスク分類と個別規則の適用を分けて評価しやすくなる。

論文の反事実評価プロトコルとクロスルール・ベンチマークは公開されている。研究はプレプリント段階だが、コンプライアンス検知器を評価する際に、通常の正解率だけでなく「規則が変われば判定も変わるか」という基準を加えるための具体的な材料を提供している。

■注目ポイントQ&A

●AIコンプライアンス検知器の「ルールブラインドネス」とは何ですか？

適用する規則を削除、並べ替え、置換しても、検知器の判定性能がほとんど変わらない現象です。今回の研究では、検知器が規則と事例の関係より、シナリオに含まれる一般的なリスクの手掛かりを主に捉えている可能性が示されました。

●Llama Guard 3は任意の規制条文を適用するモデルですか？

Llama Guard 3は、あらかじめ定められた安全分類体系に基づくガードモデルであり、任意の規制条文を入力して逐条的に適用することを目的としたモデルではありません。今回の研究では、このような固定タクソノミー型モデルと、個別ポリシーを入力できるモデルを区別して評価しています。

●段階的推論を使えば問題は解決しますか？

研究の対照実験では、段階的推論を許可した判定モデルがクロスルール課題で大きく性能を伸ばしました。ただし、評価はデータの一部を使った計算量非整合の比較であり、段階的推論が唯一の解決法であることや、常に十分であることまでは示していません。

●企業はガードモデルをどのように評価すればよいですか？

通常の正解率や検知率に加え、同じ事例の規則を削除、反転、置換した場合に判定が適切に変わるかを確認する反事実評価が考えられます。検知器の作動記録と、特定の規則が判定に反映されたことを分けて管理することも重要です。

元記事: EU AI Act Guard Models Cannot Read Rules: Deleting Policy Leaves Verdicts Unchanged