世界初、数値予測モデルにおいて環境変化に自律適応可能なAIアルゴリズムを開発 ～教師なしデータのみでセンサデータなどの回帰予測精度を維持～

発表のポイント：

深層学習において、数値予測モデル（回帰モデル）を学習時と運用時（テスト時）の環境変化に自律的に適応させるAIアルゴリズム「テスト時適応技術」を世界で初めて開発しました。
本成果では、学習環境と運用環境の特徴ベクトル分布を近づけるようにモデルを補正することで、安定して高い適応性能を達成しました。
データ分析AIにおけるMLOpsの大幅なコスト削減、大規模言語モデル(LLM)など多様なAIモデルの性能向上を実現します。

　日本電信電話株式会社（本社：東京都千代田区、代表取締役社長：島田　明、以下「NTT」）は、深層学習において、数値予測モデル(回帰モデル)を学習時と運用時の環境変化に自律的に適応させるAIアルゴリズム「テスト時適応技術」を世界で初めて開発しました。本成果は、学習済みの回帰モデルが運用環境に置かれた際に、運用環境から得られる教師なしデータのみを用いて自律的に適応することを可能にします。これにより、モデル学習時と運用時の環境変化による精度低下を防ぐことができ、MLOpsやデータ分析AIの高度化など、次世代AI技術の研究開発に貢献すると期待されます。
　なお、本成果は2025年4月24日から28日まで、シンガポールで開催される深層学習分野における最難関国際会議International Conference on Learning Representations (ICLR) 2025 (*1) において発表されます(*2)。

1．背景
　入力データから連続値を予測する回帰モデルは、センサデータや時系列予測など製造・医療・金融分野をはじめとして多様な事業分野で様々な応用があり、実用上重要なモデルです。深層学習モデルは一般的に、学習データセットによる訓練を行うフェーズと、実際にモデルを使用する環境（運用環境）から得られるデータに対して予測を行うフェーズの2段階で実用化されます。通常の深層学習手法は、学習環境と運用環境が同一であることを仮定しています。しかし、実際には運用環境は、例えば画像では明るさや周囲の物体、センサでは測定環境の変化や機器の劣化など、時間とともに学習環境と異なってしまうことが多く、異なる傾向を持つデータが入力されることで精度が低下してしまうことが課題となっています。運用環境でモデルの精度を維持するためには、学習段階で運用環境のデータを入手して学習に用いる方法や、運用環境のデータにアノテーションを行い、モデルを追加学習させる方法などがありますが、いずれもコストが高いことや、運用環境のデータを事前に収集することが困難であることが課題です。本研究では、学習後のモデルを運用環境の教師なしデータのみを用いて自律的に適応させる「テスト時適応技術」に着目し、回帰モデルにおいてテスト時適応に取り組みました。
　また、近年、分類モデルに対するテスト時適応については様々な研究が進んでいますが、分類モデルに特有の構造を前提としています。分類モデル向けのテスト時適応手法では、モデルの予測出力の確信度を計算し、確信度が高まるようにモデルを更新する手法が主流です。具体的には確信度を計算するためには、各クラスの予測確率（例：猫80%、犬10%、鳥5%、・・・）が必要になります。しかし、一般的な回帰モデルでは分類モデルとは異なりクラスがなく、出力も確率ではない実数値であるため確信度の計算ができず、従来のテスト時適応手法を使うことができません。

2．研究成果の概要
　本研究では、まず回帰モデルの特性を分析し、分類モデルとは異なる特性として「深層回帰モデルの中間層の特徴ベクトルは、高次元空間のごく一部の部分空間に集中している」ことを発見しました。これをもとに、未知の運用環境の特徴分布を、学習環境の特徴分布に整合させる手法を提案しました。また、特徴空間のほとんどの次元はモデルの出力への寄与が小さいことから、特徴ベクトルが集中している部分空間の分布を優先的に整合させることにより、回帰モデルにおける適応性能が大きく向上することを実験的に示しました。
　様々なベンチマークで本手法と他の適応手法の比較を行い、本手法が安定して高い適応性能を達成することを実験的に確認しました。図1は(1)Webカメラの画像から頭部の姿勢（角度）を推定するタスクと(2)顔画像から年齢を推定するタスクで予測精度を比較した図です。適応を行わない場合や、分類モデル向けに設計された適応手法を単純に回帰へ適用した手法では、精度が大きく低下したまま回復しなかったり、かえって精度が悪化したりするケースが見受けられました。一方で、本手法は安定して精度向上が実現できており、教師ありデータを用いて再学習した場合に近い性能を達成したケースも見られました。
　

[画像1]https://digitalpr.jp/simg/2341/106052/700_414_2025031714113367d7af05029d5.png


図1　モデル適応後の運用環境データに対する予測精度の比較

(R²、1に近いほど予測精度が高いことを表す)

図2に年齢推定の例を示します。ノイズのない画像に対し適応前のモデルは正解に近い予測値を出力できています。一方、ノイズの乗った画像に対し適応前のモデルは不正確な予測値を出力していますが、適応後のモデルは正解に近い出力ができています。
　

[画像2]https://digitalpr.jp/simg/2341/106052/700_481_2025031714113367d7af058df2b.png


図2　年齢推定のモデル適応前後の例　－UTKFaceデータセット(*3) より抜粋－
左：学習環境を想定したノイズのない画像：適用前のモデルは正解に近い年齢を予測できている。
右：運用環境を想定したノイズの乗った画像：適応前のモデルの予測は大きく正解から外れているが、本技術による適応後のモデルは正解に近い年齢を予測できている。

3．技術のポイント
ポイント①: 特徴ベクトル分布の整合によるテスト時適応
　学習環境とは異なる傾向を持つ運用環境データが入力されると、モデル中間層の特徴ベクトル分布も学習時からずれてしまいます。そこで、学習環境で特徴ベクトルの統計量を事前計算して保存しておき、運用環境データの特徴ベクトルから計算される統計量が一致するようにモデルを更新します。本手法はモデルの出力形式を問わないため、回帰モデルに適用することが可能になりました。

ポイント②: 特徴空間の「有効な部分空間」の活用
　回帰モデルでは特徴空間の多くの次元がほぼ利用されない（分散がゼロに近い）状態になっており、すべての次元をむやみに整合しようとすると逆に精度が低下してしまうことがわかりました。そこで、回帰モデルが実際に活用している「有効な部分空間」を検出し、その部分だけを正確に整合させる仕組みを導入しました。本手法により、出力への影響が大きい部分空間が優先的に扱われることで大きく性能が向上しました。
　

[画像3]https://digitalpr.jp/simg/2341/106052/700_418_2025031714113367d7af050f123.png


4．今後の予定
　本成果は、実用性が高いにも関わらずこれまで研究が進んでこなかった回帰モデルにおけるテスト時適応技術を確立しました。本技術は、モデルの出力形式に依存しないため、製造・医療・金融をはじめとした多様な事業分野で活用されているデータ分析AIに組み込むことで、環境変化に対する精度低下を防ぐことができ、MLOpsの大幅なコスト削減につながることが期待されます。また、この知見は、マルチモーダル基盤モデルにおける画像や数値データにおける天候変化・センサ劣化など環境変化に対して、回帰タスク以外のタスクにも応用できると考えられ、AIの適用領域拡大に貢献してまいります。

【用語解説】
(*1) ICLR 2025
機械学習に関するトップレベルの国際会議。
URL： https://iclr.cc/Conferences/2025

(*2)発表内容
タイトル： Test-time Adaptation for Regression by Subspace Alignment
著者： 足立 一樹、熊谷 充敏、山口 真弥 (コンピュータ&データサイエンス研究所)、濱上 知樹 (横浜国立大学)
URL： https://openreview.net/forum?id=SXtl7NRyE5

(*3) UTKFaceデータセット
顔画像の年齢推定の学習・評価を行うための公開ベンチマーク。
URL： https://susanqq.github.io/UTKFace/