京大、人工知能の性能を分野を問わず評価する手法開発　世界初　

　AI（人工知能）が社会において躍進すること著しい。その利用領域の多様性については語るまでもなく、また語り切れるものでもないわけであるが、しかし果たして、AIたちはみながみな「有能」であるのだろうか？仮に有能であるとしても、我々人間はどのような基準をもってAIの能力を測定・評価すればいいのだろうか？そのための研究開発が京都大学大学院医学研究科のJ.B.Brown講師によって行われた。

【こちらも】大日本印刷、AIにより店頭の売場評価　画像データからリアルタイム分析

　どういうものかというと、可視化グラフを用いた統計的分析によって、AIの性能評価指標そのものを網羅的に検証し、分野を問わないAIの性能評価法を開発したのである。世界初であるという。

　AIの性能を評価する指標は既にいくつか存在してはいた。代表的なのはTPR（True Positive Rate:真陽性率）と ACC（Accuracy:正確率）である。しかし、これらは本当にAIの評価基準として最適なものだと言えたのだろうか？そこに疑義を挟んだのが今回の研究だ。

　現実問題として、AIのたてた分析や予測がその後の人為的な検証によって意外と正しくなかったということはよく起こっているらしい。二項分類モデルと呼ばれるデータ分類法では、正しく陽性と判断する、正しく陰性と判断する、誤って陽性と判断する、誤って陰性と判断するという四つの結果がある。その結果によって評価する手法が用いられていたわけだが、それは本当に適切なAIの評価方法だったのかが問題だ。

　今回の研究では、AIの性能をヒートマップ（可視化グラフ）とと iCDF（Inverse Cumulative Distribution Function:逆累積分布関数）を使った統計学的な解析によって検証した。

　結果として、AIの性能指標は過去に予測されていたほど正しいとは限らず、実験データを分析させる以前に、AIの評価指標そのものを十分に吟味するべきであることが明らかになったという。

　なお研究の詳細は、米国の科学誌「Molecular Informatics」に掲載されている。（記事：藤沢文太・記事一覧を見る）