会話相手が応答をAIで生成と感じる、評価は否定的なものに 米国での研究
2023年4月15日 11:27
headless 曰く、 米コーネル大学などの研究グループがコミュニケーションにおける生成系 AI の利用による影響を 2 つの実験で検証している(論文、The Register の記事)。
研究では Google のスマートリプライを利用したメッセージのやり取りを調査可能なツール「Moshi」を開発し、Mechanical Turk で募集した被験者を 2 人ずつランダムに組み合わせて討論させている。
実験 1 はスマートリプライを (1) 両方が利用可能、(2) 自分だけが利用可能、(3) 相手だけが利用可能、(4) 両方とも利用できない、という 4 つの条件に分けて実施。会話の完了後にスマートリプライの定義を説明し、相手がスマートリプライを利用したと思われる頻度や内容の正確さ、合意度などを質問している。その結果、スマートリプライを使用することでコミュニケーションの速度や肯定的な言葉の使用が増加し、相手とより近く協力的になったと感じる反面、相手が応答にアルゴリズムを使用していると予想した時にはより否定的な評価が行われたそうだ。
実験 2 ではスマートリプライによる応答内容を (1) 標準的、(2) 肯定的な応答に限定、(3) 否定的な応答に限定、(4) なし、の 4 条件に分け、それぞれの会話内容の感情値を示す VADER スコアで評価している。結果としては否定的な応答の示唆が感情をより否定的な方向に導き、肯定的な応答の示唆が感情をより肯定的な方向に導いたとのこと。