会話相手が応答をAIで生成と感じる、評価は否定的なものに　米国での研究

headless 曰く、　米コーネル大学などの研究グループがコミュニケーションにおける生成系 AI の利用による影響を 2 つの実験で検証している(論文、The Register の記事)。

研究では Google のスマートリプライを利用したメッセージのやり取りを調査可能なツール「Moshi」を開発し、Mechanical Turk で募集した被験者を 2 人ずつランダムに組み合わせて討論させている。

実験 1 はスマートリプライを (1) 両方が利用可能、(2) 自分だけが利用可能、(3) 相手だけが利用可能、(4) 両方とも利用できない、という 4 つの条件に分けて実施。会話の完了後にスマートリプライの定義を説明し、相手がスマートリプライを利用したと思われる頻度や内容の正確さ、合意度などを質問している。その結果、スマートリプライを使用することでコミュニケーションの速度や肯定的な言葉の使用が増加し、相手とより近く協力的になったと感じる反面、相手が応答にアルゴリズムを使用していると予想した時にはより否定的な評価が行われたそうだ。

実験 2 ではスマートリプライによる応答内容を (1) 標準的、(2) 肯定的な応答に限定、(3) 否定的な応答に限定、(4) なし、の 4 条件に分け、それぞれの会話内容の感情値を示す VADER スコアで評価している。結果としては否定的な応答の示唆が感情をより否定的な方向に導き、肯定的な応答の示唆が感情をより肯定的な方向に導いたとのこと。

　スラドのコメントを読む | サイエンスセクション | 通信 | 人工知能 | サイエンス

　関連ストーリー：
Samsung、従業員が ChatGPT に社内情報を流出させるトラブル 2023年04月09日
「GPT-J」ベースのAIアバターとのチャットにのめり込んでいた男性、自殺願望をケアされず自殺 2023年04月06日
GPT-4によって淘汰されるであろう仕事リスト 2023年03月23日
ニンジャスレイヤー、3か月かけてChatGPTにニンジャの概念を教育 2023年03月15日
Bing の日間アクティブユーザー数、1 億人を超える 2023年03月11日