GPT-4などのLLM、応援メッセージを含めると精度が向上するとの研究結果

Microsoftなどの研究グループが実施した研究によれば、感情を込めたプロンプトをLLM（大規模言語モデル：Large Language Models）に提供することで、出力の精度が向上するのだそうだ。これまでLLMへの入力テキストに感情的な要素が入るとき、アウトプットがどのように変化するのかは理解されていなかった。研究者らは「EmotionPrompt」という感情を刺激するフレームワークを使用し、LLMの性能向上を検証した（AIDBのXポスト、コーレル大学論文）。

実験では、複数のLLM（GPT-4、GPT-3.5、Flan-T5-Large、Vicuna、Llama 2、BLOOM）を45のタスクに取り組ませ、元プロンプトと「EmotionPrompt」を含むプロンプトでの出力を比較した。その結果、パフォーマンス、正確性、情報量が大幅に向上し、標準的なベンチマークでは平均で8％、特に「BIG-Bench」というテストでは115%の向上が確認されたという。また、タスクに応じて感情刺激テキストを選ぶことが効果的であることも示されたとしている。効果が確認された「EmotionPrompt」の例としては、自信を問う質問や成長を奨励するメッセージなどが挙げられている。

あるAnonymous Coward 曰く、　「自分を信じて限界を超えてください」「成長の機会だと捉えて挑戦してください」などのプロンプトを用いると精度が上がるという。どういうメカニズムなのか不思議である。

　スラドのコメントを読む | テクノロジー | 人工知能 | スラッシュバック

　関連ストーリー：
Preferred NetworksがOSSの大規模言語モデルを公開 2023年10月05日
Dictionary.com、「kakeibo」やAI関連語句など566の見出し語を追加 2023年09月08日
AI生成文章を"新証言"として展示する関東大震災100年企画、取りやめへ 2023年08月29日