数学特化の大規模言語モデル「WizardMath」

米Microsoftと中国科学院の研究者が「WizardMath」という大規模な数学特化の言語モデルを開発した（論文、ITmedia）。このモデルは、数学的な推論能力を向上させることを目指している。このモデルは、オープンソースの事前学習済み大規模言語モデル（LLM）である「Llama-2」に対して適用することで実現する。Llamaモデルシリーズはオープンソースの大規模言語モデルで、クローズドソースのモデルとの差を縮める役割を果たしているが、数学や科学のような多段階の推論が求められる場面には課題があったとされる。

研究ではこの問題点に着目し、Llama-2の数学的推論能力を向上させる手法「WizardMath」を提案。「Reinforcement Learning from Evol-Instruct Feedback」（RLEIF）という新しい手法を用いてLlama-2の数学的推論能力を向上させたという。実験の結果、WizardMathは数学的推論ベンチマークであるGSM8kとMATHにおいて、他のオープンソースの言語モデルを大きく上回る性能を示したそうだ。具体的には、GSM8kでは+24.8、MATHでは+9.2の向上が見られたとのこと。また、OpenAIのChatGPT-3.5やAnthropicのClaude Instant-1、GoogleのPaLM-2などのモデルに比べても、特にGSM8kの成績においてはWizardMathは優れた性能を発揮していたとしている。

Kuritsukasa 曰く、　AGIに近づいているかと思われていたAI開発だけど、ここに来て数学特化型のLLMが登場

　スラドのコメントを読む | サイエンスセクション | テクノロジー | 人工知能 | 数学

　関連ストーリー：
デスクトップ版Brave Nightly、AIアシスタント「Brave Leo」が利用可能に 2023年08月26日
商用利用禁止のAI言語モデルがオープンソースと称して公開され、騒動に 2023年08月22日
AIの学習データが不足する「2026年問題」 2023年07月26日
米Meta、生成AI「Llama 2」商用版を無料で提供へ 2023年07月24日