GPT-4でロボットを操作する技術 パナソニックコネクトと立命館大学開発
2023年6月24日 11:12
パナソニックコネクトと立命館大学は、大規模な言語モデルと世界モデルを組み合わせたロボット制御システムを開発した。このシステムでは、OpenAIの言語モデル「GPT-4」を使用する。人間の指示（プロンプト）をGPT-4を使用してロボット用のコードに変換するというもの。実行不可能なコードは排除され、指示を工夫することで、ほぼロボット制御に使用できるコードが生成されるのだという。コードを基に世界モデルの「ニュートニアンVAE」でロボットの動きを生成する（ニュースイッチ）。 例えば、「赤いブロックを青い円柱に重ねる」という指示が与えられると、ロボットは対応する映像を読み取り、その状態に近づけるためにハンドを動かすそうだ。位置の計測や軌道の計算などは必要ないという。積み木を使用した実験では、10回中10回成功、また「太陽の色のブロックを海の色の円柱に乗せる」といった指示にも対応し、GPT-4の言語理解能力が活かされているとしている。ただ現状、世界モデルが学習していない情報には対応が難しいとのこと。