アイデミー、LLMによる出力の品質管理を行うクラウドサービス「LLM品質管理クラウド」を開発へ
2024年10月11日 18:15
■RAGシステムの品質評価の煩雑さを大幅に削減
アイデミー<5577>(東証スタンダードは11日、LLM(Large Language Models:大規模言語モデル)が生成する出力結果の品質を評価・管理する新しいクラウドサービス「LLM品質管理クラウド」をリリースすると発表した。同サービスは、企業や組織がRAG(Retrieval-Augmented Generation)システムに代表されるLLMを活用したシステムをより安心して活用できる環境を提供するために、生成結果の品質評価の手間とコストを削減することを目指している。
生成AIの急速な発展により、多くの企業や組織が日常業務や戦略的活動に生成AIを取り入れるようになっている。生成AIは、資料作成、コーディング、カスタマーサポート、マーケティングなど、多岐にわたる分野で革新的なソリューションを提供している。その中でも社内ドキュメントの検索を組み合わせることで回答精度を向上させることができるRAGシステムの需要は高まっている。
しかし、RAGシステムであっても、その出力結果が不正確であったり、倫理的・法的なリスクをはらんでいたり、バイアスを含んでいたりする可能性がある。また、LLMによる出力は、同一のプロンプトであっても一字一句同じとは限らないため機械的な評価がしづらく、目視でチェックしたりLLMによってチェックをする仕組みを整えたりする必要があり、非常に煩雑である。さらに、一度チェックしたからOKというわけではなく、LLMのアップデートによって出力が変化する可能性があるため、継続的に管理する仕組みが必要になる。
「LLM品質管理クラウド」は、LLMによる出力の評価を自動で行う仕組みを提供し、評価結果を継続的に蓄積。RAGシステムの改善につなげていくことで、企業が生成AIの活用をさらに推進していける環境の提供を目指すとしている。
【サービスの概要】
「LLM品質管理クラウド」は、LLMの出力結果を評価し、管理することを目的としたクラウドベースのプラットフォーム。そのために必要な以下の機能を搭載予定である。 機能1.テストプロンプト管理機能 主にRAGシステムで活用されることを想定した機能。RAGシステムが期待する出力をするかを確認するためのテストプロンプトを登録する。登録されたテストプロンプトは、一括実行され結果が表示され、結果を確認し、OK/NGを判定する。 OKに分類されたグループは、以後の実行でも自動実行され、出力結果が変化しないことを継続的に自動確認される。NGに分類されたグループは、実行されたらOK/NG判定を再度くりかえし、最終的にOKグループのみになるよう、RAGシステムを調整していくことができる。
機能2.CI/CDパイプラインからの呼び出し 手動で実行するだけでなく、CI/CDパイプライン上からのAPI呼び出しによる自動実行もサポート。レスポンスとして評価結果を返し、問題があればCI/CDプロセスを中断することもできる。
機能3.定期実行と結果のレポーティング 一度テストプロンプトを全部クリアしても、リリース以降ずっと問題がない状態が継続するとは限らない。LLM自身のアップデートや品質低下などにより、OKだった出力結果が劣化することも十分にありえ、そのような事態をいち早く検知するために、テストプロンプトを定期実行し、結果をレポーティングする。
機能4.セキュリティリスク、倫理的・法的リスクに対応したプロンプト群の提供 LLMには「プロンプトインジェクション」や「ジェルブレイク」など固有のセキュリティリスクが存在する。また、LLMの出力が倫理的・法的に問題のある内容になってしまうリスクも存在する。そこで、これらのリスクを洗い出すためのプロンプト群をあらかじめ提供する。このプロンプト群を定期実行することで問題点を継続的に洗い出し管理することができる。
特に倫理面においては、日本では経済産業省によって「AI事業者ガイドライン」が発表されており、その内容に準拠したプロンプト群を提供する。ガイドラインのアップデートが発表された際には、その内容に即したプロンプトにアップデートしていく。また、利用者が採用される研究機関や教育機関、先進的な企業などが提言するガイドラインなどに即したプロンプト群の提供についても個別に相談が可能である。
アイデミーは、「LLM品質管理クラウド」のさらなる発展のため、随時、機能を追加し、企業や組織が生成AIを安全かつ効果的に活用できる環境をより一層強化していくとしている。
なお、利用方法については、同サービスは2025年1月ごろから順次ローンチの予定としており、以下のページから事前登録すると、最新の生成AIの動向や倫理面・法律面のガイドラインの変化、内容面の品質評価・管理を行うためのメソッドなどの最新ニュースを無料で送られてくる。以下のページから詳細を確認の上、登録が可能。(情報提供:日本インタビュ新聞社・株式投資情報編集部)