KDDIは7月1日、情報通信研究機構（以下、NICT）とLLM（Large Language Models：大規模言語モデル）に関する共同研究を開始したことを発表した。この研究では、NICTが蓄積してきた600億件以上のWebページのデータと、KDDI総合研究所が開発したハルシネーションを抑制する技術やマルチモーダルAI技術を活用。LLMを使用する際に課題となるハルシネーションの抑制や、地図画像およびそれに付随する建物情報などのマルチモーダルデータの取り扱いを可能にする技術の開発を進める。

同研究は総務省およびNICTが令和5年度補正予算を活用し推進する「我が国における大規模言語モデル（LLM）の開発力強化に向けたデータの整備･拡充及びリスク対応力強化」における共同研究の第1弾とのことだ。

  • 研究概要

    研究概要

研究概要

LLMは有用だが、その利用においては事実と異なる内容や脈絡のない文章などが生成される「ハルシネーション」や、地図情報の活用の難しさなどが課題となっている。そこで同研究では、NICTが蓄積したWebページのデータや、そこから作成したLLMの事前学習用データなどを活用して共同研究を進める。

一方のKDDIは、日本語汎用LLMの傾向に合わせたハルシネーション抑制技術の高度化や、地図画像および付随する建物情報などのマルチモーダルデータをLLMで取り扱う技術を、KDDI総合研究所のハルシネーション抑制技術やマルチモーダルAI技術を基に研究開発する。

これらの技術により、特定の目的のための対話システムや雑談システムにおける、LLMの信頼性向上が期待されるという。また、LLMによる位置関係の把握などが可能になるため、例えば通信事業者のユーザー応対に適用することで、問題が発生している設備やエリアの迅速な把握も可能となり、通信品質の改善が期待されるとのことだ。

取り組みの背景

KDDIグループはこれまで、生成AI開発のための大規模計算基盤の整備と同時に、オープンモデル活用型の日本語汎用LLMおよび領域特化型LLMの開発体制の整備を進めてきた。また、NICTはこれまでに蓄積してきた600億件以上のWebページのデータを活用してLLMの事前学習に用いるデータの整備を進めてきた。これまでに軽量な130億パラメータのLLMから3110億パラメータのLLMまで、計17のLLMの事前学習を完了させてきたとのことだ。