楽天グループは3月21日、日本語に最適化した高性能の大規模言語モデル（LLM）の基盤モデル「Rakuten AI 7B」と、同モデルを基にしたインストラクションチューニング済モデル「Rakuten AI 7B Instruct」、インストラクションチューニング済モデルを基にファインチューニングを行ったチャットモデル「Rakuten AI 7B Chat」をオープンなモデルとして同日公開した。

  • 言語モデル評価ツール「LM Evaluation Harness」の基準において、日本語・英語のLLMの高いパフォーマンスが評価された

    言語モデル評価ツール「LM Evaluation Harness」の基準において、日本語・英語のLLMの高いパフォーマンスが評価された

「Rakuten AI 7B」は、フランスのAIスタートアップであるMistral AIのオープンモデル「Mistral-7B-v0.1」を基に、継続的に大規模なデータを学習させて開発された70億パラメータの日本語基盤モデル。

事前学習は楽天が設計した内製のマルチノードGPUクラスターで拡張的に行われ、大規模で複雑なデータを使用した事前学習プロセスを高速で実現可能だとする。

「Rakuten AI 7B Chat」は「Rakuten AI 7B Instruct」を基にしたチャットモデルで、会話形式の文章生成のためのチャットデータを用いてファインチューニングされたもの。

これら全3モデルは、文章の要約や質問応答、一般的な文章の理解、対話システムの構築など、様々なテキスト生成タスクにおいて商用目的で使用することができるほか、本基盤モデルは他のモデルの基盤としても利用可能。Apache 2.0ライセンスで提供されており、楽天の公式「Hugging Face」リポジトリからダウンロード可能。

なお、「Rakuten AI 7B」と「Rakuten AI 7B Instruct」は、言語モデル評価ツール「LM Evaluation Harness」の基準において、日本語と英語のLLMの高いパフォーマンスが評価され、高性能であることが実証されたという。日本語の評価では、「Rakuten AI 7B」が平均69.8ポイント、「Rakuten AI 7B Instruct」が平均77.3ポイントのスコアを獲得。英語の評価では、「Rakuten AI 7B」が平均60.5ポイント、「Rakuten AI 7B Instruct」が平均61.3ポイントのスコアを獲得したということだ。