楽天グループは12月18日、日本語に最適化した2つの新たなAIモデルを発表した。新しい大規模言語モデルと楽天初の小規模言語モデルにより効率化を実現し、AIアプリケーション開発の促進を目指す。
楽天グループは、Mixture of Experts（MoE）アーキテクチャを採用した新しい日本語大規模言語モデル（LLM）「Rakuten AI 2.0」と、楽天初の小規模言語モデル（SLM）「Rakuten AI 2.0 mini」の2つのAIモデルを発表した。両モデルは、AIアプリケーションを開発する企業や技術者などの専門家を支援することを目指しており、来春を目途にオープンソースコミュニティに向けて公開予定としている。
「Rakuten AI 2.0」は、2024年3月に公開した日本語に最適化した高性能なLLMの基盤モデル「Rakuten AI 7B」を基に開発した8x7BのMoE基盤モデル。このLLMは、8つの70億パラメータで構築した「エキスパート」と呼ばれるサブモデルで構成されている。トークンは、ルーターによって選定された最も適した2つの「エキスパート」に処理される。それぞれの「エキスパート」とルーターは、ともに高品質な日本語と英語の言語データを用いた継続的な学習を行っている。
一方、楽天が初めて開発したSLM「Rakuten AI 2.0 mini」は、15億パラメータの基盤モデルとなる。このSLMは、内製の多段階データフィルタリング、アノテーションプロセスを通じてキュレーション、およびクリーンアップされた広範な日本語と英語のデータセットで最初から学習されており、テキスト生成において高性能かつ高精度な処理を実現している。
楽天グループのChief AI & Data Officer（CAIDO)であるティン・ツァイ氏は、「楽天では、AIは人々の創造性と効率性を高めるソリューションであると考えています。今年の3月には、さまざまな課題を解決するためにAIテクノロジーを活用し、国内の研究開発支援を目的とする、高性能な日本語LLM『Rakuten AI 7B』を発表しました。今回開発した日本語に最適化したLLMと楽天初となるSLMは、高品質な日本語データや革新的なアルゴリズム、エンジニアリングにより、従来以上に効率性が高いモデルです。これは、日本の企業や技術者などの専門家がユーザーに役立つAIアプリケーションを開発することを支援するための、継続的な取り組みにおける重要な節目となります」とコメントした。
「Rakuten AI 2.0」は、入力トークンに対して最も関連性の高い「エキスパート」を動的に選択する高度なMoEアーキテクチャを採用しており、計算効率と性能を最適化する。このLLMは、8倍規模の高密度モデルに匹敵する性能を発揮しますが、消費計算量においては1/4程度に抑えることができる。
楽天は、LM-Harnessを使用して日本語と英語の能力測定を行うモデル評価を実施しており、リーダーボードは、対象言語の特性を反映した広範な自然言語処理、および理解タスクに基づいて言語モデルを評価している。「Rakuten AI 2.0」の平均日本語性能は、「Rakuten AI 7B」と比較して8つのタスクで62.93から72.29に向上した。
「Rakuten AI 2.0 mini」は、コンパクトなモデルのためモバイル端末に導入でき、データをリモートサーバーに送信することなく自社運用が可能となる。汎用アプリケーションに使用される大規模モデルと比べ、SLMはプライバシーの保護、低遅延、コスト効率が求められる特定のアプリケーションに適した形で活用できる。
楽天グループのAIエンジニアリング統括部のジェネラルマネージャーであるリー・ション氏は、「今回、新たなLLMを発表できることを非常に嬉しく思います。『Rakuten AI 2.0』はMoEアーキテクチャを活用することで、従来モデルと比較して大幅にコストを削減しながら高性能な処理を行うという大きな進化を遂げました。本LLMは、類を見ない多様性と効率性を提供できるため、日本語モデルの新基準となるでしょう。一方、『Rakuten AI 2.0 mini』はコンパクトかつ優れたモデルであり、エッジベースのSLMに革命を起こすことができると考えています。私たちのチームはこれらの開発に全力を注いでおり、今後もAIの力で日本のビジネス体験を向上させることを目指していきます」と述べた。
既存の基盤モデルである70億パラメータの「Rakuten AI 7B」の事前学習では、楽天が設計した内製のマルチノードGPUクラスターを拡張することで、大規模で複雑なデータを使用した事前学習プロセスを高速で実現することができた。楽天は。最新のLLMおよびSLMをオープンなモデルとして提供することで、オープンソースコミュニティへの貢献を目指すと共に、日本語LLMのさらなる発展に寄与していく考えを示した。さらに自社で最新のLLMモデルの開発を継続することにより、知見やノウハウを蓄積し、「楽天エコシステム（経済圏）」の拡大に取り組む。
楽天は、AI化を意味する造語「AI-nization（エーアイナイゼーション）」をテーマに掲げ、さらなる成長に向けてビジネスのあらゆる面でAIの活用を推進する取り組みを行っている。今後も豊富なデータと、最先端のAI技術の活用を通じて、世界中の人々へ新たな価値創出を目指す。
