サイバーエージェント、225億パラメータの日本語LLMを公開

サイバーエージェントは7月9日、225億パラメータの日本語LLM（大規模言語モデル）「CyberAgentLM3」を公開したと発表した。

• サイバーエージェント、225億パラメータの日本語LLMを公開

同社は2023年5月に独自の日本語LLMである「CyberAgentLM（最大68億パラメータ）」を一般公開した。2023年11月に入出力の長さとして3万2000トークンに対応する「CyberAgentLM2」を、2024年6月には視覚を付与したVLM（大規模視覚言語モデル）を公開した。

今回公開したモデルは、既存モデルをベースに用いずスクラッチで開発を行なった225億パラメータのモデル。LLMの日本語能力を評価する「Nejumi LLM リーダーボード3」においては、700億パラメータの「Meta-Llama-3-70B-Instruct」と同等の性能で、スクラッチ開発のオープンな日本語LLMとしてはトップクラスの性能だという。

同社は今後もLLMの開発とビジネス活用を進めていく方針だ。