ELYZAは10月25日、LLM（Large Language Models：大規模言語モデル）「ELYZA LLM for JP」シリーズの最新モデルとして、米Metaの「Llama 3.1」をベースとした700億パラメータの「Llama-3.1-ELYZA-JP-70B」を開発したことを発表した。

今回発表したLlama-3.1-ELYZA-JP-70Bは、安全なAPI（Application Programming Interface）サービスや共同開発プロジェクトなどを通して、順次企業向けに提供する。また、以前から公開していた「ELYZA LLM for JP｜デモ版」の基盤モデルを同モデルに差し替えたとのことだ。

  • RICOH 導入効果測定プラグインの画面例

    RICOH 導入効果測定プラグインの画面例

「ELYZA LLM for JP」シリーズについて

ELYZA LLM for JPはELYZAが提供するLLM群の総称。グローバルモデル以外の新たな選択肢として、主にセキュリティやカスタマイズ性を重視する企業や、自社サービスにLLMを組み込みたい企業に向けて、APIサービスや共同開発プロジェクトなどを通じて提供する。

Llama-3.1-ELYZA-JP-70Bの概要

Llama-3.1-ELYZA-JP-70BはMetaのLlama-3.1-70Bをベースとして、日本語追加事前学習や指示学習を実施して開発したモデル。日本語による追加学習を行うことで、元のLlama-3.1-70Bから日本語性能を向上させている。

前モデルのLlama-3-ELYZA-JP-70BからベースモデルをLlama-3.1に差し替えたことにより、長文の処理が可能になったことに加えて、日本語での事後学習プロセスを見直すことによって、指示追従能力を改善しているという。