サイバーエージェント、独自の日本語LLMをAmazon SageMaker JumpStartで公開

サイバーエージェントは3月8日、70億パラメータ、32,000トークン対応の日本語LLM（大規模言語モデル）が、AWSのフルマネージド型の機械学習サービス「Amazon SageMaker 」 で扱えるモデルになったことを発表した。

• Amazon SageMaker Jump Startの画面イメージ

サイバーエージェントは日本語LLMの開発に取り組み、2023年5月にはCyberAgentLMをリリースし、そのバージョン2を2023年11月に一般公開するなど、自然言語処理技術発展へ貢献してきたという。さらに、2023年11月から2024年1月にかけては、「AWS LLM 開発支援プログラム」に採択され、AWSから計算機リソースの確保、LLM事前学習に関する技術的なメンタリング、ビジネス支援、LLM学習用クレジットなどのサポートを受けている。

今回、取り組みの一環として、Amazon SageMaker JumpStartにおいて「CyberAgentLM」が扱えるモデルとなった。これにより、日本語LLMを利用したい企業は、Amazon SageMakerのAmazon SageMaker JumpStartのメニューから選択することで「CyberAgentLM」を自社環境にデプロイできるようになるという。

• Amazon SageMaker Jump Startの画面イメージ

今回掲載したモデルは、日本語および英語データで事前学習された70億パラメータのベースモデルであるCyberAgentLM2-7Bをチャット形式でのチューニングを行ったCyberAgentLM2-7B-Chat。入出力の長さとして32,000トークンに対応し、日本語の文章として約50,000文字を一度に処理できるという。なお、モデルは商用利用可能なApache License 2.0で提供されている。