米Googleは2月21日(現地時間)、同社の最新AIモデル「Gemini」と同じ技術で構築した大規模言語モデル(LLM)「Gemma」をオープンソースで公開した。「Gemma 2B」(20億パラメータ)と「Gemma 7B」(70億パラメータ)の2サイズがあり、利用規約の範囲で商業利用および配布が可能。開発者がGemmaを使用して安全なAIアプリケーションを作成するためのガイダンスとツールも提供する。
Gemma 2Bと7Bは、事前学習および指示チューニングされたバリアントでリリースされた。これらはText-to-Text形式のデコーダのみの言語モデルで、現段階でサポートする言語は英語のみとなっている。
Googleが公開したGemma 7Bのベンチマークスコアは、MMLU(自然言語処理モデルの理解力と推論能力を総合的に評価するために設計されたベンチマーク)が64.3、HumanEval(コード生成やコーディングテストなどプログラミングタスクを含むベンチマーク)は32.3だ。70億パラメータの小型のモデルが、Llama-2のより大きな130億パラメータ・モデル(MMLU:54.8、HumanEval:18.3)を上回っており、ノートPCやデスクトップ、独自のクラウドインフラストラクチャなど、限られたリソースの環境に最先端のAIモデルへのアクセスを広げる。
Keras 3.0を通じて、JAX、PyTorch、TensorFlowといった主要なフレームワーク全てにわたる推論とSFT(supervised fine-tuning)のためのツールチェーンを提供する。また、ColabおよびKaggleに加え、Hugging Face、MaxText、NVIDIA NeMo、TensorRT-LLMといったツールとの統合が用意されている。これにより、ユーザーはこれらのプリセットツールやノートブックを使用したシームレスな作業が可能になり、Gemmaを迅速に試用し、カスタマイズしたモデルを効率的に構築、調整、展開できる。
オープンソースのAIモデルに関しては、モデルをツールと捉え、安全性については製品やサービスとして提供する開発者に責任があるとの意見もあるが、Googleは同社のAI原則に則ってGemmaを設計している。さらに、新しい「Responsible Generative AI Toolkit」を提供して、開発者の安全で責任あるAIアプリケーションの構築を支援する。このツールキットには、Learning Interpretability Tool (LIT)、少ないデータサンプルでも効果的に機能する堅牢なセーフティクラシファイアの構築メソッド、安全ポリシーの設定や安全性の調整、モデル評価に関するガイダンスなどが含まれている。