Mozillaは現地時間2023年11月29日、llamafile バージョン0.2.1を紹介する記事を公式ブログで公開した。一般的にLLM(大規模言語モデル)は多くのコンピューターリソースを必要とするものの、llmafileはWindowsやmacOS、Linux、*BSDで実行できる。ただし、Apple Silicon搭載のmacOSはXcodeのインストールが必要だ。インストール手順はGitHubのプロジェクトページで確認できる。

  • llamafileのチャットUI

以前からMozillaはLLaMAのC/C++実装であるLLaMA.cppや各プラットフォームとアーキテクチャーでCコンパイルおよび実行可能にするCosmopolitanなどに協力しており、llamafileもMIECO(Mozilla Internet Ecosystem)参加者を代表とするOSSの一つ。ソースコードからビルドすればGPU性能を享受できる。

  • バックグラウンドで動作するllamafile