米NVIDIAは2月13日（現地時間）、同社製グラフィックス向けのソフトウェア「NVIDIA Chat with RTX」を公開した。すでにデモ版としてリリースされており、ダウンロードして使用可能。ただしLLMを用いる都合ファイルがかなり大きく、筆者の手元で確認したところ35.1GBのzipファイルをダウンロードする必要がある。

  • 「NVIDIA Chat with RTX」公開 - 手元のRTX 30/40 GPUでローカル動作するNVIDIAお手製AIチャットボット

NVIDIA GeForce RTXシリーズは強力なTensorコアを内蔵しており、さまざまなAI機能を利用可能。これまでNVIDIAは音声再生におけるノイズキャンセリングや動画再生における超解像処理、ゲームプレイにおける品質・性能向上に用いてきたほか、CUDAを用いてAI開発そのものも支援してきた。

今回公開されたのは、このGPUが備えるAI性能を活用したチャットボット。ブラウザ経由でアクセスできるチャットボットはデータセンターで動作しているものが大半で、オンライン接続が必須。ローカル環境で動作させられるLLMチャットボットもいくつか存在しているが、一般的なユーザーには動作までのハードルが高いものが多かった。しかしNVIDIA Chat with RTXは手元のPCが搭載するGeForce GPUのTensorコアを活用してローカル動作を行える上、実行ファイルを起動するだけでセットアップできる。

NVIDIA Chat with RTXはテキストだけではなく、PDFやdocファイル、xmlファイル等の入力もサポートするマルチモーダル仕様。YouTubeのURLを入力することでアプリがプレイリスト内のビデオをロードし、文字に起こすことも可能だという。

NVIDIA Chat with RTXの対応デバイスはWindows 11をインストールしているシステム。NVIDIA Ampere / Ada世代のコアを搭載し、8GB以上のVRAMを組み合わせるGPUが必要になる。ドライバには535.11以降が要求されている。

なお、日本語に対応しているかは不明。試して追記する。→以下追記。

NVIDIA公式サイトからダウンロードした35GBのzipファイルを解凍し、実行ファイルを起動するとそこから再びさまざまなダウンロードやビルドが必要になった（自動で進行する）。16GBのVRAMを搭載するGeForce RTX 4080で試したところ、やり取りのレスポンスはかなり高速。英語しか使えないが、手元の環境だけでチャットが楽しめれば重宝するかもしれない。テキストファイルやpdfファイルの読み込みについては試していないが、余力があれば追記する。

  • 筆者の手元で実行した様子。「日本語は使えるのか？」

  • 「やる気のない部下にやる気を出させる手段を10個考えてほしい」のような複雑な問いかけでも瞬時に回答が生成されていく

  • 「Mistral 7B int4」では日本語の入力を理解して日本語で応答が行えるようだが、回答が無限ループして破損していた

  • 「Llama 2 13B int4」では日本語の入力を正確に理解しているようだが、応答は英語でしか行えないようだ