NVIDIA Chat with RTX - ローカルで実行される大規模言語モデル

概要

NVIDIAのChat with RTXは、GPT大規模言語モデル(LLM)をパーソナライズし、ドキュメント、ノート、ビデオその他のデータなど、独自のコンテンツに接続するデモアプリケーションです。検索強化生成(RAG)、TensorRT-LLM、およびRTX加速技術を利用して、カスタマイズされたチャットボットを照会し、文脈に関連した答えを迅速に得ることができます。これらすべてがWindows RTX PCまたはワークステーションでローカルに実行されるため、高速かつ安全な結果を得られます。

公式サイトダウンロード⬇️アドレス:https://www.nvidia.com/en-us/ai-on-rtx/chat-with-rtx-generative-ai/#sys-req

デバイス要件

PlatformWindows
GPUNVIDIA GeForce™ RTX 30 or 40 Series GPU or NVIDIA RTX™ Ampere or Ada Generation GPU with at least 8GB of VRAM
RAM16GB or greater
OSWindows 11
Driver535.11 or later

適用シーン

NVIDIAのChat with RTXは、二つの主要な適用シーンを提供しています:

  1. Chat with RTXは、テキスト、pdf、doc/docx、xmlなどの複数のファイル形式をサポートしています。アプリをファイルが含まれるフォルダに設定するだけで、数秒でそれらをライブラリに読み込むことができます。さらに、YouTubeプレイリストのURLを提供すると、アプリはプレイリスト内のビデオのトランスクリプトを読み込み、その内容について照会できるようにします。

  2. Chat with RTX技術デモは、GitHubから入手可能なTensorRT-LLM RAG開発者リファレンスプロジェクトに基づいて構築されています。開発者はこのリファレンスを使用して、RTXで加速され、TensorRT-LLMによってサポートされるRAGベースのアプリケーションを開発および展開できます。

デモ効果