NVIDIAはChat withRTXを発表し、パーソナライズされたチャットボット体験をユーザー自身が構築できるようになった。多くのクラウドベースのソリューションとは異なり、Chat with RTXは完全にローカルのWindows PCまたはワークステーション上で動作し、データのプライバシーとコントロールを高めている。
この新しいアプリにより、文書、メモ、YouTubeビデオのトランスクリプトなど、ユーザー自身のデータで大規模な言語モデルの学習が可能となる。個人的なコンテンツをアプリに与えることで、ユーザーは特定のニーズやナレッジベースに合わせたチャットボットを育成でき、パーソナライズされた対話の新たなレベルに到達できる。
Retrieval-Augmented Generation (RAG)、TensorRT-LLM、RTXアクセラレーションなどの先進技術を活用することで、このアプリはユーザーのクエリに対して迅速かつ正確な応答を提供する。この強力な組み合わせにより、パーソナライズされたデータセットから関連情報を効率的に検索し、文脈に即した見識ある回答を得られる。
さらに、Chat with RTXはデータ保護を重視している。ローカルで実行することにより、クラウドストレージの必要性を排除し、情報を直接ユーザーの管理下に保持できる。このローカライズされた処理は、多くのクラウドベースのチャットボットソリューションに比べ、特にデータプライバシーを優先するユーザーにとって大きな利点となる。
また、Chat with RTXテキスト、PDF、DOC/DOCX、XMLを含む幅広いファイル形式をサポートしており、様々なタイプのコンテンツとの互換性を保証している。さらに、このアプリはYouTubeビデオのトランスクリプトをシームレスに統合し、好みのチャンネルからの情報収集によりトレーニングデータを飛躍的に拡大する。
開発者は、RTXでチャットの可能性を追求できる。オープンソースのTensorRT-LLM RAG Developer Reference Projectをベースに構築されたこのアプリは、RTXアクセラレーションのパワーをさらに活用するカスタムRAGベースのアプリケーションを作成するための踏み台となる。
NVIDIAによるChat with RTXアプリのニュースは、開発者コミュニティから好意的な反応を得ている。機械学習モデルのユーザーインターフェースを構築するためのビジュアルツールキットであるGradioは、X（旧Twitter）でその感動を表明した。
我々は、@NVIDIAStudioからのChat with RTX技術デモの公式アナウンスでGradioが取り上げられたことに、とても興奮しています！また、NvidiaとGradioを使ってローカルでRAGを模索できます。
Chat with RTXは、カスタム言語モデルを構築し対話するための貴重なツールであり、オープンソースプロジェクトを活用することで、その可能性をさらに高めることができると考えられている。
Chat with RTXは、Pythonのインスタント機能を備えたウェブサーバーのようなものだ。これをダウンロードした後、ユーザーはMistralまたはLlama 2モデルを個別にダウンロードする必要がある。