Reliable, fully local RAG agents with LLaMA3

Summary

ランスがL chain So Metaからお届けするビデオでは、最新の「llama 3」を利用してローカルで実行可能な信頼性の高いエージェントを構築する方法について解説しています。llama 3は8億パラメータモデルで、強力な性能を誇ります。ビデオでは、3つの学術論文のアイデアを取り入れ、複雑で興味深いRAG（Retrieval-Augmented Generation）フローを作成します。このフローは、問い合わせの内容に基づいてベクターストアまたはウェブ検索にルーティングし、ドキュメントの関連性に基づいてフェールバックを導入します。さらに、生成された内容が幻覚を含んでいるかどうか、また元の問い合わせに関連しているかどうかを自らチェックし、必要に応じてウェブ検索にフォールバックします。ランスは、Mac M2 30 32GBという比較的手頃なサイズのノートパソコンで、この複雑なRAGフローを実行し、ローカルで確実に動作するデモンストレーションを行います。

Takeaways

• 🚀 ランチャインのLanceが、新しいLlama 3モデルの登場について話している。これは8億パラメータのモデルで、性能が非常に優れているとされています。
• 💡 Lanceはローカルで実行できる信頼性の高いエージェントの構築方法について説明し、Mac M2 30 32GBのような通常サイズのラップトップで実行できると述べています。
• 🔍 3つの学術論文からアイデアを取り入れ、複雑で面白く、かつ強力なRAG（Retrieval-Augmented Generation）フローを作成する予定です。
• 🛤️ Adaptive RAGからのルーティングアイデアを取り入れ、質問の内容に基づいてベクターストアまたはウェブ検索にルーティングします。
• 🔄 Fallbackの概念を取り入れ、ベクターストアに関連性のある質問にはドキュメントの検索と評価を行い、そうでない場合はウェブ検索にフォールバックします。
• 🔧 修正型RAGのアイデアを取り入れ、生成された内容が幻覚を含んでいるか、元の質問に関連しているかをチェックし、必要に応じてウェブ検索にフォールバックします。
• 🧠 エージェントとはタスクを小さなサブゴールに分割し、計画し、メモリを持つことができる存在であり、Lilian Wangのブログポストで説明されています。
• 🤖 Reactフレームワークを使用してエージェントを構築する際には、計画、観察、思考、そして次のアクションの選択を行います。
• 📈 L graphを使用することで、事前に制御フローを定義し、LLMが特定のタスクにのみ焦点を当てることができます。これにより、ローカルで実行される小さなLLMでも高い信頼性を確保できます。
• 🔩 Lanceは、制御フローを定義することで、より高い柔軟性を持つReactエージェントと比較して、L graphを使用したエージェントは制約されたパスしか辿りませんが、信頼性と互換性が向上します。
• 📝 コードの実行結果を示し、Lanceは実際にローカルでLlama 3を使用して、問い合わせに応じてドキュメントを検索、評価、生成し、ウェブ検索にフォールバックする複雑なエージェントを構築しました。
• 🔬 Lanceは、生成された内容をドキュメントと照らし合わせて、幻覚や質問への関連性に基づいて評価し、必要に応じてウェブ検索にフォールバックする2つの新しいグラダーを追加しました。

Q & A

ラマ3がどのような性能向上を提供しているのか説明してください。

ラマ3は、8億パラメータモデルの性能特性が非常に優れており、以前のmrawよりも多くの指標やベンチマークで若干優れているとされています。

ローカルで実行できる信頼性の高いエージェントとは何ですか？

ローカルで実行できる信頼性の高いエージェントとは、計画性があり、タスクを小さなサブゴールに分け、メモリ、チャット履歴、ベクターストアを使用し、ツールを利用できるものです。

ラマ3で使用するプロンプトフォーマットにはどのような注意点がありますか？

ラマ3には特定のプロンプトフォーマットがあり、そのフォーマットに注意して提示する必要があります。また、AMAのJsonモードを使用することで、LLMからの出力をJson形式で得ることができます。

どのようにしてドキュメントのインデックスを作成するのか説明してください。

ドキュメントのインデックスは、好きなウェブページやブログ記事を3つ選んで、chunk sizeを設定し、Chromaというローカルベクターストアを使用して作成します。

リトリーブ・グレーダーの役割は何ですか？

リトリーブ・グレーダーは、リtrieveしたドキュメントを質問に対する関連性に基づいてグレードし、その結果をJsonで返します。これにより、ドキュメントの関連性を判断し、次に適切なアクションを決定することができます。

生成（Generation）とは何ですか？

生成とは、リtrieveしたドキュメントと質問をLLMに入力して、回答を生成するプロセスです。カスタムのRAGプロンプトを使用して、迅速に回答を生成することが可能です。

検索ツールとは何ですか？また、どのようにしてウェブ検索を行うのですか？

検索ツールは、ウェブを検索するためのツールであり、タブ（Tab）のようなクイック検索ツールが挙げられます。検索APIを利用して、ウェブ検索を行い、検索結果を状態に追加します。

グラフ状態とは何ですか？また、どのようにして制御フローを定義するのですか？

グラフ状態とは、エージェントの制御フロー全体を通じて保持したい情報を保持する状態であり、グラフの各ノード（関数）が状態を変更します。制御フローは、事前にエンジニアによって定義され、LLMは各ステップで特定のタスクしか実行しません。

リアクティブエージェントと制御フローエージェントの違いは何ですか？

リアクティブエージェントは、各ステップで決定を行うため、低い信頼性と柔軟性があります。一方、制御フローエージェントは、事前に制御フローが定義されるため、高い信頼性と限定的な柔軟性を持っています。

どのようにして自己修正（Self-correction）を実行するのか説明してください。

自己修正は、生成された回答が妄想を含んでいないか、元の質問に対する回答かどうかをチェックするプロセスです。妄想を検出すると、再度ウェブ検索にフォールバックします。また、回答が質問に関連しているかどうかもチェックし、関連性がない場合はウェブ検索にフォールバックします。

ルーターとは何ですか？また、どのようにして質問をルーティングするのですか？

ルーターは、質問の内容に基づいてベクターストアまたはウェブ検索にルーティングする機能です。質問がベクターストアに関連するトピックであればベクターストアを使用し、そうでなければウェブ検索にフォールバックします。

このスクリプト全体を通じて、どのような主要なポイントが強調されていますか？

スクリプト全体を通じて強調されている主要なポイントは、ローカルで実行できる信頼性の高いエージェントの構築方法、制御フローの定義、およびラマ3を使用した複雑なRAGフローの実装です。また、これらのエージェントがローカルで実行され、そのプロセスが理解しやすく、トレースを通じて監視できることが示されています。