Self-reflective RAG with LangGraph: Self-RAG and CRAG

Summary

Lance 从 Lang Chain 介绍了如何利用 Lang 图构建多样化和复杂的响应式问答（RAG）流程。他首先概述了基本的 RAG 流程，包括问题检索、文档传递给大型语言模型（LLM）生成答案。然后，他探讨了在实践中遇到的问题，如何时基于问题上下文进行检索，检索到的文档是否合适，以及如果不合适应如何处理。Lance 引入了主动 RAG 的概念，即 LLM 根据现有检索或生成结果决定何时何地进行检索。他讨论了在 RAG 应用中对 LLM 控制的不同级别，并引入了状态机的概念，允许 LLM 在指定所有可用转换的情况下选择不同步骤。Lance 展示了如何使用 Lang Graph 实现状态机，通过构建图来实现更复杂和多样化的 RAG 流程。他以一篇名为 CAG（Corrective RAG）的论文为例，演示了如何实现一个包含检索、文档评级、基于评级生成答案或从外部源检索的复杂流程。Lance 还展示了如何使用 Lang Smith 观察生成的追踪，提供了对整个流程的清晰视图。最后，他鼓励观众尝试使用 Lang Graph 进行流程工程，并关注即将发布的关于实现自适应 RAG 和 C RAG 的博客文章。

Takeaways

• 📚 基本的RAG（Retrieval-Augmented Generation）流程从检索相关问题文档开始，然后通过LLM（Large Language Model）生成答案。
• 🤔 在实践中，会遇到多种类型的问题，如何时基于问题上下文进行检索，检索到的文档是否合适，以及如果不合适是否应该丢弃并改进问题后重新检索。
• 🔄 主动RAG的概念，即LLM根据现有检索或生成结果决定何时何地进行检索。
• 🎛️ 在RAG应用中，可以对LLM进行不同级别的控制，包括选择单步输出、路由决策以及构建更复杂的逻辑流程。
• 🤖 状态机的概念，允许LLM在RAG流程中选择不同步骤，同时指定所有可用的转换。
• 📈 Lang Chain最近发布的Lang Graph提供了一种构建状态机的好方法，可以用于RAG和其他应用。
• 🔍 通过CAG（Corrective Retrieval-Augmented Generation）论文介绍了一种主动RAG方法，该方法结合了多种想法，如文档检索、评级、生成答案以及知识精炼。
• 📝 演示了如何使用Lang Graph实现状态机，包括简化流程、使用搜索引擎补充输出以及查询优化。
• 📈 通过Lang Smith可以观察到RAG流程的每一步，包括检索、评级、文档过滤和生成答案。
• 🛠️ 强调了“流程工程”的重要性，即在构建复杂逻辑流程时，需要仔细思考每个阶段的状态变化。
• 📝 讨论了如何通过Lang Graph实现复杂的RAG逻辑流程，并强调了其在逻辑推理和工作流程构建方面的优势。
• 🔗 提到了即将发布的一篇博客文章，将讨论使用状态机和Lang Graph实现自适应RAG和CAG的两种不同主动RAG方法。

Q & A

什么是基本的RAG流程？

基本的RAG流程包括从索引中检索与问题相关的文档，将这些文档传入大型语言模型（LLM）的上下文窗口，以生成基于检索文档的答案。

在实践中，我们如何处理不同类型的问题？

在实践中，我们可能会遇到几种不同类型的问题，例如何时根据问题的上下文进行检索，检索到的文档是否足够好，如果不好，我们是否应该丢弃它们，以及我们如何通过改进问题来重新尝试检索。

什么是主动RAG？

主动RAG是一种过程，其中大型语言模型（LLM）根据现有的检索或生成结果来决定何时何地进行检索。

在RAG应用中，我们如何控制LLM？

在RAG应用中，我们可以通过几种不同的方式控制LLM，包括使用LLM选择单个步骤的输出，使用路由来决定问题应该路由到向量存储还是图数据库，或者构建更复杂的逻辑流程，让LLM在不同步骤之间进行选择，同时指定所有可用的转换，这被称为状态机。

Lang Graph是什么，它如何帮助构建状态机？

Lang Graph是一种工具，它提供了一种很好的方式去构建RAG和其他应用的状态机。它允许用户构建更多样化和复杂的RAG流程，并将它们实现为图形，这有助于更广泛地理解流程工程，即思考所需的工作流程并实现它。

CAG（Corrective RAG）是什么，它如何实现主动RAG？

CAG是一种用于主动RAG的方法，它结合了几个不同的概念。首先进行文档检索，然后对它们进行评分。如果至少有一个文档的相关性超过阈值，就会进行生成。如果所有文档都不符合标准，它会从外部源检索，使用网络搜索，并将搜索结果作为生成答案的上下文。

如何使用Lang Graph实现CAG？

使用Lang Graph实现CAG涉及到定义状态、创建节点和条件边。首先决定是否有文档相关，然后进行网络搜索以补充输出。接着，定义一个状态，这是一个将在图中传递和修改的核心对象。通过定义函数来修改每个节点的状态，实现检索、评分、条件决策、查询转换和生成等步骤。

在Lang Graph中，状态是如何被修改的？

在Lang Graph中，状态是一个字典，它包含了与RAG相关的内容，如问题、文档、生成等。在图的每个节点上，通过定义一个函数来修改状态，例如在检索节点上，通过检索函数将检索到的文档添加到状态中。

Lang Smith是什么，它如何帮助我们？

Lang Smith是一个平台，它允许用户记录和检查Lang Graph的运行情况。通过设置API密钥，所有的生成都会被记录在Lang Smith中，用户可以查看节点、评估结果以及每一步的输出，这有助于直观地检查和理解整个RAG流程。

如何通过Lang Graph进行流程工程？

通过Lang Graph进行流程工程涉及仔细思考整个工作流程，然后实现它。这包括定义状态、创建节点和条件边，并为每个节点定义函数来执行所需的状态修改。通过这种方式，可以构建出编码了更复杂逻辑推理工作流程的清晰、良好工程化的图形。

Lang Graph在构建复杂逻辑工作流时有什么优势？

Lang Graph在构建复杂逻辑工作流时的优势在于它能够清晰地指定所有想要执行的转换，并且每个节点都被明确地枚举出来，这在使用其他更复杂的推理方法时并不总是可能的。此外，Lang Graph的使用非常直观，有助于理解和构建逻辑工作流。

如何使用Lang Graph来优化网络搜索？

使用Lang Graph来优化网络搜索涉及到在状态中设置一个搜索值，并根据文档的评分结果来决定是否执行网络搜索。如果所有文档都不相关，就会触发网络搜索，并将搜索结果添加到上下文中，用于生成答案。