Is RAG Really Dead? Testing Multi Fact Retrieval & Reasoning in GPT4-128k

Summary

Lance 从 Lang Smith 分享了一个有趣的分析，他最近在研究多针和干草堆（multi-needle and Haystack）的概念。这个分析探讨了大型语言模型（LLMs）如何从长文本中检索特定事实。他提到了 Gemini 1.5 和 CLA 3 能够处理高达百万个标记的上下文长度，引发了是否能够完全用 LLMs 替代外部检索系统（RAG）的讨论。Greg Camand 的针和干草堆分析测试了 GPD 4 和 Claude 在不同上下文长度和文档位置下检索事实的能力。Lance 扩展了这项工作，增加了多针检索和评估的能力，并通过实验发现，随着上下文长度的增加，LLMs 检索文档前部信息的能力会下降。他还提到了 Lang Smith 作为评估工具的好处，包括记录所有运行和便于审计。最后，Lance 讨论了使用 LLMs 进行推理和检索时的限制，并强调了检索和推理作为独立问题的重要性。

Takeaways

• 📈 **多针检索分析**：Lance 讨论了对大型语言模型（LLM）进行的一项分析，称为多针检索（multi-needle retrieval），旨在了解模型在处理长文本上下文时检索特定信息的能力。
• 🔍 **上下文长度的影响**：随着上下文长度的增加，如Gemini 1.5和CLA 3报告的百万级令牌上下文长度，LLM在检索文档开始处的事实时性能下降。
• 📚 **文档位置的重要性**：在长文本上下文中，LLM更有可能检索到文档后半部分的信息，而不是前半部分的信息。
• 💡 **多针检索的挑战**：当需要从上下文中检索多个事实（多针）时，如Google报告的100针检索，性能会随着上下文长度的增加和针的数量增加而降低。
• 📊 **实验设计**：通过在不同位置注入多个“针”（即关键信息点），并改变上下文长度，Lance评估了LLM在不同条件下的检索性能。
• 🛠️ **工具和资源**：Lance介绍了如何使用Greg的开源仓库和LangSmith工具来设置实验、运行测试并记录结果。
• 📝 **审计和验证**：通过LangSmith，可以详细记录实验的每个步骤，包括上下文、问题、答案和LLM的生成结果，便于审计和验证。
• 📉 **性能退化模式**：随着上下文长度的增加，尤其是当文档开始处的针数量增加时，LLM检索性能会下降，显示出一种模式。
• 🧠 **推理与检索的关系**：推理任务建立在成功检索的基础上，如果检索效果不佳，推理性能也会受到影响。
• 💰 **成本考量**：虽然长上下文的测试成本较高，但通过精心设计实验，可以在合理的预算内进行有意义的研究。
• 📝 **数据共享**：所有数据和工具都是开源的，可以在Greg的仓库中找到，便于其他研究者复现和验证实验结果。
• ⚠️ **LLM的限制**：Lance强调了在考虑用LLM替代传统检索系统（RAG）时，需要理解长上下文检索的限制和挑战。

Q & A

Lance 正在讨论的分析项目叫什么名字？

Lance 正在讨论的分析项目叫做 'multi-needle and Haystack'。

为什么 Gemini 1.5 和 CLA 3 报告了高达一百万个令牌的上下文长度后，会引发很多问题？

这是因为在拥有一百万个令牌的上下文中，可以包含成百上千页的信息，这引发了是否可以完全用大型语言模型（LLM）替代传统的检索系统（如 RAG）的问题。

Greg Camand 进行的 'Needle and Haystack' 分析主要尝试回答什么问题？

Greg Camand 的 'Needle and Haystack' 分析主要尝试回答在不同上下文长度和事实在文档中的位置下，LLM 能够多好地从上下文中检索特定事实。

在多针检索和评估中，'needles' 是指什么？

'Needles' 在这里指的是需要从上下文中检索的具体信息或事实。

Google 最近报告的 100 针检索展示了什么能力？

Google 展示的能力是在单个查询中检索 100 个独特的 'needles'，即在单个回合中从上下文中检索 100 个不同的事实或信息点。

Lance 在 Greg 的开源库中添加了什么功能？

Lance 在 Greg 的开源库中添加了多针检索和评估的能力，允许在上下文中注入多个 'needles' 并评估性能。

LangSmith 作为评估工具有哪些优势？

LangSmith 作为评估工具的优势包括能够记录所有运行情况、为你编排评估过程，并且非常适合审计。

在 Lance 的分析中，为什么在文档的开始部分放置的 'needles' 更难被检索？

在 Lance 的分析中，文档开始部分的 'needles' 更难被检索可能是因为语言模型在处理长上下文时，对文档早期部分的信息记忆或检索能力较弱。

为什么 Lance 认为即使在长上下文中，多针检索也不能保证检索到所有事实？

因为随着上下文长度的增加和 'needles' 数量的增加，检索性能会下降，尤其是在文档的开始部分，LLM 可能会 '忘记' 或未能检索到这些信息。

Lance 在分析中使用了什么方法来验证 'needles' 是否正确放置在上下文中？

Lance 使用了 LangSmith 提供的详细日志功能，通过搜索特定的关键词（如 'secret ingredient'），来验证所有的 'needles' 是否确实存在于上下文中，并按预期放置。

在 Lance 的研究中，为什么推理（reasoning）的性能可能会受到检索（retrieval）性能的限制？

因为在需要推理的场景中，首先需要正确检索到所有相关的信息或事实，然后才能进行有效的推理。如果检索阶段未能找到所有必要的信息，那么推理阶段的性能自然会受到影响。

Lance 提到的分析成本大概是多少，他建议如何在预算内进行有效的测试？

Lance 提到的分析成本大约是 2 美元左右，主要是长上下文测试的成本较高。他建议如果是为了个人研究，可以只进行单次通过的测试，这样可以在合理的预算内进行多项测试，尤其是在关注中等上下文长度范围时。