Yann LeCun：我对大语言模型没兴趣，这四个领域更有趣

Summary

在这段对话中，讲者表达了对大规模语言模型（LLMs）的兴趣逐渐减少，认为这些模型的进展主要体现在行业产品化和数据处理的改进上。相比之下，他更看重机器理解物理世界、具备持久记忆、推理和规划的能力。他对目前关于AGI（通用人工智能）的预测持怀疑态度，认为尽管技术有所进步，但我们距离真正的智能系统仍然很远。他认为，未来3到5年内，可能会在小规模上实现某些进展，但要达到与人类相当的智能水平，仍需时间。

Takeaways

• 😀 目前，大型语言模型（LLMs）的进展较为有限，许多人将其视为行业产品的改进，而不是革命性的突破。
• 😀 目前的技术进展集中在增加数据量、计算能力和生成合成数据上，然而，许多更有趣的挑战仍然存在。
• 😀 机器如何理解物理世界、如何拥有持久记忆、以及如何进行推理和规划，是AI领域中的重要未解难题。
• 😀 当前的LLM推理能力仍然过于简单，尚未达到理想中的推理和规划能力。
• 😀 对于人工智能（AGI）的讨论过于乐观，许多人认为AGI即将到来，但从历史来看，每个时代都存在类似的预测。
• 😀 术语“AGI”（人工通用智能）并不准确，因为人类的智能是高度专业化的，AI在这方面的能力与人类智能并不等同。
• 😀 更倾向于使用“AMI”这一术语（高级机器智能），它指的是具有更高抽象能力的机器智能。
• 😀 预计在未来3至5年内，我们会在小规模应用中实现机器理解和推理的突破，随后需要通过扩大规模来推进。
• 😀 历史上AI领域的研究者多次宣称即将达到人类智能水平，但这些预言至今并未实现，当前的预测也存在类似问题。
• 😀 目前，虽然AI技术将在某些特定应用上达到高水平（如博士级别的任务），但整体智能的突破距离仍然遥远，预计还需要一个十年的时间。

Q & A

为什么演讲者对LLM（大语言模型）不再感兴趣？

演讲者认为LLM已经被产业界的产品人员所主导，当前的进展主要集中在利用更多数据和计算资源来提高性能。他们认为LLM的创新已经停滞不前，且面临边际效益递减的问题。

演讲者认为AI发展的哪些方向更有趣？

演讲者认为更有趣的方向包括：让机器理解物理世界、实现持久记忆、以及让机器具备推理和计划能力。

为什么演讲者认为持久记忆对于机器至关重要？

演讲者认为持久记忆是让机器能够长期有效地学习和推理的关键。目前，这个话题在AI社区讨论较少，但其重要性不容忽视。

演讲者对当前LLM推理能力的看法是什么？

演讲者认为，尽管有些努力尝试让LLM具备推理能力，但这些推理方法过于简单，缺乏深度。他认为，推理的方式应该更加先进和复杂。

什么是AMI，为什么演讲者更倾向于使用这个术语？

AMI代表“高级机器智能”（Advanced Machine Intelligence），是演讲者用来替代AGI（人工通用智能）的一种术语。演讲者认为，人类智能是非常专门化的，称其为‘通用’是不准确的。

演讲者对AGI的看法是什么？

演讲者不喜欢AGI这个术语，因为他认为人类智能并非‘通用’，而是非常专门化的。他更倾向于使用AMI来描述未来的人工智能。

演讲者预测AMI在未来的时间框架内如何发展？

演讲者预计，至少在三到五年内，系统将能够在小规模上成功学习和使用抽象的世界模型，进行推理和规划。随着时间的推移，AMI将逐步扩展，最终可能接近人类智能水平。

演讲者如何看待人工智能领域的历史发展？

演讲者提到，历史上每一代AI研究者都曾声称他们发现了新的范式，并预测很快就会实现人类级别的智能。这种情况已经持续了70年，且每隔十年就会出现类似的预言。

演讲者对当前AI发展的现实看法是什么？

演讲者认为当前的AI发展，特别是LLM的规模扩展，并不能带来真正的人类智能。他认为这些预测过于乐观，实际上距离人类智能还有很长的路要走。

演讲者对‘人类智能即将被超越’的预测持什么态度？

演讲者认为这种预测是‘完全的胡说八道’，他强调，尽管未来的AI系统会在某些应用上达到博士级别的能力，但总体上它们仍远未达到人类智能的水平。