【人工智能】《苦涩的教训 The Bitter Lesson》 | 人工智能经典文章 | 我们应该过去70年的研究中获得什么经验 | 如何看待人工智能 | 算力 | scaling law

Summary

该视频讨论了OpenAI背后的关键理念The Bitter Lesson,即强大的通用算法结合大规模计算能力才是人工智能取得进步的关键,而不是试图模仿人类智能。视频分析了国际象棋、围棋、语音识别等领域中简单通用算法击败专家系统的案例,说明利用计算资源的重要性。它提出人工智能的目标是让系统自己学习发现,而不是将人类知识植入其中。

Takeaways

• 😀 苦涩的教训:利用大规模计算资源的通用AI算法才是人工智能发展的王道
• 😊 计算资源会不断增长,只有搜索和学习两种方法能随之扩展
• 😯 尝试构建符合人类思维方式的AI系统行不通
• 😐 应该构建能发现世界复杂性的元方法
• 🤔 AI应该自己学习发现新知识,不应将人类知识植入其中
• 😮 计算机国际象棋和围棋的发展证明了苦涩的教训
• 😅 语音识别领域统计和计算方法胜出也验证了这一点
• 😄 深度学习减少依赖人类知识,利用计算资源取得语音识别进展
• 🤨 计算机视觉深度学习网络也证实人类知识的限制
• 💪 OpenAI等公司正在运用这些理念取得长足进展

Q & A

苦涩的教训中,为什么说游戏中搜索和学习两类方法才是最关键的?

因为搜索和学习这两类方法能够最大限度地利用计算资源。随着时间的推移,计算资源会变得越来越充裕,所以能够有效利用这些资源的方法终将占据主导地位。

语音识别领域为什么也出现了从结合人类知识向统计方法转变的趋势?

统计方法能够执行更大量的计算。随着计算能力的增强,能够利用这些计算资源的统计和学习方法证明了更有效,渐渐占据主导地位。

为什么说试图构建符合人类思维方式的 AI 系统是行不通的?

因为人类意识的真实内容是极其复杂和深邃的。我们不应该假设能够简化地理解意识,而应该构建能够自行发现和捕捉任意复杂性的元方法。

什么是 Scaling Law 缩放定律?

Scaling Law 缩放定律指的是算法能够随着计算资源的增加而不断扩展性能的能力。只有像搜索和学习这样的方法才能做到无限扩展。

为什么说基于人类知识的方法迟早会遇到发展瓶颈?

依赖人类知识的方法通常会使程序变得复杂化,因此不能充分利用计算资源;而计算资源是可以无限扩展的。所以这类方法总会被限制在人类可理解的范围内。

The bitter lesson 中提出了什么关键的观点?

关键观点是:能够充分利用计算力的通用 AI 算法,终将战胜那些依赖特定领域知识的方法。

为什么说语音识别中深度学习的出现是沿统计方法发展的最新步伐?

因为深度学习减少了对人类知识的依赖,而是通过大数据集训练来发挥计算资源,与统计方法类似。

研究人员为什么总想构建与人类思维相符的 AI 系统?

因为研究人员希望能揭示人类智能背后的奥秘,所以想通过模拟人类思维的方式来实现。但是事实证明这是行不通的。

计算机视觉领域为什么也逐渐淡化了人类知识的应用?

现代深度学习方法像卷积神经网络,通过数据驱动的方式取得了更好的效果,这些方法不依赖人类对视觉处理的认知。

为什么说语音识别竞赛的胜出者是统计方法而不是结合人类知识的方法?

统计方法能进行更多计算,最终证明更加有效。这预示着 AI 研究从依赖人类知识向利用计算资源的转变。