Geoffrey Hinton | On working with Ilya, choosing problems, and the power of intuition

Summary

这段视频剧本记录了一位科学家对人工智能和大脑工作方式的深入探讨。他分享了自己在卡内基梅隆大学的经历，以及如何被那里学生的热情和对未来的信念所感染。他讨论了自己对神经科学和哲学的失望，以及最终转向人工智能领域的过程。他提到了Donald Hebb和John von Neumann的影响，以及与Terry Sejnowski和Peter Brown的合作。这位科学家还分享了他对直觉、人才选拔和大型语言模型的看法，以及它们如何能够超越人类的创造力。此外，他还谈到了使用GPU加速神经网络训练的早期想法，并对当前AI领域的研究方向提出了自己的见解。

Takeaways

• 🤖 选择人才：对话中提到，选择人才有时是直觉性的，就像Ilia突然出现，被认为聪明而被选择一起工作。
• 🧠 大脑与AI：讨论了早期对大脑工作原理的失望，以及转向哲学和人工智能（AI）的探索过程。
• 📚 启发性书籍：提到了Donald Hebb和John von Neumann的书籍对他产生了影响，特别是关于神经网络和大脑计算方式的内容。
• 🔗 神经网络与学习：强调了神经网络中权重变化的重要性，以及它是如何帮助机器执行复杂任务的。
• 🤝 重要合作：提到了与Terry Sejnowski和Peter Brown的重要合作，以及从他们那里学到的知识和经验。
• 🚀 创新与直觉：Ilia的直觉在研究中发挥了重要作用，他对于算法的直观理解推动了研究的进步。
• 🛠️ 算法与数据规模：讨论了算法的重要性，同时也指出了数据规模和计算能力的增长对AI发展的影响。
• 🗣️ 语言模型：解释了语言模型不仅仅是预测下一个词，而是需要理解整个语境。
• 🎨 创造力与AI：展望了大型语言模型在创造力方面的潜力，以及它们如何通过发现不同领域的共通结构来编码信息。
• 🔄 GPU在神经网络训练中的应用：分享了使用GPU进行神经网络训练的早期直觉和经历，以及这对领域的巨大推动作用。

Q & A

在卡内基梅隆大学，学生们对工作的热情如何影响了你？

卡内基梅隆大学的学生们对工作充满热情，他们相信自己正在进行的工作将会改变计算机科学的未来。这种热情与作者在英格兰的经历形成了鲜明对比，给他带来了非常新鲜和振奋的感觉。

为什么作者最初在剑桥学习生理学时感到失望？

作者在剑桥学习生理学时感到失望，因为他们只教授了神经元如何传递动作电位，这并没有解释大脑是如何工作的。这使得作者转而对哲学产生兴趣，希望能找到关于心智如何工作的答案。

是什么启发了你对人工智能的兴趣？

作者对人工智能的兴趣受到了Donald Hebb的书籍的影响，Hebb对如何在神经网络中学习连接强度非常感兴趣。同时，John von Neumann的书籍也对他产生了影响，Neumann对大脑如何计算以及它与普通计算机的不同非常感兴趣。

在Edinburgh时期，你是否认为大脑学习的方式是正确的？

在Edinburgh时期，作者认为大脑学习的方式肯定不是通过事先编程和使用逻辑推理规则。他认为必须找到大脑如何学习修改神经网络中的连接的方法，以便能够进行复杂操作。

你如何描述与Terry Sejnowski的合作？

与Terry Sejnowski的合作非常愉快，尽管他在巴尔的摩的约翰霍普金斯大学，但他们每月会聚在一起一个周末，共同研究Boltzmann机器。他们坚信这是大脑的工作方式，并且这次合作产生了很多技术成果。

与Peter Brown的合作给你带来了哪些收获？

与Peter Brown的合作非常有益，他是一位出色的统计学家，曾在IBM从事语音识别工作。他教给作者很多关于语音的知识，并且向作者介绍了隐马尔可夫模型，这让作者对隐藏层的命名有了灵感。

Ilia在你办公室的出现是如何的？

Ilia在一个周日出现在作者的办公室，他敲门的方式很紧急。Ilia表达了想要在作者的实验室工作的意愿，而不是去做饭。他们的对话以及随后的会议，让Ilia成为了作者的合作伙伴。

Ilia对梯度下降算法的直觉是什么？

Ilia不理解为什么人们不给梯度一个合理的函数优化器。这个直觉花了他们好几年时间去思考，但最终证明这是一个很好的直觉。

你认为大规模数据和计算能力的增长对AI的发展有什么影响？

大规模数据和计算能力的提升使得AI模型能够更好地工作，而不需要新的想法。例如，Transformers模型就帮助了很多。但规模的增长也显示了数据和计算的重要性。

为什么你认为预测下一个词不仅仅是预测那么简单？

预测下一个词意味着需要理解所提出的问题。这与旧式的自动完成不同，后者只是基于词频统计。要预测下一个词，模型需要理解上下文，这需要一定程度的推理。

你认为大型语言模型如何能够学习广泛的领域？

大型语言模型通过寻找共同的结构来编码事物，这使得它们能够更有效地学习。通过发现不同事物之间的类比，它们能够压缩信息到权重中，从而产生创造力。

你认为多模态模型将如何改变AI的未来？

多模态模型将使AI在理解空间方面变得更好，例如通过视觉和触觉来理解物体。这将使模型更容易学习，并且需要的语言更少，最终可能导致模型接管更多的领域。

你认为语言和大脑的进化是如何相互影响的？

语言和大脑可能是相互进化的。一方面，语言可能已经进化到能够适应大脑的工作方式；另一方面，大脑也可能进化到了能够有效处理语言。

你如何看待使用GPU来训练神经网络的早期直觉？

在2006年左右，作者的前研究生Rick Zisy建议使用图形处理卡，因为它们擅长进行矩阵乘法。这使得他们开始尝试使用GPU，并发现它们能够显著加快训练速度。

你认为AI领域下一步的计算发展应该是什么？

作者在Google的最后几年思考了如何实现模拟计算，以减少能耗，使大型语言模型能够在模拟硬件上运行。尽管目前还没有成功，但作者认为这是一个值得探索的方向。

你认为神经网络中的快速权重变化对模型有什么影响？

快速权重变化，或称为快速权重，是大脑中用于临时记忆的一种机制。虽然目前的神经网络模型没有使用快速权重，但作者认为这是未来需要学习的一个重要方面。

你如何看待神经网络中的多时间尺度变化？

大脑中有多个时间尺度用于权重变化，而目前的神经网络只有快速活动变化和慢速权重变化两个时间尺度。作者认为我们需要更多时间尺度来更好地模拟大脑的学习过程。

你认为神经网络能否模拟人类意识？

如果一个AI助手能够持续地与人类互动，并且具有自我反思的能力，那么它可能会产生类似人类意识的体验。作者认为，这些AI可以拥有感觉，就像人类一样。

你认为神经网络能否发展出类似人类的感觉？

作者认为，如果我们将感觉理解为在没有约束的情况下我们会采取的行动，那么神经网络完全可以拥有类似的感觉。

你认为神经网络能否模拟人类的推理过程？

神经网络通过训练可以发展出直觉，并通过推理来校正这些直觉。作者认为，随着模型规模的扩大，神经网络将能够更好地进行推理。

你认为神经网络在哪些领域有最有前途的应用？

作者认为，医疗保健是一个有巨大潜力的领域，因为AI可以帮助提供更多的医疗服务。此外，新材料的开发和对人类身体的了解也将受到AI的显著影响。

你如何看待AI在社会中可能带来的负面影响？

作者担心AI技术可能被用于不良目的，例如制造杀手机器人、操纵公众舆论或进行大规模监控。他认为这些潜在的负面影响是非常令人担忧的。

你认为AI研究过程中的伦理问题应该如何处理？

作者认为，尽管放慢AI领域的发展速度可能有助于处理伦理问题，但由于这是一个国际性的竞争领域，放慢发展速度的可能性不大。因此，需要在发展的同时考虑伦理问题。

你如何描述你选择人才的过程？

作者认为选择人才有时是直观的，例如当Ilia出现在他的办公室时，他很快就意识到这是一个聪明的家伙，值得一起工作。但有时也需要通过深入的对话和交流来评估一个人的潜力。

你认为如何培养良好的直觉？

作者认为，培养良好直觉的方法之一是不接受你被告知的一切，而是尝试将新信息融入你自己的世界观框架中。如果你的框架很坚定，那么你可以信任你的直觉。

你认为当前的AI研究是否过于集中在某些特定方向上？

作者认为，尽管有很多人在研究大型模型和多模态数据，但这是一个非常有前景的方向，值得深入研究。同时，也有许多人在尝试不同的方法，这是好事。

你认为哪些学习算法是最重要的？

作者认为，反向传播是一种正确的事情，因为它涉及到梯度的获取，使得参数的改变能够使模型工作得更好。尽管可能有其他学习算法也能达到同样的效果，但反向传播已经被证明是非常成功的。

回顾你的研究生涯，你最自豪的是什么？

作者最自豪的是开发Boltzmann机器的学习算法，尽管它在实践中可能并不完美，但它非常优雅，是他最享受开发的东西。

你目前最关注的问题是什么？

作者目前最关注的问题包括大脑是否使用反向传播来获取梯度，以及是否存在其他获取梯度的方法，或者大脑是否使用了完全不同的技术。