【人工智能】图灵奖得主Yoshua Bengio最新访谈 | 不应该只有Scaling Law | 深度学习三巨头 | 学术生涯 | 神经网络 | 系统2 | AI safety | 如何科学研究

大飞说科技

18 Apr 202413:07

Summary

TLDR在这次访谈中，世界级人工智能专家、图灵奖得主Yoshua Bengio分享了他的学术生涯和对当前人工智能领域的深刻见解。Bengio回顾了自己对计算机的兴趣起源，以及在神经网络遭遇寒冬时期坚持研究的历程。他强调了科学家跳出思维定势的重要性，并提出了对AI潜在风险的关心。Bengio对Scaling Law进行了反思，认为需要探索超越现有方法的新路径。他还讨论了系统2深度学习的重要性，以及如何构建安全的AI系统以避免与人类为敌的风险。最后，Bengio给年轻的科研工作者提供了宝贵的教学和科研经验，包括翻转课堂的教学方法和科学研究中提问的重要性。

Takeaways

🎓 Bengio的学术生涯回顾：他与计算机的结缘始于对科幻小说的兴趣，尤其是阿西莫夫的作品，以及后来对汇编语言的浓厚兴趣。
🏆 图灵奖荣誉：2018年，Bengio与Geoffrey Hinton和Yann LeCun共同获得图灵奖，以表彰他们在深度学习领域的贡献。
📚 早期挑战：在神经网络不被看好的年代，Bengio的论文曾遭拒，学生担心就业问题，但他坚持认为神经网络能解决泛化问题。
🧠 神经网络的优势：Bengio认为神经网络的多层结构有助于处理高维度数据，克服了传统统计方法的“维数灾难”。
📈 Scaling Law的反思：Bengio提醒Scaling Law只是经验规律，并非理论定律，对未来的适用性持谨慎态度。
🔍 新研究方向：Bengio转向AI for science、系统2和AI安全的研究，探索神经网络方法的局限性和未来的人工智能能力。
🤖 系统2深度学习：Bengio认为系统2的深度学习，包括推理、因果关系等，是当前AI不擅长而人类擅长的领域。
🔐 AI安全的关注：Bengio强调构建安全的AI系统的重要性，确保AI与人类价值观、法律和道德保持一致。
⚖️ 国际合作与治理：他提倡在国际层面上达成共识，共同构建安全的AI，避免AI技术的无序竞争和潜在的军事化。
👨‍👦‍👦 Bengio的家庭影响：他的家庭教育强调自由和批判性思维，对他的科学道路产生了深远影响。
📚 教学与研究建议：Bengio分享了翻转课堂的教学方法和学术研究中提问、保持谦虚、实践和阅读的重要性。

Q & A

Yoshua Bengio是如何与计算机结缘的？
-Yoshua Bengio在十几岁时阅读了大量科幻小说，包括阿西莫夫的作品，特别是阿西莫夫在1942年的短篇小说《环舞》中提出的“机器人三定律”，激发了他对计算机和人工智能的兴趣。后来，他和弟弟Samy Bengio一起攒钱买了第一台电脑，并通过自学对汇编语言产生了浓厚的兴趣。
为什么说Bengio在神经网络不被重视的年代也坚持研究？
-即使在神经网络经历寒冬，大多数人对其失去信心的时期，Bengio凭借强烈的直觉认为神经网络能够解决其他主流方法无法应对的泛化问题。他坚信神经网络的多层结构能够处理高维度数据，具有巨大优势。
Bengio的哪些研究对深度学习领域产生了重要影响？
-Bengio在NeurIPS上发表的关于使用神经网络构建语言模型的论文是大语言模型的前身。2006年，他发表了《深度网络的贪婪逐层训练》的论文，找到了训练深层网络的方法。2014年，他的团队在《通过联合学习对齐和翻译进行神经机器翻译》的论文中首次将注意力机制应用到自然语言处理领域，大幅提升了机器翻译性能。
Bengio对于当前流行的Scaling Law持有怎样的观点？
-Bengio认为Scaling Law不是一个理论定律，而是基于经验性观察总结出的规律。他提醒说，我们无法确保Scaling Law会一直起作用，因此需要探索Scaling Law之外的新方法。
Bengio认为人工智能的未来研究方向应该是什么？
-Bengio认为未来的人工智能研究应该探索更多不同的方法，而不仅仅局限于当前的神经网络技术。他特别强调了系统2深度学习的研究，即推理、因果关系、自我怀疑等思维能力，这些是当前人工智能不太擅长而人类非常擅长的。
Bengio在AI安全领域有哪些担忧和建议？
-Bengio担忧AI存在被滥用或失控的风险，强调需要构建不会伤害人类的AI系统，并与人类的价值观、意图、法律、规范和道德保持一致。他建议减少AGI项目的数量，并在国际层面达成共识，集中资源构建安全的AI，避免AI技术被用于军事目的。
Bengio对于年轻科研工作者有哪些教学和科研经验分享？
-Bengio提倡翻转课堂的教学方法，鼓励学生主动参与学习。在科研中，他强调要学会善于提问，保持谦虚，接受自己可能会犯错，并培养直觉。他还建议多阅读，通过阅读了解他人的研究成果和前沿进展。
Bengio的家庭背景如何影响了他对科学道路的选择？
-Bengio的家庭非常自由，没有很严格的家规。父母关心的总是他和弟弟想做什么，这种环境赋予了他们兄弟很多自由和批判性的思维，深刻影响了他今后走上科学的道路。
Bengio在学术生涯中有哪些重要的合作伙伴？
-Bengio与Geoffrey Hinton、Yann LeCun等人保持合作，他们每年见面两次，互相交流想法，鼓励彼此在神经网络方向上的持续探索。
Bengio如何看待当前AI研究者在提升大模型性能方面存在的分歧？
-Bengio认为需要看到目前Scaling Law的不足，探索Scaling Law之外的新方法。他倾向于认为还需要在方法层面取得一些根本性突破，才能弥合人工智能与人类之间的差距。
Bengio对于实现人工通用智能（AGI）的可能性持怎样的态度？
-Bengio认为虽然现在显然还不存在AGI，但是未来很有可能实现。他认同Yann LeCun的观点，对于Ilya Sutskever想要实现AGI的目标，我们应该认真看待，不应该轻易地认为这不可能实现。
Bengio在访谈中提到了哪些关于AI安全和治理的建议？
-Bengio建议在AI治理方面需要达成类似的国际条约，在国际层面达成共识，各国不应毫无约束地自行研发人工智能技术，尤其不能将AI用于军事目的。而是应该把所有资源集中起来构建安全的AI，并确保它不会被用于对抗人类。