Lecture 1.1 — Why do we need machine learning — [ Deep Learning | Geoffrey Hinton | UofT ]

Summary

在这段视频脚本中，我们被引入了Coursera上的一门关于神经网络与机器学习的课程。讲师首先讨论了为什么我们需要机器学习，它在解决某些问题时的必要性，以及它能够实现的一些示例。机器学习的重要性在于它能够处理那些难以编程解决的复杂问题，如从新视角识别三维对象或检测欺诈性信用卡交易。机器学习算法通过收集大量示例，然后产生一个能够执行任务的程序，这个程序可能包含数百万的参数，与手写的程序截然不同。视频中还提到了机器学习在模式识别、异常检测和预测等任务中的应用，并以手写数字识别为例，展示了机器学习算法的成效。此外，还介绍了深度神经网络在图像识别和语音识别中的进展，包括在2010年竞赛中的表现，以及在最新技术中如何减少错误率和提高性能。整个脚本强调了机器学习在现代技术中的重要性和实用性。

Takeaways

• 🤖 机器学习的必要性：机器学习对于解决某些难以编程解决的问题至关重要，如三维物体识别或欺诈性信用卡交易检测。
• 🧠 机器学习的原理：通过收集大量示例，机器学习算法能够生成程序，这些程序可以处理新的案例，并且能够通过重新训练适应数据的变化。
• 📈 计算能力的发展：随着大量计算能力变得便宜，我们能够负担得起复杂的机器学习程序，以生成特定任务的系统。
• 🔍 机器学习的应用：机器学习被广泛应用于模式识别、异常检测和预测等领域。
• 📚 标准测试案例：手写数字识别是机器学习中的一个标准测试案例，类似于遗传学中的果蝇。
• 📉 错误率的降低：深度神经网络在图像识别和语音识别方面的错误率已经显著降低，超越了以往的机器学习方法。
• 🏆 竞赛和进步：2010年的竞赛展示了深度神经网络在对象识别方面的潜力，而现在的深度神经网络性能更加出色。
• 🖼️ 图像识别的挑战：即使是最先进的神经网络也会在图像识别中犯错误，但这些错误通常是合理的，并且可以提供关于其工作方式的洞察。
• 🎙️ 语音识别的突破：深度神经网络在语音识别系统中作为声学模型使用，已经显著提高了识别准确率，并开始在实际系统中得到应用。
• 📉 训练数据的减少：使用深度神经网络的语音识别系统能够减少所需的训练数据量，同时保持或提高性能。
• 📱 实际应用：最新的安卓系统中的语音搜索功能使用了深度神经网络来实现高效的语音识别。

Q & A

为什么我们需要机器学习？

机器学习被需要是因为某些问题很难编写程序来解决，例如在新视角、新光照条件和杂乱场景中识别三维对象，或者检测欺诈性的信用卡交易。这些问题难以用简单的规则来定义，需要结合大量不太可靠的规则，并且这些规则会随时间变化。

机器学习算法与传统程序有何不同？

机器学习算法不是为每个特定任务手工编写程序，而是收集大量示例，然后通过算法产生一个程序来完成工作。这个程序可能看起来与传统的手工编写程序非常不同，它可能包含数百万的数字，描述了如何处理不同的输入。

机器学习在哪些领域特别有用？

机器学习特别适用于识别模式、异常检测和预测。例如，识别真实场景中的对象、人脸的身份或表情、口语单词，检测不寻常的信用卡交易序列，或者预测股票价格、货币汇率等。

为什么说手写数字识别是机器学习的一个好任务？

手写数字识别是机器学习的一个好任务，因为即使我们知道它们是手写数字，也很难定义一个简单的模板来识别它们。此外，手写数字的多样性和复杂性使得使用机器学习算法来学习识别模式更为合适。

神经网络在图像识别方面取得了哪些进展？

神经网络在图像识别方面取得了显著进展，现在能够识别1.3百万高分辨率训练图像中的一千种不同的对象类别。在2010年的一次竞赛中，最好的系统识别错误率为47%，而现在的深度神经网络可以做得更好，错误率低于40%。

神经网络在语音识别方面有哪些应用？

神经网络在语音识别系统中用于声学模型的建立，它们可以处理声音波形并预测正在说的音素。目前，深度神经网络在声学模型方面的性能已经超过了以往的机器学习方法，并开始在实际系统中得到应用。

神经网络在语音识别中如何提高性能？

神经网络通过使用多层二进制神经元来处理声学帧，并预测标签，通过预训练和标准后处理，能够显著降低语音识别的错误率。例如，微软的研究显示，使用深度神经网络作为声学模型可以减少错误率，从37.4%降低到18.5%。

机器学习算法如何适应数据变化？

如果数据发生变化，机器学习算法可以通过在新数据上重新训练来相对容易地改变程序。这意味着机器学习算法能够适应新的案例，以及它在训练时见过的案例。

为什么使用机器学习算法而不是为每个任务编写特定程序？

使用机器学习算法而不是为每个任务编写特定程序的原因在于，机器学习算法可以处理更为复杂和不断变化的任务，而且随着计算能力的提升，我们可以负担得起更复杂的机器学习程序来产生特定任务的系统。

在机器学习中，为什么说手写数字识别是等价于果蝇在遗传学中的地位？

手写数字识别在机器学习中的地位相当于果蝇在遗传学中的地位，因为它是公开可用的，可以快速地让机器学习算法学会识别这些数字。同时，我们对不同机器学习方法在手写数字识别任务上的表现有大量的了解，这使得它成为测试和比较不同算法的理想选择。

神经网络在处理复杂图像识别任务时有哪些挑战？

神经网络在处理复杂图像识别任务时面临的挑战包括对大量参数的训练、需要大量的训练数据以及如何处理从未见过的新图像。此外，神经网络需要能够理解图像内容并做出合理的预测，即使在面对错误时也能提供有意义的错误反馈。

为什么说神经网络在语音识别中的错误率降低是一个重大的进步？

在语音识别中，错误率的降低意味着系统更加准确，用户与系统的交互将更加流畅。此外，减少所需的训练数据量可以加快新系统的开发和部署，降低成本，并允许更快地适应新的语言或方言。