杨立昆认为目前的机器学习能力比起人类还差得远，机器学习并没有人类学习的那种推理和计划能力，这一缺失导致我们无法做出和人类智力相当的人工智能。同时，他认为现在的LLMs（Large Language Models，大型语言模型）是两年前的研究成果，已经过时了，现在更新的AI学习方式应该是自监督学习（self-supervised learning）。

最后，他还指出应该要打造目标驱动型人工智能，放弃那些生成式训练方式，尽快研究出有推理能力，能进行复杂计划分层规划的人工智能。并提出不存在通用人工智能的概念，人工智能都是很专业的。

演讲的精彩观点：

1.自监督学习可以被看作是机器学习的一种“理想状态”，模型直接从无标签数据中自行学习，无需标注数据。

2.开放的创新让我们在人工智能开发过程中获益颇丰，为这些技术带来可见性、审查和信任是我们努力的目标。

3.我认为未来人工智能和机器学习研究面临着三个挑战。第一是学习世界的表征和预测模型。解决这个问题的方法就是自监督学习。第二是学习推理。基本上与人类的潜意识相对应，可以做到下意识的反应，不需要过多地思考。第三是学会分层制定行动计划。可以通过大量复杂的动作来实现目标。

4.大多数人类知识都是非语言的。我们在一岁之前学到的一切都与语言无关。除非拥有以视觉形式提供直接感官信息的系统，否则我们将无法创造出达到人类智力水平的人工智能。

5.最终，我们想要做的是使用自监督学习和JEPA架构来构建之前提到的那种可以预测世界和进行计划推理的系统，这些系统是分层的，可以预测世界上将要发生的事情。

6.我不认为存在通用人工智能这样的概念，人工智能是非常专业的。

以下为杨立昆在麻省理工学院的演讲（有删改）:

01 比起人类，机器学习还差得远

我们应该意识到，与人类、动物的学习行为相比，机器学习真的很糟糕。人类和动物能够了解世界是如何运作的，可以对任务进行推理和计划，他们的行为是由目标所驱动的，而机器学习却做不到这一点。不过随着自监督学习的应用，生物世界和机器学习之间的差距正在缩小。自监督学习已经在文本、自然语言理解、图像、视频、3D模型、语音、蛋白质折叠等领域的机器学习中占据了主导地位。

自监督学习可以被看作是机器学习的一种“理想状态”，模型直接从无标签数据中自行学习，无需标注数据。它在自然语言理解中的使用方式是，获取一段文本，通过删除一些单词（例如用空白标记替换它们）来掩盖它的一部分错误，然后训练一些神经网络来预测丢失的单词，只需测量缺失部分的重建误差。在这个过程中，系统允许你存储或表示语法、语义等内容，然后可以使用这些内容去进行下一步的任务，例如翻译或主题分类等。