在 ChatGPT 引发的新一轮 AI 爆发之后，一部分研究者指出，大语言模型具备通过观察进行因果归纳的能力，但缺乏自己主动推理新的因果场景的能力。相比于持乐观预测的观点，这意味着 AGI 仍然是一个复杂而遥远的目标。

一直以来，AI 社区内有一种观点：神经网络的学习过程可能就只是对数据集的压缩。

近日，伯克利和香港大学的马毅教授领导的一个研究团队给出了自己的最新研究结果：包括 GPT-4 在内的当前 AI 系统所做的正是压缩。

通过新提出的深度网络架构 CRATE，他们通过数学方式验证了这一点。

而更值得注意的是，CRATE 是一种白盒 Transformer，其不仅能在几乎所有任务上与黑盒 Transformer 相媲美，而且还具备非常出色的可解释性。

基于此，马毅教授还在 Twitter 上分享了一个有趣的见解：既然当前的 AI 只是在压缩数据，那么就只能学习到数据中的相关性 / 分布，所以就并不真正具备因果或逻辑推理或抽象思考能力。因此，当今的 AI 还算不是 AGI，即便近年来在处理和建模大量高维和多模态数据方面，深度学习在实验中取得了巨大的成功。