OpenAI 联合创始人 Ilya Sutskever：预训练时代即将结束

在最近的NeurIPS 2024会议上，Ilya Sutskever进行了最新的演讲。尽管演讲只有大约15分钟，但内容非常引人入胜。

一个示例是：

Pre-training as we know it will end.

我们所熟知的预训练即将终结。

Ilya还预测了未来：

what comes next is superintelligence: agentic, reasons, understands and is self aware.

接下来将是超级智能：代理、推理、理解和自我意识。

想要了解更多？让我们一起看完整的演讲。

技术发展的过去十年回顾

Ilya首先展示了十年前的一个PPT截图，当时，深度学习还处于探索阶段。

在2014年的蒙特利尔，他与团队（包括Oriol Vinyals和Quoc Le）首次提出了如今成为AI领域基石的深度学习概念。

Ilya揭示了他与团队的核心工作：自回归模型、大型神经网络和大数据集的结合。

十年前，这些元素并未被广泛认为是成功的关键，而如今它们已成为人工智能领域至关重要的基础。

当谈到深度学习假设时，Ilya强调了一个重要观点：

如果有一个10层的大型神经网络，它就能在一秒钟内完成人类能做的任何事情。

他解释说，深度学习的核心假设是人工神经元与生物神经元的相似性。基于这一假设，如果人类能够在0.1秒内完成某项任务，那么一个经过良好训练的10层神经网络也能完成相同的任务。

这一假设推动了深度学习的研究，最终实现了当时看似大胆的目标。

Ilya还介绍了自回归模型的核心思想：通过训练模型预测序列中的下一个token，当模型预测得足够准确时，它就能捕捉到整个序列的正确分布。

这一思想奠定了语言模型的基础，特别是在自然语言处理领域的应用。

除了技术上的成功之外，还存在一些"押错"的案例，如LSTM（长短期记忆网络）。Ilya提到，LSTM是Transformer出现之前深度学习研究者的主要技术之一。

尽管LSTM为神经网络提供了强大的能力，但其复杂性和局限性也变得明显。

Ilya认为，规模假设是深度学习成功的关键。

这一假设表明，如果你有一大型数据集，并且训练一个足够大的神经网络，那么取得成功几乎是确定的。这一观点已成为当前深度学习领域的核心准则。

Ilya进一步阐述了连接主义的思想，认为人工神经元与生物神经元之间的相似性让我们相信，即使不完全模仿人脑结构，巨大的神经网络也能完成与人类类似的任务。

预训练时代的结束

基于这些技术发展，我们迎来了预训练的时代。预训练推动了所有进步，包括大型神经网络和大规模数据集。

但Ilya预测：

尽管计算能力不断增长，硬件和算法的进步提高了神经网络的训练效率，但数据量的增长接近了瓶颈。

他认为，数据是AI的化石燃料，随着全球数据的限制，未来人工智能将面临数据瓶颈。

虽然目前我们仍能有效使用现有数据进行训练，但Ilya认为这种增长趋势将放缓，预训练时代也将逐步结束。

未来将是超级智能

在探讨未来发展方向时，Ilya提到了“Agent”和“合成数据”的概念。

许多专家讨论这些话题，认为Agent系统和合成数据将是突破预训练瓶颈的关键。

Agent系统指的是能够自主推理和决策的AI，而合成数据则可通过模拟环境创造新数据，弥补现实世界数据的不足。

Ilya还引用一个生物学例子，显示了哺乳动物身体与大脑大小的关系，暗示不同生物可能通过不同的“规模法则”演化出不同的智能表现。

这为深度学习领域的进一步扩展提供启示，表明人工智能也许可以通过不同方式突破当前的规模限制。

Ilya最后谈到了超级智能的前景。

他指出，尽管当前的语言模型和AI系统在某些任务上展现出超越人类的能力，但在推理方面仍显不稳定和不可预测。

推理越多，系统变得越不可预测，这在某些复杂任务中尤为明显。

他提到：

目前的AI系统仍不能真正理解和推理，尽管它们能模拟人类直觉，但未来的AI将展现出更不可预测的推理和决策能力。

Ilya进一步推测，未来的AI将不再仅是任务执行工具，而会发展成“Agent”，能够自主进行推理和决策，甚至可能具备某种形式的自我意识。

这将是一个质的飞跃，AI将不再是人类的延伸，而是一个独立智能存在。

参考链接：

https://x.com/vincentweisser/status/1867719020444889118

本文来自微信公众号：量子位（ID：QbitAI），作者：金磊，原标题《Ilya 宣判：预训终结！NeurIPS 现场沸腾》

广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考。