谷歌 AI 掌门人 Jeff Dean 对话 Transformer 作者：AI 提速 300%，1000 万倍工程师要来了

谷歌首席科学家 Jeff Dean 与 Transformer 作者 Noam Shazeer 在一场专访中分享了让 AI 模型速度提升三倍的低精度计算技术，探讨了「猫神经元」和早期 AI 突破的故事，以及对 AI 处理万亿级别 Token、实现「1000 万倍工程师」潜力的畅想。

未来如果缺少「Attention Is All You Need」这篇论文，AI 将会有怎样的发展？

在最新的深度访谈中，Jeff Dean 和 Transformer 的作者 Noam Shazeer回顾了 AI 发展的关键时刻，展望了未来的方向。

他们详解了模型蒸馏、MoE 架构的内幕，并探讨了使AI模型处理整个互联网信息的可能性。

这次访谈内容十分丰富，吸引了众多关注。

低精度技术加速模型三倍

Jeff 感慨道：“基于通用 CPU 的机器扩展性不如以前。制造工艺改进需要更长时间，多核处理器等架构改进也未带来过去那样的提升。”

他提到，专用计算设备如机器学习加速器、TPU、专注于机器学习的GPU有助于获得高性能和效率。

算法正随硬件发展变化，Noam 指出，算术运算成本低廉，数据传输成本相对较高。

这导致深度学习迅猛发展。Noam 表示，使用矩阵乘法构建深度学习需要大量运算和数据传输。

Jeff 表示赞同：“转向硬件变化关键，CPU和GPU不适于深度学习。”

后来，谷歌推出TPU，这些低精度线性代数处理器需要充分利用。

Jeff 提到：“我们的成本主要是机会成本。利用这些算术单元可使算术运算数量级增加。”

Jeff 补充说：“算术运算的精度可以非常低，放置更多乘法单元。”

随着时间推移，训练采用更低精度，推理精度也降低。如今人们使用INT4或FP4。

Jeff 指出：“模型量化到2位或1位是趋势。尽管繁琐，但模型速度可提升三倍，值得接受。”

扩展神经网络有效性

Jeff 回忆Brain团队早期专注于构建基础设施训练大规模神经网络的经历。

他们通过模型并行和数据并行方法训练大规模神经网络。

Jeff 表示：“我们对1000万个随机YouTube帧进行无监督学习，系统运行在2000台计算机上，使用16000核心进行训练。”

这个系统最终能构建具有猫图像激发神经元的表示。

Jeff解释说：“对监督学习的Imagenet 20000类别具有良好结果，性能提升60%。”

神经网络可能是之前的50倍，且结果良好。

Jeff说：“基于无监督学习构建高层表示非凡。”

他们的探索展现了AI潜在发展力。

Jeff表示：“扩展神经网络可行有效，未来继续发展。”

挑战处理数万亿token

Jeff思考如何处理长上下文问题，AI模型现能处理数百万token上下文。

他说：“但如果模型能处理数万亿token那太好了。是否能关注整个互联网为你提供正确内容？是否能处理所有个人信息？”

Jeff指出：在Transformer中有优秀的注意力机制。

目前，AI能够处理数百万token上下文，但Jeff展望AI更进一步。

他认为，在计算挑战下需要一些算法来实现模型处理更多token的可能。

Jeff展望模型可访问全部信息为人提供帮助与解决问题。

在技术与发展满足潜在挑战下，AI应保持警觉。

百万倍“邪恶”的Jeff

访谈探讨AI系统自我优化可能性，认识AI安全深层领域。讨论AI被数百万顶尖水平“复制”局面的后果。

该场景触及AI安全核心关切，目标对齐问题。即确保AI目标与人类价值保持一致避免意外行为。

主持人设想场景，Jeff或Noam编程能力被数百万“复制”，引发无法控制后果。

AI领域存在两极看法：AI系统可能胜过人类或带来新福音，如何确保AI安全，仍是研究重点。

Jeff展现了审慎乐观看法，强调对AI安全与风险保持警惕。

未来AI巨大机遇

话题延伸至AI前景，AI聊天界面等应用增长将带来计算资源需求激增。

Jeff指出：“10%到20%的用户使用这类界面，未来增长可能达一到两个数量级。”

这对基础设施与算力提出挑战。

AI快速发展伴随风险，Jeff重视AI可能被滥用的问题。

Noam表示，AI发展将带来广泛社会益处，AI有望成为推动社会进步引擎。

Jeff提问：是否愿意投入资源使AI提升5到10个点成为“1000万倍工程师”？这激发新技术革命与产业变革。

结语

Jeff Dean 和 Noam Shazeer 的对话描绘了AI技术发展的无限可能。

从让模型快三倍的低精度计算，到处理数万亿token的长上下文挑战，再到对AI安全性的深刻思考，访谈展现了激动人心未来。

Jeff认为AI“邪恶”版本并不是主要担忧，但仍需警惕潜在风险。

参考资料：

• https://www.youtube.com/watch?v=v0gjI__RyCY

本文来自微信公众号：新智元（ID：AI_era）

广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考。