PyTorch 灵魂人物 Horace He 从 Meta 出走，选择 OpenAI 前 CTO 初创公司

Python技术专家Horace He突然宣布，加入Thinking Machines。

「在Meta，离职时发布一张工牌照片是一种传统。遗憾的是，我找不到我的正式工牌了，所以只能用临时工牌代替」

毕业后，在Meta的PyTorch工作4年后，Horace He终于决定探索一些新的事物。

在最新博客文章中，他解释了离职PyTorch的原因以及加盟TM的动机：

• 为什么在PyTorch待了4年？

• 为什么Thinking Machines对其如此有吸引力？

全文链接：https://www.thonking.ai/p/why-pytorch-is-an-amazing-place-to

前OpenAI CTO，Thinking Machines创始人Mira Murati首次发文，表示期待与Horace He共事。

斯坦福AI实验室教授表示，「Horace He的离职对Meta来说，是一个巨大的损失」。

PyTorch之父SoumithChintala对其给予高度评价：

你对PyTorch的贡献以及间接对AI世界的影响将永远被低估，甚至可能在几年后就被抹去（就像历史记录常常会发生的那样）。

所以，我想郑重地说：这对PyTorch项目来说是一个巨大的损失。如果没有你，PyTorch过渡到编译模式，以及在生成式AI浪潮中保持竞争力将会难上无数倍。

那么，这样一位牛人，为何选择离开并加入Thinking Machines呢？

OpenAI、SSI硅谷大厂为他争破头

坦白说，这个问题不太好回答。

工作了大约4年后，我决定离开PyTorch，加入Thinking Machines担任创始团队工程师。

我特别强调的是「加入Thinking Machines担任创始团队工程师」而不是「离开PyTorch」。因为我一直很享受在PyTorch工作，并愿意继续待上4年。

在过去几年里，我多次听到人们对于我仍在PyTorch工作感到惊讶。

这并非自夸，但也绝非因为缺乏机会-我曾受到OpenAI、Anthropic的职位邀请，也被xAI、SSI、Adept、Inflection等公司招募为创始工程师，同时收到了许多其他初创企业的职位邀请。

现在回头看，这些机会中的许多本可能带来更丰厚的回报，但我从未后悔留在PyTorch。

接下来，我将分享我在PyTorch工作的这4年中的乐趣以及加入Thinking Machines的决定动机。

PyTorch这四年，很享受

与PyTorch的缘分

称自己为AI的「忠实信徒」，似乎是恰当的。

自高中时看到AlphaGo比赛，并阅读了WaitButWhy关于AI的文章后（尽管十年后再看未必经得起批判），我一直坚信AI将成为我生命中最重要的技术。

从2016年进入大学以来，我做的大部分事情都与AI相关。

选修机器学习课程、创建本科生机器学习研究社团、发表论文，甚至认识女友（现在未婚妻）也是在一起从事机器学习研究时的。

然而，纯粹从事机器学习研究，有几点令我感到不满意。

首先，虽然我发表了论文等成果，但即使在当时，我也不确定我所从事的研究是否真的「有意义」。

研究中一个令人沮丧的方面是，回顾历史，99%的论文最终不会成为推动AI发展「主流方向」的一部分。

从悲观的角度看，任何花时间研究n-gram模型的博士基本上都是在浪费时间-他们的论文和著作最终会被历史所遗忘。

尽管不在主流方向上的论文仍可能有价值（例如展示现有方法的局限性，为新方法提供可超越的基准），但这种疑虑一直萦绕在我心头。

其次，我从未能很好地适应机器学习中那种「实验驱动」的工作模式-我的工作风格比较不规律，时而深度思考，时而集中编码。

成为一名优秀的机器学习实验者需要极强的自律-这是一个不断循环的过程：提出假设=>运行实验=>获取上一个实验的结果=>提出新的假设，通常还要同时管理多个实验阶段。

在机器学习研究中，你面临着物理资源限制（GPU），要成为一个好的研究者，你必须学会充分利用GPU资源进行实验。

总的来说，我更倾向于「系统」领域。这不仅是一个我认为能发挥自己优势的方向，我也一直很欣赏系统工作的影响力。

与其直接产生影响，不如通过提升千万甚至数百万人5%的工作效率来间接创造更大的价值！

就这样，我找到了自己的职业定位-不是直接投身于推动机器学习技术的发展，而是专注于建设基础架构，帮助他人加速机器学习领域的创新。

当然，中间经历了不少波折，但这就是我与PyTorch结缘的故事。

PyTorch对行业的影响力

随着这个领域（还有资金）在过去10年的爆炸式增长，人们很容易忽略PyTorch究竟产生了多么深远的影响。

或许追踪这个领域资金流向最直观的指标就是英伟达的股价了，它主要受服务器GPU销售增长的推动。

我认为可以合理推测，至少75%的这些GPU都在运行某种形式的PyTorch代码。

这简直令人难以置信。英伟达增长了约3万亿美元的市值，而PyTorch在这一成就中功不可没。

不仅如此，在整个机器学习社区中，PyTorch依然是大家的「通用语言」。

Papers With Code追踪的研究论文中有59%使用PyTorch（另有29%不使用任何机器学习框架），Huggingface平台上绝大多数模型（超过90%？）都构建在PyTorch之上，最受欢迎的推理服务器如vllm和sglang也都基于PyTorch开发。

即使在顶尖AI实验室中，几乎所有使用GPU的公司都在使用PyTorch。OpenAI、Mistral、Deepseek和Meta主要使用PyTorch（和GPU）。Anthropic也主要在GPU上使用PyTorch，而xAI（虽然在GPU训练上使用Jax）也通过sglang使用PyTorch进行推理！

在高中时期，我最担心的事情之一就是自己会花上10年时间投入某个项目，最后却发现我浪费了大好时光去完善一个无人问津的东西。

而在PyTorch工作的最大幸运之一，就是我确信自己绝对没有做这样的无用功。

PyTorch对我的影响

我的整个职业生涯（到目前为止）都在PyTorch度过，因此，除了PyTorch的整体影响外，我想聊聊为什么我如此享受这里的日常工作。

• 目标共识

创业公司最棒的事情之一是「目标共识」。因为你的大部分薪酬都与股票升值挂钩，所以「我的同事大获成功」和「我们所有人都大获成功」其实是一回事。

而在大型科技公司，人们的薪酬主要与个人绩效评分（和晋升）挂钩。因此，如果你开始研究一种方法，而其他人提出了一种不同的、非常成功的方法（并取代了你的方法），你的绩效评分很可能会下滑，晋升机会也会随之渺茫。

然而在PyTorch，项目中的许多人都有着共同的使命感-他们真心在乎PyTorch的整体成功及其对机器学习生态系统的影响。

我当然不会说团队中100%的人都是如此，但已经足够多（尤其是在资深人士中），这让工作体验变得更加愉快。

• 真正致力于开源

Soumith（和其他领导层）在PyTorch营造重视开源的文化氛围方面做得非常出色。

还有许多其他恰好是开源的项目，但你通常只能通过优先考虑内部项目来获得晋升和影响力。

在PyTorch不是这样，我可以说我在这里的全部时间主要专注于开源影响力，而且我在评级和晋升方面都很成功。（当然，也有其他主要关注内部影响的同事同样非常成功）。

在其他方面，重视开源也会让整个项目更加健康。

• 不可操控的影响力

在大型科技公司中，我不太喜欢的一种现象是我称之为「规划导向的采用模式」。这是指两位经理/主管/副总裁聚在一起，同意应该使用X项目（可能会淘汰Y项目），然后项目的采用被列入几个团队的规划路线中。

虽然这当然有其优势（在某些情况下甚至是完全必要的），但我发现以这种方式采用的项目往往差强人意。

此外，这些项目的成功常常是一种虚假繁荣-只要有某位副总裁赞助项目，它们就会继续存在，但最终人们会厌倦它，副总裁会在内部博弈中失势，或者副总裁只是改变了主意。基