大模型创业太累大牛逃回大厂：融资 1 亿美金捉襟见肘，没日没夜加班胖了 30 斤

大型创业项目辛苦，一位知名人士决定回到知名公司。

曾创立Reka AI的Yi Tay曾是谷歌大型项目PaLM、UL2、Flan-2、Bard的重要成员。

本周他重返谷歌，在离开创业一年半后选择回到以前的角色。他将继续担任谷歌DeepMind高级研究员，向谷歌前老板Quoc Le汇报。

回顾创业经历，他分享了许多学到的东西，如基础设施知识和训练大型模型等。但这段经历也带来了挑战：

• 公司勉强筹到了一亿美元资金，但对于少于15人的团队来说依然紧张，差点陷入危机。

• 工作压力和不健康的生活方式导致他增重15公斤，对身心健康造成影响。

他说：

放弃舒适区创业对我个人来说是很可怕的。

知名人士回到谷歌

去年三月底宣布离开谷歌创业RekaAI，并担任首席科学家。

此前在谷歌大脑工作了3.3年，参与大型项目研究并出版约45篇论文，包括UL2、U-PaLM、DSI、Synthesizer、Charformer和Long Range Arena等，约有20次产品发布。

从技术方面来看，他表示在谷歌学到了很多无法获得的知识，如使用Pytorch/GPU和其他外部基础设施，以最优的成本构建模型。

他在个人网站上分享了相关经验：获取计算能力是训练模型的关键，但这过程像在买彩票。

硬件的质量差异很大，选择合适的硬件是训练好模型的必要条件，这有点像在抽签。总而言之，这是硬件彩票时代。

他惊讶于GPU的故障率与谷歌TPU相比。

他批评外部代码库质量不如谷歌，对于大规模编码器-解码器训练支持不足。

解决问题的过程实际很有趣，并以自身技术实力度过难关。

创业早期，旗舰模型Reka Core在Lmsys排名第7，公司排名前五，超越GPT-4早期版本。

目前公司拥有四个适用于不同应用场景的模型。

离职的原因更现实。

初创公司在资金、算力和人力等方面落后，即使筹集了一亿美元，对于少于15人的团队还不够。

今年5月，有传闻Snowflake正讨论以超过10亿美元收购Reka AI。

收购尚未达成，公司现在正积极招聘。

这是个压力巨大的时期，刚开始创业时妻子怀孕，他需要兼顾两边，导致身心健康受损。工作强度和不健康生活方式让他增重15公斤。

他透露自己有睡眠障碍。

因此，他选择回到谷歌，重回研究者身份。

在探索一年半之后，我决定回到我的研究基础。

他将继续探索大型项目相关的研究，以高级研究员身份向老板Quoc Le汇报。

在博客结尾，他感谢一直支持他的谷歌老朋友，特别感谢和他在新加坡共进晚餐的Jeff Dean，并提醒他Google很棒。

欢迎重回谷歌

一些谷歌老同事表示：欢迎回来！感觉时间过得飞快。

不只有他，其他大牛也选择回到大公司不是个例。

今年8月，谷歌耗资25亿美元带走了明星AI独角兽Character.AI的核心技术团队，超过Character.AI的10亿美元估值。

其中包括两位创始人Noam Shazeer和Daniel De Freitas。Noam Shazeer将担任Gemini联合技术主管。

对于这些大牛来说，大型创业项目确实挑战重重。重返大公司可能是一个良好选择，财力和算力都足够，可以专心做研究。

随着新一轮洗牌开始，更多技术人才正聚集到科技巨头身边，这一趋势已经初步显现。

参考链接：

• [1]https://x.com/YiTayML

• [2]https://www.yitay.net/?author=636616684c5e64780328eece

• [3]https://www.yitay.net/blog/training-great-llms-entirely-from-ground-zero-in-the-wilderness

• [4]https://www.yitay.net/blog/leaving-google-brain

广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考。