IBM 全新光学技术可缩短 GPU 闲置时间,大幅加快 AI 模型训练速度
xxn
阅读:43197
2024-12-11 10:03:26
评论:0
据IT之家报道,IBM日前宣布研发出一项创新的光学技术,可用光速训练AI模型,同时实现显著节能。该技术将应用于数据中心,据称训练一个AI模型所需的能源相当于5000个美国家庭一年的能耗。
IBM解释称,尽管数据中心与外部世界连接采用光纤电缆,但内部仍使用铜线。这些铜线连接GPU加速器,而GPU加速器在等待其他设备传来数据时通常处于空闲状态,导致能源浪费和成本增加。
IBM高级副总裁兼研究总监Dario Gil表示:“随着生成式AI对能源和处理能力的需求增加,数据中心必须不断演进。共封装光学技术(CPO)将使数据中心迎接未来挑战。通过这一突破,未来的芯片将实现光纤电缆一样的数据传输,将开启更快、更可持续的通信新纪元,能够应对未来的AI工作负载。”
据IT之家了解,IBM在一份技术论文中介绍了新的CPO原型。通过显著增加数据中心的带宽,可以最大限度减少GPU的空闲时间,从而加速AI处理。IBM称,大型语言模型(LLM)的训练时间可从三个月缩短至三周。同时,更高的能源效率将降低消耗,降低训练LLM的相关成本。
广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考。
声明
1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。