AI 芯片厂商 Cerebras 部署 DeepSeek 服务爆单,降低成本反而扩大市场容量

xxn 阅读:8249 2025-02-12 18:00:31 评论:0

IT之家于2月12日报道,引用ZDNET的消息,AI芯片制造商Cerebras的首席执行官Andrew Feldman在接受采访时表示,该公司正遭遇来自DeepSeek-R1大语言模型订单的压力

根据IT之家先前的报道,Cerebras推出了适用于AI的晶圆级芯片,此芯片能提供高达125 PFLOPS的峰值运算能力,并结合外部内存可实现最高1.2PB的内存容量。

DeepSeek-R1的预训练费用低至GPTo1等主流模型的十分之一,其效果相当或更优,因而被视为AI领域的一个重要转折点。

Feldman表示,DeepSeek对人工智能领域的影响不仅限于当前阶段,也在于激发更大规模的AI系统的发展。随着成本的下降,市场空间正在不断扩大

Cerebras在其官方网站上展示了,Cerebras的晶圆级AI芯片,在部署DeepSeek-R1 70B的情况下,性能可达1508 tokens/s,显著超过GPU的速度

用户在使用类似DeepSeek-R1的“推理模型”时,输入提示后等待响应的时间成为一大问题。这是因为该模型采用了Chain-of-thought(CoT)方法,以增强推理能力,将复杂问题拆解为多个步骤,允许模型在必要时进行额外计算。推理过程需要逐字分析,对完整提示词进行多次处理,这需要大量计算资源。

客户可通过蒸馏技术将大模型的“知识”迁移至小型模型,以减轻该负担,其中大模型通常被称为教师模型,而较小的则是学生模型。

为改善用户在DeepSeek模型使用中的体验,Cerebras为客户推荐的做法是利用Hugging Face开源的DeepSeek模型参数作为教师模型,蒸馏出一个较小的学生模型用于实际应用,Cerebras在官网上表示,DeepSeek R1蒸馏到Llama 70B时精度几乎未受影响。

Feldman指出,DeepSeek是首个顶级开源推理模型,标志着开源AI的显著胜利。借助蒸馏技术,开源模型仅需公开模型参数,研究人员无需访问源代码即可重复新AI模型的进展。他认为DeepSeek的经济性不仅让整个AI行业感到震撼,更将为尖端AI芯片和网络技术的投资带来新机遇。

有观点认为计算成本降低会导致市场缩减,但过去50年的数据表明,成本下降往往会扩张市场容量。无论是个人电脑还是智能手机,价格下降都促进了其普及。

Cerebras自去年8月起开始提供公共推理服务,声称自己是“全球最快的人工智能推理服务提供者”。目前该公司只提供蒸馏后的70B模型,Feldman指出,405B模型的成本过高,客户偏好更具性价比的模型,当然也有一些客户认为更高的成本值得以换取更好的准确性,从而选择更大的模型。

相关阅读:

广告声明:文本中包含的外部链接(包括不限于超链接、二维码、口令等形式)旨在提供更多信息,节省筛选时间,结果仅供参考。

声明

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

搜索
排行榜
关注我们

扫一扫关注我们,了解最新精彩内容