自家芯片助力：SambaNova 推出“最快”DeepSeek-R1 671B 模型推理云服务

IT之家最新消息，SambaNova，一家专注于AI芯片与解决方案的企业，宣布推出基于其自家研发SN40L RDU处理器的云平台，推出了号称“市面最快”的DeepSeek-R1 671B模型推理云服务。据称，其token输出速度可达每prompt每秒198个。

SambaNova的SN40L RDU芯片采用了台积电的5nm制程，BF16算力高达638 TFLOPS。这款芯片采用了独特的三层存储结构：520MB的SRAM缓存、64GB的HBM内存以及1.5TB的DDR DRAM内存，使得单个芯片能够容纳的参数远超过竞品。

此外，SN40L RDU具有灵活的结构，可以动态重新配置硬件资源和数据流，从而提高计算和访存效率。

SambaNova声称，仅需一台机架容纳16个SN40L RDU芯片，就可以完成DeepSeek-R1 671B的部署。

广告声明：文中包含的对外跳转链接仅供参考，用于传递更多信息，节省甄选时间。