美团开源首发 INT8 无损满血版 DeepSeek R1，部署 A100 实现 50% 吞吐提升

IT之家于 3 月 7 日报道，美团搜推机器学习团队在 3 月 4 日发布了最新的开源成果，实现了 DeepSeek R1 模型的基本无损 INT8 精度量化。

DeepSeek R1 的原始模型权重采用 FP8 数据格式，对所支持的 GPU 型号要求严格，仅兼容英伟达的新一代 GPU（如 Ada 和 Hopper 架构），其他类型的 GPU（例如 A100）无法直接进行部署。

目前，量化代码已纳入开源 LLM 推理框架 SGLang，并在 Hugging Face 社区发布了量化模型，以便用户进行使用。官方测试显示，满血版 DeepSeek R1 在 A100 上基于 INT8 量化，相较于 BF16 版本提升了 50% 的吞吐量。

IT之家提供开源链接如下：

https://huggingface.co/meituan/DeepSeek-R1-Channel-INT8

广告声明：文中包含的外部链接（包括超链接、二维码、口令等形式）用于提供更多信息，帮助用户节省查询时间，结果仅供参考。