华为昇腾适配支持 DeepSeek-R1 复现项目 Open R1

xxn 阅读:78256 2025-02-11 18:00:30 评论:0
感谢IT之家用户 有鲫雪狐 贡献的线索!

IT之家 2 月 11 日消息,华为技术有限公司今日宣布,MindSpeed 现已支持 DeepSeek V3 的预训练和微调功能,同时昇腾平台也已适配 DeepSeek-R1 复现项目 Open R1。

据了解,MindSpeed 现在提供 DeepSeek V3 模型的预训练微调功能,其并行配置及模型参数已详细列出:

DeepSeek 团队通过知识蒸馏技术,使较小的模型同样拥有强大的推理能力。华为表示,已基于昇腾完成蒸馏流程的验证,并说明蒸馏后的 Qwen 模型在相关领域的得分显著提升,开发者可以此为依据,进行自定义蒸馏模型的训练

此外,华为昇腾还完成了 Open R1 项目的关键适配步骤:打通 Open R1-Zero 的 GRPO 流程,并支持通过 vLLM 等生态库进行训练阶段的数据生成。

Open R1 项目是 Hugging Face 官方开源的针对 DeepSeek-R1 模型流程的完全复现项目,其受到广泛关注,目前已有超过 18K 个 star。该项目旨在填补 DeekSeek-R1 训练流程的空白。

广告声明:文中提及的外部链接(包括超链接、二维码及口令等方式),旨在提供具体信息,以节省筛选时间,结果仅供参考。

声明

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

搜索
排行榜
关注我们

扫一扫关注我们,了解最新精彩内容