科大讯飞：纯国产算力的星火 X1 新版本预计在 3 月内完成，全面对标甚至超过 OpenAI o1

IT之家 2 月 13 日报道，科大讯飞当晚公布了最新的投资者关系活动记录表，重点针对 DeepSeek 相关问题进行解答。

科大讯飞透露，他们正在进行纯国产算力星火 X1 新版本的训练，预计将在3月内完成。预计这一版本能够在数学答题和过程思维链方面实现全面对标甚至超越OpenAI o1。

此外，科大讯飞还表示他们正与中国教科院等多个教育专家合作，进一步将X1深度推理模型与专业知识反思及长思维链强化学习相结合，生成符合教育教学需求的“教学思维链”，以提高复杂场景推理的逻辑正确性、专业性和可解释性。这将首先用于教师助手、批改、辅学等产品创新，预计将在2025年世界数字教育大会期间发布教育专用大模型和创新应用。

IT之家总结了以下重点信息：

DeepSeek R1 快速对标o1的一个创新点是其R1-Zero强化学习训练方案，即直接在DeepSeek-V3-base预训练模型上进行大规模强化学习训练，可在数学、代码等推理任务上达到接近o1模型的效果，无需任何有监督微调（SFT）。这是当前已知的在大规模任务上取得成功效果的首个发布成果，此前学术界有类似研究，但受预训练基座模型质量限制，强化学习效果不佳。这一成果非常具有创新性，大幅减少了对人工标注推理过程数据的需求。

除了DeepSeek R1，还有其他高水平的国产深度推理大模型。2024年9月OpenAI o1-preview发布后，国内技术领先的大模型公司也在快速跟进。科大讯飞基于之前在评语模型、强化学习方面的经验，在2024年10月实现了蒙特卡洛树搜索（MCTS）等算法创新并成功实现了深度推理模型训练算法，经过2个月的华为昇腾910B算力适配和优化，大幅提升了训练效率，已于今年1月15日完成了星火深度推理模型X1的训练和发布。尽管当前X1模型规模较小（仅130亿参数），但借助算法和数据优势，星火X1已达到可与OpenAI o1-preview媲美水平；随着国产算力的不断改进，模型参数增加后，我们有信心实现数学答题和过程思维链能力全面对标甚至超越OpenAI o1。此外，借助与中国教科院等许多教育专家的合作，将使X1的思维链结果更符合教育教学的专业要求，在教育、医疗等领域实现更大的应用赋能价值。

DeepSeek团队在DeepSeek V3和R1的训练与推理方面实现了多项有效的软硬件结合深度工程优化创新，包括MLA（通过低秩矩阵对KV矩阵进行压缩显著降低GPU显存消耗）、MTP（通过多帧预测提高数据利用率及训练效果和推理效率）、DualPipe（通过更底层的PTX指令优化英伟达GPU计算和通信的并行）、FP8混合精度训练（业界首次使用8Bit量化浮点数方式实现超大规模模型训练，而往常使用16Bit量化）。最终，DeepSeek利用2048张英伟达H800卡，大约560万美元即可完成一次V3模型完整预训练。此外，由于DeepSeek R1涉及基于大量数据的强化学习迭代训练，其成本并未公开。

类似于DeepSeek，科大讯飞由于算力资源有限，过去几年致力于优化星火大模型的训练和推理成本效率。与 DeepSeek 直接使用英伟达H800卡进行工程优化不同，科大讯飞选择了更具挑战性的全国产算力路径。从2023年5月开始，科大讯飞与华为合作攻克了一系列技术难题，如万卡高速互联组网、计算通信隐藏、训练推理强交互等，将通用大模型、类o1深度推理模型等的训练效率提高到85%-95%以上；以网络通信带宽利用率为例，DeepSeek报告的是93%，而讯飞星火达到了95%。训练成本也是讯飞星火大模型的竞争优势，单次训练成本和DeepSeek V3相当，未来优化潜力明显。目前，国产硬件如昇腾910B还不支持FP8精度训练及DualPipe实现，但随着国产算力基础能力的增强，讯飞星火的训练成本仍有望大幅降低。

值得注意的是，大模型的训练和推理对算力的需求不同，其中训练难度远高于推理。尽管一些公司宣布可以在国产算力平台上提供DeepSeek等大模型的推理服务，但唯有讯飞星火实现了模型的训练和推理均在国产算力上完成，并仅利用1万张910B国产算力卡。科大讯飞凭借比友商更少的算力成功取得了大模型研发的领先地位，并在国产算力平台上做出了无人区的适配和效率优化，以追求国产算力的终极效率，这需要极强的技术实力和战略勇气。

目前，所有下载通用大模型应用的用户中，仅有科大讯飞讯飞星火训练和推理均在国产算力上进行，利用1万张910B国产算力卡取得了大模型研发的一系列成果，并在国产算力平台上进行了适配和效率优化。尽管一些公司宣布可以在国产算力平台上提供DeepSeek等大模型的推理服务，但目前唯有讯飞星火实现了模型的训练和推理均在国产算力上完成。

广告声明：文中含有对外跳转链接（包括但不限于超链接、二维码、口令等形式），仅供参考，详情以实际为准。