清华团队开源大模型推理引擎“赤兔 Chitu”，实现 DeepSeek 推理成本降低一半、性能翻番

根据 IT 之家 3 月 14 日的报道，清华大学高性能计算研究所翟季冬教授团队与清华系创业公司清程极智共同宣布，创新的大模型推理引擎“赤兔 Chitu”已经正式开源。

该引擎的突出特点在于它首次实现了在非 NVIDIA Hopper 架构的 GPU 和各种国产芯片上原生运行 FP8 精度模型，成功将 DeepSeek 的推理成本降低了50%，并将性能提升了一倍。其目标是成为“生产级大模型推理引擎”，并具备以下功能：

• 多元算力兼容性：该引擎不仅支持 NVIDIA 的各种系列最新和旧版产品，还针对国产芯片提供了优化方案。

• 全面场景扩展能力：赤兔引擎支持从纯 CPU 部署到单个 GPU 及大规模集群的各类解决方案，具备高度可扩展性。

• 稳定的长期运行能力：该引擎可以在真实生产环境中应用，具备足够的稳定性以应对并发的业务流量。

官方指出，在当前开源的赤兔引擎中，部署 DeepSeek-R1-671B 完整版时，在 A800 集群测试中，相较于部分国外开源框架，实现了 GPU 使用量减少50%的同时，推理速度提升了3.15倍。

如需访问开源项目，请见 IT之家提供的链接：https://github.com/thu-pacman/chitu

广告声明：文中所包含的跳转链接（例如超链接、二维码、口令等）旨在提供更多信息，以便节省您选择的时间，最终效果仅供参考。