DeepSeek 系列新模型上线华为昇腾社区：一键获取，开箱即用

根据IT之家 2月5日消息，华为在其官方公众号宣布，DeepSeek-R1、DeepSeek-V3、DeepSeek-V2 及 Janus-Pro 已于2月4日正式在昇腾社区上线，用户能够轻松获取 DeepSeek系列模型，并且支持即刻在昇腾硬件平台上使用，实现快速推理部署。

以下是IT之家提供的模型调用方法：

权重转换

• GPU：

git clone https://github.com/deepseek-ai/DeepSeek-V3.git
cd DeepSeek-V3/inference/python
fp8_cast_bf16.py --input-fp8-hf-path /path/to/DeepSeek-V3 --output-bf16-hf-path /path/to/deepseek-v3-bf16

• NPU：

git clone https://modelers.cn/MindIE/deepseekv3.git
cd NPU_inference/python
fp8_cast_bf16.py --input-fp8-hf-path /path/to/DeepSeek-V3 --output-bf16-hf-path /path/to/deepseek-v3-bf16

加载镜像

在昇腾社区/开发资源中下载适用于 DeepSeek-V3 的镜像包：

mindie:1.0.T71-800I-A2-py311-ubuntu22.04-arm64

完成后，请运行 docker images 命令以确认具体镜像名称和标签。

docker load -i mindie:1.0.T71-800I-A2-py311-ubuntu22.04-arm64 (下载的镜像名称与标签)

启动容器

MindIE 镜像已预配置 DeepSeek-V3 模型推理脚本，请从可信来源获取权重，放置在之前下载的模型代码主目录下，并设置模型文件夹的属组为 1001，执行权限为 750，接着启动容器。

chown -R 1001:1001 /path-to-weights/deepseekv3
chmod -R 750 /path-to-weights/deepseekv3

服务化测试

• 配置服务化环境变量， expandable_segments 用于使能内存池扩展段功能，即提升虚拟内存特性。

export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True

• 修改服务化参数

cd /usr/local/Ascend/mindie/latest/mindie-service/
vim conf/config.json

• 启动服务化

#设置显存比例
export NPU_MEMORY_FRACTION=0.95
#启动服务化
cd /usr/local/Ascend/mindie/latest/mindie-service/
./bin/mindieservice_daemon

若显示“Daemon start success!”则表示服务已成功启动。

广告声明：文中提供的外部链接（包括超链接、二维码、口令等形式），旨在传达更多信息，节省用户浏览时间，结果仅供参考。