下载docker镜像
到沐曦开发者社区，镜像资源中心 https://developer.metax-tech.com/softnova/docker 下载docker镜像。
本次使用vllm的镜像来部署qwen3.6模型。
根据模型官网说明，已了解到 建议为 Qwen3.6 使用 vllm>=0.19.0
拉取镜像，注意，若拉取失败，需要登陆社区复制带登陆的拉取命令
docker pull cr.metax-tech.com/public-ai-release/maca/vllm-metax:0.20.0-maca.ai3.7.0.107-torch2.8-py310-ubuntu22.04-amd64
得到vllm-metax:0.20.0-maca.ai3.7.0.107-torch2.8-py310-ubuntu22.04-amd64镜像。
使用镜像拉起一个测试容器，验证能不能正常识别显卡。
docker run -it \ --rm \ --device=/dev/dri \ --device=/dev/mxcd \ --group-add 44 \ --name test-mx-smi \ --device=/dev/mem \ vllm-metax:0.20.0-maca.ai3.7.0.107-torch2.8-py310-ubuntu22.04-amd64 \ mx-smi
使用镜像拉起一个测试容器，验证容器内环境
docker run --rm -it \ --device=/dev/dri \ --device=/dev/mxcd \ --device=/dev/mem \ --group-add 44 \ --security-opt seccomp=unconfined \ --security-opt apparmor=unconfined \ vllm-metax:0.20.0-maca.ai3.7.0.107-torch2.8-py310-ubuntu22.04-amd64 \ bash -lc ' echo "===== Python =====" which python python3 python --version echo "" echo "===== torch =====" python - << EOF import torch print("torch:", torch.__version__) print("cuda available:", torch.cuda.is_available()) print("device count:", torch.cuda.device_count()) EOF echo "" echo "===== mx-smi =====" '
从魔搭社区下载，适配沐曦的专用qwen3.6镜像
下载 modelscope download --model metax-tech/Qwen3.6-35B-A3B-W8A8 --local_dir /home/models/modelscope/qwen36b_35b_w8a8_20260429
使用双卡部署
docker run -it \ --restart always \ --device=/dev/dri \ --device=/dev/mxcd \ --group-add 44 \ --name vllm-qwen3.6-35b-tool-metax \ --device=/dev/mem \ -p 18000:8000 \ --security-opt seccomp=unconfined \ --security-opt apparmor=unconfined \ --shm-size '32gb' \ --ulimit memlock=-1 \ -v /home/models/modelscope/:/home/models/modelscope/ \ -v /etc/localtime:/etc/localtime \ -e PYTORCH_CUDA_ALLOC_CONF="expandable_segments:True,max_split_size_mb:256" \ vllm-metax:0.20.0-maca.ai3.7.0.107-torch2.8-py310-ubuntu22.04-amd64 \ /opt/conda/bin/python -m vllm.entrypoints.openai.api_server \ --model /home/models/modelscope/qwen36b_35b_w8a8_20260429 \ --port 8000 \ --host 0.0.0.0 \ --tensor-parallel-size 2 \ --max-model-len 32768 \ --trust-remote-code \ --served-model-name qwen3.6-35b-tool-20260423-metax
对API进行测试：
curl http://localhost:18000/v1/chat/completions -H "Content-Type: application/json" -d '{"model":"qwen3.6-35b-tool-20260423-metax","messages":[{"role":"user","content":"你是谁"}],"temperature":0.7}'
测试成功截图：
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。