下载docker镜像
到沐曦开发者社区，镜像资源中心 https://developer.metax-tech.com/softnova/docker 下载docker镜像。
本次使用vllm的镜像来部署qwen3.6模型。
根据模型官网说明，已了解到 建议为 Qwen3.6 使用 vllm>=0.19.0
拉取镜像，注意，若拉取失败，需要登陆社区复制带登陆的拉取命令
docker cr.metax-tech.com && docker pull cr.metax-tech.com/public-ai-release/maca/sglang:0.5.13-maca.ai3.8.1.3-torch2.10-py312-ubuntu22.04-amd64
得到sglang:0.5.13-maca.ai3.8.1.3-torch2.10-py312-ubuntu22.04-amd64镜像。
使用镜像拉起一个测试容器，验证能不能正常识别显卡。
docker run -it \ --rm \ --device=/dev/dri \ --device=/dev/mxcd \ --group-add 44 \ --name test-mx-smi \ --device=/dev/mem \ sglang:0.5.13-maca.ai3.8.1.3-torch2.10-py312-ubuntu22.04-amd64 \ mx-smi
使用镜像拉起一个测试容器，验证容器内环境
docker run --rm -it \
--device=/dev/dri \
--device=/dev/mxcd \
--device=/dev/mem \
--group-add 44 \
--security-opt seccomp=unconfined \
--security-opt apparmor=unconfined \
sglang:0.5.13-maca.ai3.8.1.3-torch2.10-py312-ubuntu22.04-amd64 \
bash -lc '
echo "===== Python ====="
which python python3
python --version
echo ""
echo "===== torch ====="
python - << EOF
import torch
print("torch:", torch.__version__)
print("cuda available:", torch.cuda.is_available())
print("device count:", torch.cuda.device_count())
EOF
echo ""
echo "===== mx-smi ====="
'
从魔搭社区下载，适配沐曦的专用qwen3.6镜像
下载
modelscope download --model metax-tech/Qwen3.6-35B-A3B-W8A8 --local_dir /home/models/modelscope/qwen36b_35b_w8a8_20260729
使用双卡部署
docker run -it \ --restart always \ --device=/dev/dri \ --device=/dev/mxcd \ --group-add 44 \ --name vllm-qwen3.6-35b-tool-metax-20260729 \ --device=/dev/mem \ -p 18000:8000 \ --security-opt seccomp=unconfined \ --security-opt apparmor=unconfined \ --shm-size '32gb' \ --ulimit memlock=-1 \ -v /home/models/modelscope/:/home/models/modelscope/ \ -v /etc/localtime:/etc/localtime \ -e PYTORCH_CUDA_ALLOC_CONF="expandable_segments:True,max_split_size_mb:256" \
sglang:0.5.13-maca.ai3.8.1.3-torch2.10-py312-ubuntu22.04-amd64 \
/opt/conda/bin/python -m vllm.entrypoints.openai.api_server \
--model /home/models/modelscope/qwen36b_35b_w8a8_20260429 \
--port 8000 \
--host 0.0.0.0 \
--tensor-parallel-size 2 \
--max-model-len 32768 \
--trust-remote-code \
--served-model-name qwen3.6-35b-tool-20260729-metax \
--enable-auto-tool-choice \
--tool-call-parser qwen3_xml
对API进行测试：
curl http://localhost:18000/v1/chat/completions -H "Content-Type: application/json" -d '{"model":"qwen3.6-35b-tool-20260729-metax","messages":[{"role":"user","content":"你是谁"}],"temperature":0.7}'
测试结果：
部署失败
Metax 加速卡在 TP=2 初始化分布式通信时，显存地址预留失败
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。