# 验证NVIDIA驱动状态
nvidia-smi
# 实时监控GPU使用情况（新开终端执行）
watch -n 1 nvidia-smi
# 验证CUDA安装
nvcc -V# 验证Conda版本
conda --version
# 列出所有已创建的Conda环境
conda env list
# 或
conda info --envs
根据CUDA版本安装对应的PyTorch：
# CUDA 12.1
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
# CUDA 12.2
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu122
# 使用ModelScope下载模型前，先安装modelscope pip install modelscope #下载模型 #若不指定--local_dir，则默认下载到/home/admin1/.cache/modelscope/hub/models/ modelscope download --model Qwen/Qwen3.5-27B --local_dir /mnt/raid1/modelscope/qwen27b_202603
#依赖库安装 vllm
pip install vllm -i https://mirrors.aliyun.com/pypi/simple/
#验证vllm库是否安装成功
python3 -c "import vllm; print('vllm导入成功，版本:', vllm.__version__)"
运行（ 测试可以正常运行，但小龙虾测试时上下文长度偏小
CUDA_VISIBLE_DEVICES=4,5,6,7 vllm serve /mnt/raid1/modelscope/qwen27b_202603 \ --port 8600 \ --tensor-parallel-size 4 \ --max-model-len 16384 \ # 平衡上下文长度和显存使用 --max-num-seqs 32 \ --max-num-batched-tokens 24576 \ --gpu-memory-utilization 0.85 \ --block-size 16 \ # 优化KV Cache内存分配 --swap-space 4 \ # 启用4GB虚拟显存作为交换空间 --served-model-name qwen27b \ --enable-auto-tool-choice \ --tool-call-parser qwen3_coder
测试
curl -X POST "http://127.0.0.1:8600/v1/chat/completions" \
-H "Content-Type: application/json" \
-d '{
"model": "qwen27b",
"messages": [{"role": "user", "content": "介绍下杭州"}]
}'
杀进程
后台执行
# 1. 后台启动模型服务 nohup bash run_qwen27b_202603.sh > qwen27b.log 2>&1 & # 2. 实时监控日志（新开一个终端窗口） tail -f qwen27b.log
后续优化
进一步增加上下文长度（max-model-len）
CUDA_VISIBLE_DEVICES=4,5,6,7 vllm serve /mnt/raid1/modelscope/qwen27b_202603 \ --port 8600 \ --tensor-parallel-size 4 \ --max-model-len 32768 \ # 尝试提升至 32K --max-num-seqs 32 \ --max-num-batched-tokens 24576 \ --gpu-memory-utilization 0.8 \ # 预留更多显存给长序列 --block-size 32 \ # 优化长序列内存管理 --swap-space 16 \ # 增大交换空间 --enable-chunked-prefill \ # 启用分块预填充（关键！） --served-model-name qwen27b \ --enable-auto-tool-choice \ --tool-call-parser qwen3_coder
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。