本次使用
RTX 4090 (24G) 四卡，SGLang框架，来布 百川医疗大模型
# 验证NVIDIA驱动状态 nvidia-smi # 实时监控GPU使用情况（新开终端执行） watch -n 1 nvidia-smi # 验证CUDA安装 nvcc -V
2. Conda环境管理
# 验证Conda版本 conda --version # 列出所有已创建的Conda环境 conda env list # 或 conda info --envs # 删除已存在的环境（如需要） conda env remove -n conda_baichuan_m2_32b_202512 # 创建新的Python环境 conda create -n conda_baichuan_m2_32b_202512 python=3.10 # 激活环境 conda activate conda_baichuan_m2_32b_202512
3. PyTorch安装
根据CUDA版本安装对应的PyTorch：
# CUDA 12.1 pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 # CUDA 12.2 pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu122 # 验证Torch GPU支持 python3 -c "import torch; print('PyTorch版本:', torch.__version__); print('CUDA可用:', torch.cuda.is_available()); print('CUDA版本:', torch.version.cuda); print('GPU设备:', torch.cuda.get_device_name(0) if torch.cuda.is_available() else 'None'); print('GPU数量:', torch.cuda.device_count());"
4. 模型下载与部署
# 使用ModelScope下载模型前，先安装modelscope pip3 install modelscope #下载模型 #若不指定--local_dir，则默认下载到/home/admin1/.cache/modelscope/hub/models/ modelscope download --model baichuan-inc/Baichuan-M2-32B --local_dir /mnt/raid1/modelscope/baichuan-m2-32b-202512
安装 SGLang前先装FlashInfer
我这本地环境配置（PyTorch 2.5.1+cu121, CUDA 12.1），准备使用 FlashInfer 官方提供的预编译索引进行安装，以避免首次运行时漫长的 JIT 编译。
pip3 install flashinfer-python -i https://flashinfer.ai/whl/cu121/torch2.5
安装完成后，运行以下命令验证是否成功：
python -c "import flashinfer; print(flashinfer.__version__)"
遇网络卡慢，用方案二：离线下载 + 本地安装（针对网络极差环境）
如果方案一仍慢，直接去 GitHub Releases 页面手动下载 .whl文件，然后本地安装。
下载文件：根据你的环境（CUDA 12.1 + Torch 2.5），直接访问链接：
https://github.com/flashinfer-ai/flashinfer/releases/download/v0.2.5/flashinfer_python-0.2.5%2Bcu121torch2.5-cp38-abi3-linux_x86_64.whl
（使用浏览器或 wget下载，通常浏览器下载速度更快）
或者跨克网盘下载：我用夸克网盘给你分享了「flashinfer_python-0.2.5+cu121torch2.5-cp38-abi3-linux_x86_64.whl」，/~f5d33MC9i3~:/ 链接：https://pan.quark.cn/s/2ddd5946e20c?pwd=xMPh提取码：xMPh
本地安装：将下载的 .whl文件上传到服务器，执行：
pip3 install /mnt/raid1/python_pip_down/flashinfer_python-0.2.5+cu121torch2.5-cp38-abi3-linux_x86_64.whl
安装 SGLang (安装 [all]变体,包含 GPU 加速与完整依赖)
pip3 install "sglang[all]" -i https://pypi.tuna.tsinghua.edu.cn/simple
启动
CUDA_VISIBLE_DEVICES=0,1,2,3 python -m sglang.launch_server \ --model-path /mnt/raid1/modelscope/baichuan-m2-32b-202512 \
--served-model-name Baichuan-M2-32B \
--host 0.0.0.0 \
--port 8700 \
--tp-size 4 \
--mem-fraction-static 0.8 \
--context-length 32768 \
--reasoning-parser qwen3
关闭进程。批量杀进程
后台执行
# 1. 后台启动模型服务
nohup bash run_baichuan-m2-32b_202512.sh > baichuan35b.log 2>&1 &
# 2. 实时监控日志（新开一个终端窗口）
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。