FusionXpark GB10
开机显示：
NVIDIA DGX Spark Version 7.3.1 (GNU/Linux 6.14.0-1013-nvidia aarch64)
操作系统：Ubuntu 24.04.3 LTS
配置分析lscpu
架构：aarch64
BIOS:Vendor ID: NVIDIA
型号名称： Cortex-X925
BIOS Model name: GB10 Unknown CPU @ 3.9GHz
型号名称： Cortex-A725
BIOS Model name: GB10 Unknown CPU @ 3.9GHz
FusionXpark GB10 确实采用了 ARM 架构的 Grace CPU 和 Blackwell GPU。
它核心搭载的是 NVIDIA GB10 Grace Blackwell 超级芯片，这是一款高度集成的 SoC（片上系统）。具体配置如下：
CPU 部分：基于 ARM 架构，拥有 20 个核心（具体为 10 个 Cortex-X925 + 10 个 Cortex-A725），专为高能效 AI 计算设计。
GPU 部分：基于最新的 Blackwell 架构，配备 6144 个 CUDA 核心和第五代 Tensor Core，提供高达 1 PFLOPS（FP4精度）的 AI 算力。
统一内存：CPU 和 GPU 共享 128GB LPDDR5x 统一内存，大幅降低了数据传输延迟。
从图片看，内存128G。磁盘1.8T。
查看显卡
nvidia-smi
+-----------------------------------------------------------------------------------------+ | NVIDIA-SMI 580.95.05 Driver Version: 580.95.05 CUDA Version: 13.0 | +-----------------------------------------+------------------------+----------------------+ | GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC | | Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. | | | | MIG M. | |=========================================+========================+======================| | 0 NVIDIA GB10 On | 0000000F:01:00.0 Off | N/A | | N/A 39C P8 4W / N/A | Not Supported | 0% Default | | | | N/A | +-----------------------------------------+------------------------+----------------------+ +-----------------------------------------------------------------------------------------+ | Processes: | | GPU GI CI PID Type Process name GPU Memory | | ID ID Usage | |=========================================================================================| | 0 N/A N/A 3430 G /usr/lib/xorg/Xorg 18MiB | | 0 N/A N/A 3793 G /usr/bin/gnome-shell 6MiB | +-----------------------------------------------------------------------------------------+
NVIDIA DGX Spark Version 7.3.1 (GNU/Linux 6.14.0-1013-nvidia aarch64)
盒子接电接网，默认DHCP自动获取IP。插上显示器进行初始化。
默认安装了飞致云的可视化管理软件。
默认管理地址：http://ip:38080/fusionxplay 帐号admin密码Admin@9000
检查容器环境：
确保系统已安装 Docker 并配置好 NVIDIA Container Toolkit，以便容器能识别 GPU。
验证NVIDIA Container Toolkit。可运行一个测试容器，检查是否能成功调用 GPU。如果配置成功，终端会输出与宿主机 nvidia-smi一致的 GPU 信息表格：
sudo docker run --rm --gpus all nvidia/cuda:12.6.0-base-ubuntu24.04 nvidia-smi
测试结果：
使用SG框 架
这台设备搭载的是 NVIDIA GB10 超级芯片，它采用了 ARM 架构的 Grace CPU 和 Blackwell GPU，128GB 的统一内存设计非常适合本地部署大模型。
SGLang 官方为 GB10 提供了专用的开发镜像，该镜像已预编译了适配 ARM 架构和 CUDA 13 的核心依赖，能避免你在本地编译时遇到各种底层库缺失的报错。
docker pull lmsysorg/sglang:dev-cu13
使用以下命令启动容器并运行模型服务。得益于 GB10 的统一内存架构，你可以直接将 128GB 内存的大部分分配给模型使用。
docker run -d --gpus all --shm-size 32g \
-p 8600:8600 \
-v /home/models/modelscope/:/home/models/modelscope/ \
--name sglang-qwen3-tool \
lmsysorg/sglang:dev-cu13 \
python -m sglang.launch_server \
--model-path /home/models/modelscope/qwen35b_20260302 \
--served-model-name Qwen3.5-35B-A3B-202603 \
--host 0.0.0.0 \
--port 8600 \
--mem-fraction-static 0.8 \
--context-length 32768 \
--reasoning-parser qwen3 \
--tool-call-parser qwen3_coder
服务启动后，通过发送一个简单的 POST 请求来测试 API 是否正常响应。
curl http://127.0.0.1:8600/generate \
-H "Content-Type: application/json" \
-d '{"text": "你是谁", "sampling_params": {"max_new_tokens": 100, "temperature": 0.7}}'
起动参数优化：
docker run -d --gpus all --shm-size 32g \
-p 8600:8600 \
-v /home/models/modelscope/:/home/models/modelscope/ \
--name qwen3-chat \
lmsysorg/sglang:dev-cu13 \
python -m sglang.launch_server \
--model-path /home/models/modelscope/qwen35b_20260302 \
--served-model-name Qwen3.5-35B-A3B-202603 \
--host 0.0.0.0 \
--port 8600 \
--mem-fraction-static 0.8 \
--context-length 32768
移除了 --reasoning-parser qwen3和 --tool-call-parser qwen3_coder 参数
移除了工具调用相关的解析器，避免模型尝试处理工具调用请求
模型将专注于文本生成、问答、推理等基础能力
使用qwen3.6
docker run -d --gpus all --shm-size 32g \ -p 8600:8600 \ -v /home/models/modelscope/:/home/models/modelscope/ \ --name qwen3.6-35b-chat \ lmsysorg/sglang:dev-cu13 \ python -m sglang.launch_server \ --model-path /home/models/modelscope/qwen36b_20260416 \ --served-model-name Qwen3.6-35B-A3B-202604 \ --host 0.0.0.0 \ --port 8600 \ --mem-fraction-static 0.8 \ --context-length 32768
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。