机器信息
系统：rocklinux 9.4
架构：x86
前置操作：关闭防火墙和selinux
如果没有互联网环境，可以使用iso文件搭建本地镜像仓库，这两个包的版本一定要和当前系统的内核版本一致
dnf install -y kernel-devel-$(uname -r) kernel-headers-$(uname -r)
dnf install -y dkms
rocklinux兼容rhel
可以使用rhel的rpm包：https://www.nvidia.cn/drivers/details/266455/
下载后安装
rpm -ivh nvidia-driver-local-repo-rhel9-590.48.01-1.0-1.x86_64.rpm
安装驱动
nvidia-driver可能会被过滤，导致dnf list | grep nvidia-driver,不显示驱动包，可以直接手动rpm安装
cd /var/nvidia-driver-local-repo-rhel9-590.48.01
rpm -ivh nvidia-kmod-common-590.48.01-1.el9.noarch.rpm \
kmod-nvidia-latest-dkms-590.48.01-1.el9.x86_64.rpm \
nvidia-driver-590.48.01-1.el9.x86_64.rpm \
nvidia-driver-libs-590.48.01-1.el9.x86_64.rpm \
nvidia-driver-cuda-590.48.01-1.el9.x86_64.rpm \
nvidia-driver-cuda-libs-590.48.01-1.el9.x86_64.rpm \
libnvidia-ml-590.48.01-1.el9.x86_64.rpm \
libnvidia-cfg-590.48.01-1.el9.x86_64.rpm \
nvidia-modprobe-590.48.01-1.el9.x86_64.rpm \
nvidia-persistenced-590.48.01-1.el9.x86_64.rpm \
nvidia-fabricmanager-590.48.01-1.el9.x86_64.rpm \
--nodeps --force
检查驱动是否编译完成
dkms install nvidia/590.48.01
执行结果
[root@localhost nvidia-driver-local-repo-rhel9-590.48.01]# dkms install nvidia/590.48.01
Module nvidia/590.48.01 already installed on kernel 5.14.0-427.13.1.el9_4.x86_64 (x86_64), skip. You may override by specifying --force.
[root@localhost nvidia-driver-local-repo-rhel9-590.48.01]#
加载模块
modprobe nvidia
modprobe nvidia-uvm
启动SXM 专属服务用于显卡间通信
systemctl enable --now nvidia-persistenced
systemctl enable --now nvidia-fabricmanager
查看显卡状态
nvidia-smi
执行结果，正常显示显卡信息则成功安装了驱动
[root@h200-new ~]# nvidia-smi
Thu Apr 16 14:02:07 2026
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 590.48.01 Driver Version: 590.48.01 CUDA Version: 13.1 |
+-----------------------------------------+------------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+========================+======================|
| 0 NVIDIA H200 On | 00000000:19:00.0 Off | 0 |
| N/A 37C P0 78W / 700W | 0MiB / 143771MiB | 0% Default |
| | | Disabled |
+-----------------------------------------+------------------------+----------------------+
| 1 NVIDIA H200 On | 00000000:3B:00.0 Off | 0 |
| N/A 32C P0 80W / 700W | 0MiB / 143771MiB | 0% Default |
| | | Disabled |
+-----------------------------------------+------------------------+----------------------+
| 2 NVIDIA H200 On | 00000000:4C:00.0 Off | 0 |
| N/A 31C P0 76W / 700W | 0MiB / 143771MiB | 0% Default |
| | | Disabled |
+-----------------------------------------+------------------------+----------------------+
| 3 NVIDIA H200 On | 00000000:5D:00.0 Off | 0 |
| N/A 35C P0 78W / 700W | 0MiB / 143771MiB | 0% Default |
| | | Disabled |
+-----------------------------------------+------------------------+----------------------+
| 4 NVIDIA H200 On | 00000000:9B:00.0 Off | 0 |
| N/A 37C P0 77W / 700W | 0MiB / 143771MiB | 0% Default |
| | | Disabled |
+-----------------------------------------+------------------------+----------------------+
| 5 NVIDIA H200 On | 00000000:BB:00.0 Off | 0 |
| N/A 33C P0 79W / 700W | 0MiB / 143771MiB | 0% Default |
| | | Disabled |
+-----------------------------------------+------------------------+----------------------+
| 6 NVIDIA H200 On | 00000000:CB:00.0 Off | 0 |
| N/A 36C P0 78W / 700W | 0MiB / 143771MiB | 0% Default |
| | | Disabled |
+-----------------------------------------+------------------------+----------------------+
| 7 NVIDIA H200 On | 00000000:DB:00.0 Off | 0 |
| N/A 32C P0 77W / 700W | 0MiB / 143771MiB | 0% Default |
| | | Disabled |
+-----------------------------------------+------------------------+----------------------+
+-----------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=========================================================================================|
| No running processes found |
+-----------------------------------------------------------------------------------------+
[root@h200-new ~]#
docker二进制包下载：https://download.docker.com/linux/static/stable/x86_64/
解压压缩包，将二进制文件移动至/usr/local/bin/下
新建service文件内容如下
/usr/lib/systemd/system/docker.service
[Unit]
Description=Docker Application Container Engine
Documentation=http://docs.docker.io
[Service]
Environment="PATH=/usr/local/bin:/bin:/sbin:/usr/bin:/usr/sbin"
ExecStart=/usr/local/bin/dockerd --log-level=error $DOCKER_NETWORK_OPTIONS \
--data-root=/data/docker/data
ExecReload=/bin/kill -s HUP $MAINPID
Restart=on-failure
RestartSec=5
LimitNOFILE=infinity
LimitNPROC=infinity
LimitCORE=infinity
Delegate=yes
KillMode=process
[Install]
WantedBy=multi-user.target
启动docker
systemctl daemon-reload
systemctl enable docker --now
安装libnvidia-container
下载地址：https://github.com/NVIDIA/libnvidia-container/tree/gh-pages/stable
安装
[root@h200-new containerd-tools]# ls
libnvidia-container-tools-1.17.4-1.x86_64.rpm nvidia-container-toolkit-1.17.4-1.x86_64.rpm
libnvidia-container1-1.17.4-1.x86_64.rpm nvidia-container-toolkit-base-1.17.4-1.x86_64.rpm
[root@h200-new containerd-tools]# rpm -ivh *rpm
warning: libnvidia-container-tools-1.17.4-1.x86_64.rpm: Header V4 RSA/SHA512 Signature, key ID f796ecb0: NOKEY
Verifying... ################################# [100%]
Preparing... ################################# [100%]
Updating / installing...
1:nvidia-container-toolkit-base-1.1################################# [ 25%]
2:libnvidia-container1-1.17.4-1 ################################# [ 50%]
3:libnvidia-container-tools-1.17.4-################################# [ 75%]
4:nvidia-container-toolkit-1.17.4-1################################# [100%]
[root@h200-new containerd-tools]#
配置生效
nvidia-ctk runtime configure --runtime=docker
systemctl restart docker
模型下载至：/data/llm/glm5.1-fp8
sglang镜像版本：lmsysorg/sglang:v0.5.10
启动sglang
docker run -d \
--name sglang-glm5 \
--gpus all \
--ipc=host \
--ulimit memlock=-1 \
--ulimit stack=67108864 \
-p 30000:30000 \
-e SGLANG_ENABLE_SPEC_V2=1 \
-e CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 \
-e TORCHINDUCTOR_CACHE_DIR=/data/glmcache5.1 \
-v /data/llm/:/data/models \
--shm-size=32g \
--restart=always \
lmsysorg/sglang:v0.5.10 \
sglang serve \
--model-path /data/models/glm5.1-fp8 \
--served-model-name glm-5.1-fp8 \
--api-key xxxxxx \
--host 0.0.0.0 \
--tp 8 \
--reasoning-parser glm45 \
--tool-call-parser glm47 \
--speculative-algorithm EAGLE \
--speculative-num-steps 3 \
--speculative-eagle-topk 1 \
--speculative-num-draft-tokens 4 \
--mem-fraction-static 0.9 \
--context-length=184320 \
--max-running-requests=10 \
--max-prefill-tokens=8192
使用docker logs -f sglang-glm5 查看模型加载进度，等待模型加载完成
查看显卡使用情况
[root@h200-new data]# nvidia-smi
Thu Apr 16 18:00:27 2026
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 590.48.01 Driver Version: 590.48.01 CUDA Version: 13.1 |
+-----------------------------------------+------------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+========================+======================|
| 0 NVIDIA H200 On | 00000000:19:00.0 Off | 0 |
| N/A 55C P0 136W / 700W | 141572MiB / 143771MiB | 0% Default |
| | | Disabled |
+-----------------------------------------+------------------------+----------------------+
| 1 NVIDIA H200 On | 00000000:3B:00.0 Off | 0 |
| N/A 42C P0 126W / 700W | 141622MiB / 143771MiB | 0% Default |
| | | Disabled |
+-----------------------------------------+------------------------+----------------------+
| 2 NVIDIA H200 On | 00000000:4C:00.0 Off | 0 |
| N/A 40C P0 122W / 700W | 141622MiB / 143771MiB | 0% Default |
| | | Disabled |
+-----------------------------------------+------------------------+----------------------+
| 3 NVIDIA H200 On | 00000000:5D:00.0 Off | 0 |
| N/A 54C P0 135W / 700W | 141622MiB / 143771MiB | 0% Default |
| | | Disabled |
+-----------------------------------------+------------------------+----------------------+
| 4 NVIDIA H200 On | 00000000:9B:00.0 Off | 0 |
| N/A 54C P0 132W / 700W | 141622MiB / 143771MiB | 0% Default |
| | | Disabled |
+-----------------------------------------+------------------------+----------------------+
| 5 NVIDIA H200 On | 00000000:BB:00.0 Off | 0 |
| N/A 42C P0 123W / 700W | 141622MiB / 143771MiB | 0% Default |
| | | Disabled |
+-----------------------------------------+------------------------+----------------------+
| 6 NVIDIA H200 On | 00000000:CB:00.0 Off | 0 |
| N/A 55C P0 135W / 700W | 141624MiB / 143771MiB | 0% Default |
| | | Disabled |
+-----------------------------------------+------------------------+----------------------+
| 7 NVIDIA H200 On | 00000000:DB:00.0 Off | 0 |
| N/A 41C P0 123W / 700W | 140658MiB / 143771MiB | 0% Default |
| | | Disabled |
+-----------------------------------------+------------------------+----------------------+
+-----------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=========================================================================================|
| 0 N/A N/A 161448 C sglang::scheduler_TP0 14156... |
| 1 N/A N/A 161449 C sglang::scheduler_TP1 14161... |
| 2 N/A N/A 161450 C sglang::scheduler_TP2 14161... |
| 3 N/A N/A 161451 C sglang::scheduler_TP3 14161... |
| 4 N/A N/A 161452 C sglang::scheduler_TP4 14161... |
| 5 N/A N/A 161453 C sglang::scheduler_TP5 14161... |
| 6 N/A N/A 161454 C sglang::scheduler_TP6 14161... |
| 7 N/A N/A 161455 C sglang::scheduler_TP7 14064... |
+-----------------------------------------------------------------------------------------+
[root@h200-new data]#
[root@h200-new llm]# curl http://localhost:30000/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer xxxxxxx" \
-d '{
"model": "glm-5.1-fp8",
"messages": [
{"role": "system", "content": "你是一个人工智能助手。"},
{"role": "user", "content": "你好，请确认你的模型版本，并简单介绍下 H100 GPU 的优势。"}
],
"temperature": 0.7
}'
{"id":"3dd2d8cbf57546bd926b30e35559dd8d","object":"chat.completion","created":1776325869,"model":"glm-5.1-fp8","choices":[{"index":0,"message":{"role":"assistant","content":"你好！我是一个由 Z.ai 开发的人工智能助手（基于 GLM 大语言模型）。\n\n关于 NVIDIA H100 GPU，它是基于 Hopper 架构的旗舰级数据中心 GPU，专为加速人工智能和高性能计算而设计。它的主要优势包括：\n\n1. **Transformer 引擎**：这是 H100 最大的亮点之一。它专门针对当前大语言模型（LLM）的基础——Transformer 架构进行了优化，能够动态分配 FP8 和 FP16 精度，在保持模型精度的同时，将大模型的训练和推理速度提升至前所未有的水平。\n2. **极高的性能飞跃**：相比上一代 A100，H100 在 AI 训练上最高可提供 9 倍的提升，在 AI 推理上最高可提供 30 倍的提升（特别是在结合 FP8 和 Transformer 引擎时）。\n3. **HBM3 高带宽内存**：H100 采用了更先进的 HBM3 内存，最高提供 80GB 容量和超过 3TB/s 的惊人带宽，极大缓解了大规模 AI 模型的“内存墙”问题。\n4. **第四代 NVLink 与 PCIe 5.0**：NVLink 互联带宽提升至 900GB/s，是 PCIe 5.0 的 7 倍，使得成千上万张 H100 组成的集群能够高效协同工作，构建超大规模计算集群。\n5. **原生 FP8 支持**：H100 是首批原生支持 FP8（8位浮点）数据格式的 GPU 之一，这不仅能将内存占用减半，还能大幅提高吞吐量，对 AI 推理极其有利。\n6. **DPX 指令集**：专门用于加速动态规划算法，在基因组学测序、物流路线优化等科学计算领域，速度比 A100 提升高达 7 倍。\n\n总的来说，H100 是目前大模型时代最重要的算力基础设施，凭借其针对 Transformer 的特化设计和极高的带宽，成为了训练和部署下一代 AI 的首选硬件。","reasoning_content":"1. **分析请求：**\n * 任务 1：确认我的模型版本。\n * 任务 2：简单介绍 H100 GPU 的优势。\n * 语言：中文。\n\n2. **处理任务 1：确认模型版本：**\n * *自我认知：* 我是一个人工智能助手。我的具体底层模型版本通常不作为硬编码字符串公开，但我是由 Z.ai 开发的大语言模型（GLM 系列）。我应该清楚地说明我是一个人工智能助手，并提及我的开发者/模型系列（GLM），而不必捏造特定的版本号（除非我绝对确定，但通常“由 Z.ai 开发的 GLM 大语言模型”是最准确和安全的回答）。\n * *起草：* 你好！我是一个由 Z.ai 训练的大语言模型（基于 GLM 架构）。\n\n3. **处理任务 2：介绍 H100 GPU 的优势：**\n * *主题：* NVIDIA H100 Hopper GPU。\n * *需要涵盖的关键优势：*\n * 架构：Hopper 架构（继 Ampere/A100 之后）。\n * 性能：AI 训练和推理的巨大飞跃。Transformer 引擎（对大语言模型至关重要）。\n * 内存/带宽：HBM3 内存（与 A100 的 HBM2e 相比，带宽大幅提升）。\n * 互连：NVLink 4.0（比第 3 代更快）、PCIe Gen 5。\n * 安全/可靠性：机密计算、原生 FP8 支持。\n * DPX 指令集：用于动态规划。\n * *构建介绍结构：* 使用项目符号以提高可读性。保持简洁但全面。\n * *起草要点：*\n 1. **Hopper 架构与 Transformer 引擎**：专门针对大语言模型（LLM）优化，自动分配 FP8/FP16 精度，大幅提升推理和训练速度。\n 2. **极致的性能提升**：相比上一代 A100，AI 训练速度提升数倍，推理速度最高提升 30 倍。\n 3. **更快的 HBM3 内存**：提供更高的内存带宽（最高可达 3TB/s），解决大规模模型的内存瓶颈。\n 4. **第四代 NVLink 与 PCIe 5.0**：多卡互联带宽翻倍，支持构建更大规模的计算集群。\n 5. **FP8 数据格式支持**：在保持精度的同时，大幅减少内存占用和计算时间。\n 6. **DPX 指令集**：加速动态规划算法，适用于基因组学、物流优化等领域。\n\n4. **审查与润色：**\n * 将两个回答流畅地结合起来。\n * 确保语气乐于助人且专业。\n * *起草时的自我纠正：* 确保不要声称自己是 GPT-4 或 Claude 3，因为那是不正确的。坚持 Z.ai/GLM 的身份。\n\n5. **最终输出生成（中文）：**\n 你好！我是一个由 Z.ai 开发的人工智能助手（基于 GLM 大语言模型）。\n\n 关于 NVIDIA H100 GPU，它是基于 Hopper 架构的旗舰级数据中心 GPU，专为加速 AI 和高性能计算（HPC）而设计。它的主要优势包括：\n\n 1. **Transformer 引擎**：这是 H100 最大的亮点之一。它专门针对当前大语言模型（LLM）的基础——Transformer 架构进行了优化，能够动态分配 FP8 和 FP16 精度，在保持模型精度的同时，将大模型的训练和推理速度提升至前所未有的水平。\n 2. **极高的性能飞跃**：相比上一代 A100，H100 在 AI 训练上最高可提供 9 倍的提升，在 AI 推理上最高可提供 30 倍的提升（特别是在结合 FP8 和 Transformer 引擎时）。\n 3. **HBM3 高带宽内存**：H100 采用了更先进的 HBM3 内存，最高提供 80GB 容量和超过 3TB/s 的惊人带宽，极大缓解了大规模 AI 模型的“内存墙”问题。\n 4. **第四代 NVLink 与 PCIe 5.0**：NVLink 互联带宽提升至 900GB/s，是 PCIe 5.0 的 7 倍，使得成千上万张 H100 组成的集群能够高效协同工作，构建超大规模计算集群。\n 5. **原生 FP8 支持**：H100 是首批原生支持 FP8（8位浮点）数据格式的 GPU 之一，这不仅能将内存占用减半，还能大幅提高吞吐量，对 AI 推理极其有利。\n 6. **DPX 指令集**：专门用于加速动态规划算法，在基因组学测序、物流路线优化等科学计算领域，速度比 A100 提升高达 7 倍。\n\n 总的来说，H100 是目前大模型时代最重要的算力基础设施，凭借其针对 Transformer 的特化设计和极高的带宽，成为了训练和部署下一代 AI 的首选硬件。","tool_calls":null},"logprobs":null,"finish_reason":"stop","matched_stop":154827}],"usage":{"prompt_tokens":29,"total_tokens":1576,"completion_tokens":1547,"prompt_tokens_details":null,"reasoning_tokens":1119},"metadata":{"weight_version":"default"}}[root@h200-new llm]#
[root@h200-new llm]#
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。