Linux下Ollama + AMD ROCm GPU加速安装实操指南

前言：Ollama是一款轻量易用的本地大模型运行工具，默认支持CPU运行，但对于AMD显卡用户，可通过配置ROCm依赖库实现GPU加速，大幅提升模型运行速度。本文基于AMD Radeon RX 7900 XTX显卡，详细记录Ollama安装、ROCm依赖包下载解压及配置的完整实操流程，全程无冗余步骤，新手可直接跟着复制命令操作。

一、前置说明

本文适配Linux系统（实测Ubuntu系列可用），核心目标是让Ollama识别AMD显卡并启用GPU加速。关键前提：已从Ollama官网下载对应GPU版本的ROCm依赖包（非Ollama主程序，仅为加速依赖），且已解压完成。

ROCm是AMD推出的开源计算平台，类似NVIDIA的CUDA，是Ollama在AMD GPU上实现推理加速的核心底层环境，能够充分发挥AMD显卡的计算性能，让本地大模型运行更流畅。

二、步骤1：安装Ollama主程序

ROCm依赖包仅为加速组件，无法单独运行Ollama，需先安装Ollama主程序，推荐使用官方脚本一键安装，适配性最佳：

# 官方一键安装脚本（自动部署主程序，不破坏后续ROCm配置） curl -fsSL https://ollama.com/install.sh | sh

安装完成后，终端会提示“Install complete. Run "ollama" from the command line.”，说明主程序安装成功。此时Ollama默认使用CPU运行，需继续配置ROCm依赖。

三、步骤2：ROCm依赖包下载、解压与复制

这一步是实现GPU加速的核心，需将下载的ROCm依赖包正确放置到Ollama指定目录，确保主程序能调用到GPU加速库。

3.1 确认ROCm包解压路径

假设你已从Ollama官网下载GPU（ROCm）包，并解压至路径 /usr/bin/ollama-rocm/，解压后的目录结构如下（可通过tree命令查看）：

# 查看解压后的ROCm包目录结构 cd /usr/bin/ollama-rocm/ tree

解压后正确结构（核心是rocm目录及内部依赖库）：

. └── lib └── ollama └── rocm ├── libamd_comgr.so.3 -> libamd_comgr.so.3.0.0 ├── libamd_comgr.so.3.0.0 ├── libamdhip64.so.7 -> libamdhip64.so.7.2.70200 ├── libggml-hip.so # 关键GPU加速库 └── 其他各类ROCm依赖库...

3.2 复制ROCm依赖到Ollama默认目录

Ollama主程序默认读取依赖库的路径为 /usr/local/lib/ollama/，需将解压后的rocm目录完整复制到该路径下，步骤如下：

# 1. 先停止可能运行的Ollama服务（避免复制时冲突） sudo systemctl stop ollama（若未启动，可跳过） # 2. 复制ROCm依赖目录到Ollama默认库路径 sudo cp -r /usr/bin/ollama-rocm/lib/ollama/rocm /usr/local/lib/ollama/ # 3. 赋予权限（确保Ollama能读取依赖库） sudo chmod -R 755 /usr/local/lib/ollama/rocm

复制完成后，可进入 /usr/local/lib/ollama/ 目录，确认rocm目录已存在，且内部文件完整。

四、步骤3：配置Ollama为系统服务（开机自启）

手动创建 systemd 服务文件

sudo nano /etc/systemd/system/ollama.service

然后粘贴以下内容：

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/local/bin/ollama serve
#User=you userid
#Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin"
#优先使用Gup,如果GPU超过90%后就使用内在
Environment="OLLAMA_GPU_LAYERS=100" 
Environment="GPU_MEMORY_FRACTION=0.9" 
Environment="HSA_OVERRIDE_GFX_VERSION=11.0.0"

[Install]
WantedBy=default.target

3. 重新加载 systemd 并启动服务

sudo systemctl daemon-reload
sudo systemctl start ollama
sudo systemctl enable ollama 

sudo systemctl edit --full ollama

找到 [Service] 部分，修改或注释掉 User 和 Group 行：

[Service]
ExecStart=/usr/local/bin/ollama serve

然后重启服务：

sudo systemctl daemon-reload
sudo systemctl restart ollama
sudo systemctl status ollama

五、步骤4：验证ROCm GPU加速是否生效

服务启动后，需确认Ollama已成功识别AMD显卡并启用GPU加速，执行以下命令查看日志：

journalctl -u ollama -f

若日志中出现以下关键信息，说明ROCm配置成功，GPU加速已启用：

ggml_cuda_init: found 1 ROCm devices: Device 0: AMD Radeon RX 7900 XTX, gfx1100 (0x1100), VMM: no, Wave Size: 32, ID: GPU-xxxxxxx load_backend: loaded ROCm backend from /usr/local/lib/ollama/rocm/libggml-hip.so offloaded 25/25 layers to GPU

其中“offloaded 25/25 layers to GPU”表示模型所有层均运行在GPU上，GPU加速完全生效，此时运行Ollama模型会获得远超CPU的速度体验。

六、常用操作指令（备用）

# 查看已下载的模型 ollama list # 运行模型（验证GPU加速） ollama run llama3 # 停止Ollama服务 sudo systemctl stop ollama # 重启Ollama服务 sudo systemctl restart ollama # 取消开机自启 sudo systemctl disable ollama

七、常见问题总结

• 错误1：Error: could not connect to ollama server → 服务未启动，执行sudo systemctl start ollama即可。

• 错误2：status=217/USER → 服务用户权限不足，本文创建的服务使用root用户，可避免此问题。

• GPU加速未生效 → 检查ROCm包复制路径是否正确，确保/usr/local/lib/ollama/rocm目录存在且文件完整。

结尾

至此，Ollama + AMD ROCm GPU加速的安装、配置已全部完成，无需复杂的环境配置，全程通过命令行实操即可完成。配置后，本地运行大模型的速度会得到质的提升，充分发挥AMD显卡的计算潜力。对于AMD显卡用户来说，ROCm的配置是解锁本地AI算力的关键，搭配Ollama可实现轻量、高效的本地大模型部署体验。