惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

博客园 - Franky
N
Netflix TechBlog - Medium
宝玉的分享
宝玉的分享
Google DeepMind News
Google DeepMind News
腾讯CDC
G
Google Developers Blog
Martin Fowler
Martin Fowler
Microsoft Security Blog
Microsoft Security Blog
Recent Announcements
Recent Announcements
爱范儿
爱范儿
Engineering at Meta
Engineering at Meta
Microsoft Azure Blog
Microsoft Azure Blog
A
About on SuperTechFans
aimingoo的专栏
aimingoo的专栏
有赞技术团队
有赞技术团队
Jina AI
Jina AI
人人都是产品经理
人人都是产品经理
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
M
MIT News - Artificial intelligence
罗磊的独立博客
博客园 - 三生石上(FineUI控件)
美团技术团队
WordPress大学
WordPress大学
阮一峰的网络日志
阮一峰的网络日志

Shine & Website

从圆肩到挺拔:我的训练计划 V2|肩胛稳定优先 2026 最新土耳其(外区)Apple ID 注册教程:低价订阅 ChatGPT Plus 完整指南(附开启跨区 Apple 家庭共享) 我们都还在路上:在不确定中攒出自己的选择权 Claude Desktop 接入第三方模型 API:基于 ccswitch 的配置与踩坑 从圆肩到挺拔:我的训练计划 V1|我的第一份认真训练计划 一生难忘,仅此一次:傅氏傅厝井朵桥祖厝重建竣工暨祔桃庆典 At Datawahle 我在Datawahle的日常 使用 Waline 实现 iCloud 和 Gmail 邮件通知的完整配置教程 为 Astro 博客打造完美的 Waline 评论系统:从集成到深度定制的完整实践 vscode优化体验(推荐设置 & 推荐插件) YOLO V7及多线程优化和边缘端设备RK3588-RK3588S部署 YOLO V11及多线程优化和边缘端设备RK3588-RK3588S部署 用于备份和恢复 Zotero 配置的插件-蒲公英 Tara Obsidian利用Syncthing全平台同步终极方案 同步ios和PC端 新机Linux(Ubuntu)到手一般都会做如下配置 04讲 - 炼丹流程 - PyTorch深度学习快速入门教程 03讲 - 神经网络 - PyTorch深度学习快速入门教程 02讲 - 数据 - PyTorch深度学习快速入门教程 01讲 - 配置 - PyTorch深度学习快速入门教程 其他设备通过局域网内主机的代理VPN科学上网(以Jetson设备为例) Jetson系统烧入过程(以Orin - Nano为例) Jetson Orin Nano开发指南记录 以RKNN系列模型为例,训练一个yolov7的目标检测模型 常用软件配置分享 - 持续更新 瓦肯举手礼 初识MCP技术 Qwen2.5 - VL的vllm部署方案(图像分析) 关于biome代码审查 配合Cloudflare和Piclist搭建一个属于你的免费图床
部署大模型并用Chatbox连接到远程Ollama服务
2025-06-11 · via Shine & Website

Ollama本地部署大模型

June 11, 2025  •  1 min read


Table of Contents

  • 1 在服务器上安装 Ollama 框架&并使用 systemd 管理 Ollama
  • 2 使用 Chatbox 连接到远程 Ollama 服务
  • Ollama 作为 systemd 服务运行,应使用==systemctl== 设置环境变量:
  • 在防火墙中允许 Ollama 服务的端口(默认为 11434)
  • 在 Chatbox 中配置连接

1 在服务器上安装 Ollama 框架&并使用 systemd 管理 Ollama

在这里因为网络原因,我推荐大家直接到 github 官网下载压缩包,移入服务器中解压使用

  1. 在 windows 中打开标签,选择最新的版本代号,选择 ollama-linux-amd64.tgz(我的 ubuntu 系统版本是 x86_64)

若不清楚自己的 Linux 系统版本输入 uname -a

  1. 创建文件夹/home/kairos/fxy-ollama 文件夹并解压到此处

tar -xzvf ollama-linux-amd64.tgz -C /home/kairos/fxy-ollama

  1. 接下来使用 systemd 管理 Ollama systemd 是 Linux 系统的现代服务管理工具,相比 nohup 或 screen 等方式,它提供了更稳定、可靠的管理方式,适合生产环境(长期运行的服务)
Terminal window

/etc/systemd/system/ollama.service > /dev/null <<EOF [Unit] Description=Ollama Server After=network.target

[Service] User=kairos # 替换为你的用户名 ExecStart=/home/kairos/fxy-ollama/bin/ollama serve WorkingDirectory=/home/kairos Restart=always # 崩溃后自动重启 RestartSec=3 # 重启间隔(秒) Environment="OLLAMA_HOST=0.0.0.0" # 允许远程访问(可选)

# 资源限制示例(可选) # MemoryLimit=4G # CPUQuota=80%

[Install] WantedBy=multi-user.target EOF ​​(2) 启动并启用服务​​

sudo systemctl daemon-reload # 重新加载配置 sudo systemctl start ollama # 立即启动 sudo systemctl enable ollama # 开机自启

常用命令​​ bash sudo systemctl status ollama # 查看状态 sudo journalctl -u ollama -f # 实时查看日志 sudo systemctl stop ollama # 停止服务 sudo systemctl restart ollama # 重启服务

2 使用 Chatbox 连接到远程 Ollama 服务

  1. Ollama 作为 systemd 服务运行,应使用==systemctl== 设置环境变量:

输入 systemctl edit ollama.service 编辑 systemd 服务配置。这将打开一个编辑器。 在 [Service] 部分下为每个环境变量添加 Environment: [Service] Environment="OLLAMA_HOST=0.0.0.0" Environment="OLLAMA_ORIGINS=*" 保存并退出。 重新加载 systemd 并重启 Ollama: systemctl daemon-reload systemctl restart ollama

  1. 在防火墙中允许 Ollama 服务的端口(默认为 11434)

sudo ufw allow 11434/tcp

  1. 在 Chatbox 中配置连接

在服务器输入 ip a ,获取 ip 地址例如 192.168.XX.XX 在 windows 终端输入 curl http://192.168.XX.XX:11434/api/tags 若返回 Ollama 的模型列表则代表内网穿透成功 最后在 Chatbox 中选择 Ollama API 输入 API 域名 http://192.168.XX.XX:11434

部署大模型并用Chatbox连接到远程Ollama服务

https://www.futseyi.com/blog/chatbox-ollama/

Author
FuTseYi

Published at
June 11, 2025

Copyright
CC BY-NC-SA 4.0