惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

月光博客
月光博客
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
人人都是产品经理
人人都是产品经理
IT之家
IT之家
Cyberwarzone
Cyberwarzone
T
Troy Hunt's Blog
有赞技术团队
有赞技术团队
阮一峰的网络日志
阮一峰的网络日志
T
Threat Research - Cisco Blogs
S
SegmentFault 最新的问题
Apple Machine Learning Research
Apple Machine Learning Research
G
GRAHAM CLULEY
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
博客园 - 叶小钗
Last Week in AI
Last Week in AI
C
CERT Recently Published Vulnerability Notes
The Hacker News
The Hacker News
Jina AI
Jina AI
T
Tor Project blog
V
Vulnerabilities – Threatpost
酷 壳 – CoolShell
酷 壳 – CoolShell
Spread Privacy
Spread Privacy
博客园_首页
C
Cybersecurity and Infrastructure Security Agency CISA
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
Simon Willison's Weblog
Simon Willison's Weblog
Security Latest
Security Latest
cs.CV updates on arXiv.org
cs.CV updates on arXiv.org
cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
博客园 - 司徒正美
V2EX - 技术
V2EX - 技术
I
Intezer
The Cloudflare Blog
Cisco Talos Blog
Cisco Talos Blog
SecWiki News
SecWiki News
博客园 - 【当耐特】
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
L
Lohrmann on Cybersecurity
Scott Helme
Scott Helme
Google Online Security Blog
Google Online Security Blog
量子位
The Last Watchdog
The Last Watchdog
AI
AI
Application and Cybersecurity Blog
Application and Cybersecurity Blog
S
Security Affairs
P
Palo Alto Networks Blog
S
Secure Thoughts
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
Attack and Defense Labs
Attack and Defense Labs

HaoKunT的博客

python使用gdal - HaoKunT的博客 Word中写LaTeX公式 - HaoKunT的博客 g++中的rpath和runpath - HaoKunT的博客 Ext4文件系统 - HaoKunT的博客 文件系统介绍 - HaoKunT的博客 理解shell - HaoKunT的博客 Hyper V安装ENVI - HaoKunT的博客 华为软件实习生笔试 - HaoKunT的博客 用C++实现一个命令行进度条 - HaoKunT的博客 PCA与GWPCA - HaoKunT的博客 字节后台实习生笔试题目 - HaoKunT的博客 Web终端仿真器 - HaoKunT的博客 阿里云API网关与函数计算的基础理解 - HaoKunT的博客 函数计算搭建DNS服务器 - HaoKunT的博客 DNS解析过程 - HaoKunT的博客 Github图片加载不出来 - HaoKunT的博客 将Elementary OS装在U盘中 - HaoKunT的博客 MacOS+Windows 双系统的安装 - HaoKunT的博客 IPXE+netboot+ISCSI 网络启动 - HaoKunT的博客 Esxi+NAS+Openwrt - HaoKunT的博客 Esxi的安装和使用 - HaoKunT的博客 利用acme自动更新证书 - HaoKunT的博客 Golang使用海康威视SDK - HaoKunT的博客 Filetools工具 - HaoKunT的博客 学习正则表达式 - HaoKunT的博客 Vugu View - HaoKunT的博客 Django Restframework 嵌套序列化 - HaoKunT的博客 看不了netlify的部署日志 - HaoKunT的博客 Go Modules的使用 - HaoKunT的博客 使用hugo+netlify部署个人主页 - HaoKunT的博客 关于我 - HaoKunT的博客 在线工具大全 - HaoKunT的博客 SWIG编译海康威视SDK 使用golang - HaoKunT的博客 SWIG 以Python为例 - HaoKunT的博客 Seafile - HaoKunT的博客 Golang的小技巧 - HaoKunT的博客 归档 - HaoKunT的博客 搜索 - HaoKunT的博客
如何用 ollama 快速下载 deepseek 模型 - HaoKunT的博客
HaoKunT · 2025-02-09 · via HaoKunT的博客

本文为原创文章,转载注明出处,欢迎关注网站https://hkvision.cn

写在开头

最近由于工作的原因,已经有段时间没有更新博客了。一方面担心可能会引发不必要的纠纷,另一方面确实因为工作太忙、太累,实在抽不出时间和精力来写文章。不过,恰逢DeepSeek R1的热度持续上涨,我也想借这个机会,分享一个之前踩到的小坑,希望能对大家有所帮助。

背景

目前网上教的本地通过 ollama 来部署大模型的方式,都需要使用 ollama run <model> 这样的命令,或者通过一些可视化的前端来安装模型,但是这样的命令很可能因为直连,出现下载缓慢的状况,针对这样的状况,目前,网上的教程大多建议用户从ModeScope下载模型文件后手动包装modelfile文件再给Ollama使用。这种方法不仅步骤繁琐且容易出错。

既然是下载慢的问题(并且原因大家应该明白),那么我们可以使用比较经典的解决方案(大家应该懂,这里说多了容易被封,下文用T代替),但是我最初尝试了半天都失败了,原因是没用上T,后来发现是踩了个小坑。

Ollama 的服务端/命令行/UI界面

digraph ollama_components {
    graph [rankdir=TB];
    
    node0[label="远端模型文件"];
    node1[label="Ollama Server"];
    node2[label="Ollama 命令行"];
    node3[label="Ollama 界面"];
    
    node0 -> node1[dir=back];
    node1 -> node2;
    node1 -> node3;
}

上图是一个简易的 Ollama 部署在本地时的架构,当你完成 Ollama 安装的时候,实际上是在你电脑上打开了一个 Ollama Server,然后当你使用ollama run <model>命令的时候,实际上是向本地的 Ollama Server 发送了一个指令,然后 Ollama Server 会检查本地有没有这个模型,如果没有的话就会去远端下载对应的模型文件。

这里大家要注意的是,实际进行下载的程序是 Ollama Server,而这个 Ollama Server 安装之后就是一个跑起来的服务,我的电脑是 Windows 的系统,这里就是一个启动项,我对 Windows 系统做服务器不甚熟悉,找了下没找到能往启动项里面注入环境变量的方法,但是因为 Ollama Server 其实是可以用过命令行ollama serve 启动的,这就给了我注入环境变量的机会。而且只是在下模型的阶段用一下就行了,其他时候还是可以直接用那个启动项的。

这里解释一下为什么注入环境变量,由于 ollama 是一个已经写好的程序,一般如非必要,一般不会改源码然后重新编译二进制,而这种情况下如果想用上T,在命令行环境下一个通常的做法就是注入环境变量,一般程序都会默认从这个环境变量里面读T的配置然后使用T,这就做到了不改源码的情况下使用上T。

大致流程

好了,想必大家应该明白我的意思了,下面说一下大概流程

  1. 关掉 ollama 服务。
  2. 开一个终端,然后注入环境变量。
  3. 在前面的那个终端下执行 ollama serve
  4. 重新开一个终端,执行 ollama run <model> 如果一切顺利的话,那么你就应该能看到下载速度飞起来了,当然前提是你的T得够快。

前后对比

  • 原速

C:\Users\admin>ollama run deepseek-r1:1.5b pulling manifest pulling aabd4debf0c8… 81% ▕█████████████████████████████████████████████ ▏ 899 MB/1.1 GB 1.3 MB/s 2m44s C:\Users\admin>ollama run deepseek-r1:1.5b pulling manifest pulling aabd4debf0c8… 100% ▕███████████████████████████████████████████████████████ ▏ 1.1 GB/1.1 GB 205 KB/s 17s

  • 加速

C:\Users\admin>ollama run deepseek-r1:1.5b pulling manifest pulling aabd4debf0c8… 48% ▕██████████████████████████ ▏ 536 MB/1.1 GB 19 MB/s 29s

根据我的测试,加速后不仅速度更快,而且下载过程也更稳定,不会出现最后一点很慢,下不动的情况。

我踩了什么坑

一开始我一直以为实际下载的就是那个命令行程序,因此一直在那上面较劲,但其实是 server 实际承担了下载任务。

最后

希望这篇文章对你有用,当然,用不上最好,那代表你原速就很快哈哈哈!