最近鼓捣ollama本地运行开发大模型，配合open-webui搭建自己的服务确实不错，可以本地用cpu运行本地化运行开发大模型，号称只要内存够用就行。当然，没有显卡支持是真的慢！（这个没钱解决不了的问题不是本文的关注点。）
一切仿佛都很美好（除了需要耐心），但是玩了两三天后出问题了。这天心血来潮，拉取了一下open-webui的最新镜像，接着停掉并移除运行中的镜像，再次启动新版本镜像，结果发现启动不了了。用命令”docker ps --all“查看，发现镜像启动18秒后就退出了。于是使用 logs命令查看docker镜像启动的日志。
[yh@lnew ~]$ sudo docker ps --all CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 196fafb4344e ghcr.io/open-webui/open-webui:main "bash start.sh" 22 seconds ago Exited (1) 13 seconds ago open-webui [yh@lnew ~]$ sudo docker logs 196fafb4344e No WEBUI_SECRET_KEY provided Generating WEBUI_SECRET_KEY Loading WEBUI_SECRET_KEY from .webui_secret_key No sentence-transformers model found with name sentence-transformers/all-MiniLM-L6-v2. Creating a new one with MEAN pooling. Traceback (most recent call last): File "/usr/local/bin/uvicorn", line 8, in <module> sys.exit(main()) ^^^^^^ File "/usr/local/lib/python3.11/site-packages/click/core.py", line 1157, in __call__ return self.main(*args, **kwargs) ^^^^^^^^^^^^^^^^^^^^^^^^^^...此处省略不到十万行...
File \"/usr/local/lib/python3.11/site-packages/transformers/utils/hub.py line 441, in cached_file
raise EnvironmentError
OSError: We couldn't connect to 'https://huggingface.co' to load this file, couldn't find it in the cached files and it looks like sentence-transformers/all-MiniLM-L6-v2 is not the path to a directory containing a file named config.json.
Checkout your internet connection or see how to run the library in offline mode at 'https://huggingface.co/docs/transformers/installation#offline-mode'
（注意日志中红色的错误行，是我自己着色的）看了日志才知道，原来是open-webui启动时期需要首先在线安装transformers库，但是huggingface.co对于国内来说是经常不可访问):
于是赶紧求助bing，找到一个镜像网站，"hf-mirror.com"，于是给docker启动命令中增加一个环境变量"HF_ENDPOINT"，经测试完美解决了。后来又想到开始虽然运行镜像启动成功了，但是启动特别慢，2、3分钟服务才能访问，看来也是需要访问huggingface网站的原因。
注意这里设置环境变量HF_ENDPOINT，必须设置为”https://hf-mirror.com“，否则依然会报错，大概是说未知的scheme，我已经趟过这个坑了。完整的命令行如下：
[yh@lnew ~]$sudo docker run -d -e HF_ENDPOINT=https://hf-mirror.com -p 3000:8080 -e OLLAMA_BASE_URL=http://192.168.2.26:11434 -v open-webui/backend/data:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。