前提

本地目前没有显卡，只能用cpu刚。

如果不想自己搭建本地模型，完全可以掏钱使用现成的API即可。

需要了解一些docker知识

搭建本地模型

环境

os: archlinux

内存: 32g

cpu: 6核12线程

docker: 27.3.1

docker-compose: 2.32.4

ollama

pacman -S ollama

systemctl start ollama.service

 # 通过下述url判断ollama是否安装成功
http://127.0.0.1:11434/

LLM模型 (qwen2:1.5b)

下载

ollama pull qwen2:1.5b

启动

ollama run qwen2:1.5b

测试

ollama run qwen2:1.5b
>>> who are you?
I am an AI language model, designed to answer questions and provide information on various topics. How can I assist you today?

>>> Send a message (/? for help)

Text Embedding模型 (m3e)

下载

ollama pull milkey/m3e

embedding模型不需要run, ollama服务启动可直接使用

测试

curl http://127.0.0.1:11434/api/embed -d '{
  "model": "milkey/m3e",
  "input": "balabalabala"
}' | jq .

查看模型运行情况

ollama ps

NAME                        ID              SIZE      PROCESSOR    UNTIL    
qwen2:1.5b                  f6daf2b25194    1.5 GB    100% CPU     4 minutes from now
milkey/m3e:latest           1477f12451b0    860 MB    100% CPU     4 minutes from now

构建知识库(ollama+DIFY)

下载启动dify

参考官方文档，so easy!

https://docs.dify.ai/zh-hans/getting-started/install-self-hosted/docker-compose

本地采用的是 #systemd方式* 部署。这里一定要注意，不同的部署方式网络配置有点区别，比如systemd的方式服务启动需要增加环境变量OLLAMA_HOST，而对于docker启动方式，可以参考官方文档(暂未测试)

添加模型

这里我们需要两个模型，一个LLM，一个Text Embedding

qwen2:1.5b模型添加

模型名称：qwen2:1.5b（必须完整填写）

基础 URL：http://:11434 (这里的ip要是你本地ip,不能用localhost，127这些。本地是http://10.10.15.159:11434)

模型类型：对话

模型上下文长度：4096 (模型的最大上下文长度，若不清楚可填写默认值 4096)

最大 token 上限：4096 (模型返回内容的最大 token 数量，若模型无特别说明，则可与模型上下文长度保持一致)

是否支持 Vision：是

保存即可使用

milkey/m3e:latest

模型名称：milkey/m3e:latest (同上)

基础 URL：http://:11434 (这里的ip要是你本地ip,不能用localhost，127这些。本地是http://10.10.15.159:11434)

模型上下文长度：4096

保存即可使用

访问测试

创建知识库

导入数据 --> 设置分段 -->设置索引及检索

对于word这种格式化的数据,分段模式最好使用 #父子模式* ; 索引方式使用高质量模式，使用上述m3e模型来生成索引数据。

创建聊天助手

知识库是没法直接去使用的，顶多能做个召回测试。这里我们创建一个聊天助手，可以关联知识库，这样能真正使用。

聊天助手创建很简单，可以选择顶部工作室 -> 创建空白应用

选择已经创建好的知识库

应用发布即可

直接通过dify使用

dify默认启动使用的是80端口，可以直接通过http://localhost 访问(首次使用需要注册用户密码)。 然后选择探索，选择我们刚刚创建的聊天助手就可以开始愉快的聊天了。

将dify嵌入到自己的应用中

可以通过api、iframe之类的方式将自己搭建的聊天助手嵌入到系统中(需要有开发能力，很简单)。

知识库工作流

问题处理

dify访问时提示11434拒绝

http://10.10.15.159:11434/ 请求失败

处理

检查服务启动正常，需要在service中增加环境变量 Environment="OLLAMA_HOST=0.0.0.0:11434"

sudo vim /usr/lib/systemd/system/ollama.service
systemctl daemon-reload
systemctl restart ollama.service

其它系统类似，就是让服务启动读取到该变量即可

Reached maximum retries (3) for URL http://localhost:8090/api/system/ext/examples/echo

分析处理

添加工具后，访问本地接口提示上述错误, 其实还是ip的问题，这里使用本地ip,如10.10.15.159。因为dify部署在容器中,localhost有特殊意义