沙牛提示

阅读本文需要6分钟，建一套自己的AI助手！
如果你喜欢本文，就分享给你的小伙伴！

01 AI

随着AI的日益普及，很多大厂都开放了自己的大语言模型。

本文就来告诉你，如何在本地，搭建一套随时可用的AI问答系统。

02 Ollama

你只需要使用一款免费开源的工具：Ollama。

Ollama是免费开源的，支持多达近2000种大语言模型，包括阿里通义千问、Meta llama3、Google Gemma等等。

使用它，你只需要按照以下步骤进行即可：

安装Ollama

下载大语言模型

进行问答

1. 安装Ollama

你可以在Ollama的官网 https://ollama.com/ 下载并安装它，它支持Windows、macOS和Linux等主流操作系统。

安装之后，它会在后台运行，并默认开机启动，方便我们随时使用。

不过，目前Ollama并没有提供图形界面的客户端，所以……你只能通过命令提示符使用它。

在Ollama安装之后，打开命令提示符，输入 ollama，如果收到这样的提示，则证明安装成功：

2. 下载大语言模型

本地安装的Ollama，你可以理解为一个基础平台，现在，我们需要为这个基础平台，提供大语言模型的支持。

你可以在Ollama官网的 Models 页面，查询到所支持的大语言模型：

我们点开一个模型，比如Google Gemma：

其中：

① 代表模型的不同参数版本，B代表Billion，即十亿，9B，代表90亿参数。

② 你可以在这里选择不同参数的版本。

③ 选择版本后，复制命令。

然后，把复制的命令 ollama run gemma2:9b，粘贴到命令提示符中，便会开始下载并运行该模型：

要查看已经下载的模型，可以使用命令 ollama list ：

ps：这命令风格真是跟Docker如出一辙。

3. 进行问答

安装模型后，我们就可以进行问答了。不过，因为没有图形界面，所以……你也只能在命令提示符这种上古神器中，来运行先进的人工智能……

运行一个模型，可以使用命令 ollama run 模型名称 ，如运行阿里千问，命令则为 ollama run qwen2:7b

好了，现在，你可以进行提问了：

03 弄个图形界面

如果你愿意折腾的话，也可以为Ollama搭建一个开源的图形界面， 如LobeChat、Open WebUI等等。

而我选择的，是MaxKB，我把它部署在了自己的群晖NAS上：

有了图形界面之后，你便可以在整个局域网中使用Ollama，甚至，因为有公网IP的关系，我还把这个页面放到了网上，无论在哪，都能使用自己家里运行着的大语言模型。😉

你还可以在Obsidian中使用Ollama本地大语言模型，只需要安装插件 Smart Second Brain 即可。

安装并启用后，配置一下插件：

然后，它会索引你的Obsidian资料库。

但是，对于我包含了1200条笔记、180万字的资料库，再加上没有独显的debuff加持，直接给了我一个这样的时长提示：

不过，即便只是把它作为一个Obsidian中的AI问答工具，还能即时保存为笔记，也是挺不错的：