引言

目前市场上的 AI 大语言模型很多，国内，国外，开源，不开源的都有。

比较主流的有 OpenAI 的 ChatGPT 和 Anthropic 的 Claude，支持用户免费使用，如果用户付费订阅，可以享受更好的服务和功能。

但我们国内用户，受限于某些大家都知道的原因，是没办法正常使用 ChatGPT 和 Claude 的。这时候，本地部署一个 AI 大语言模型的优势就来了。

概念

本地部署 AI 大语言模型是指，将 AI 大语言模型存储和运行在用户自己的设备或服务器上，而不是使用云端服务（如ChatGPT）。这意味着数据处理、计算等任务都是在用户的本地主机上进行的，而不需要通过互联网连接到远程服务器。

本地部署 AI 模型有这几个优势：

1.  隐私保护。用户数据不需要上传到服务器，减少了数据泄露和滥用的风险。

2.  不依赖网络。无论是 Wi-Fi 还是网络限制，都不会对模型性能造成影响。

3.  自主控制权。组织或个人对模型有完全的控制权，可以根据自身需求进行调整，甚至可以开发自己的业务逻辑。

但是本地部署也有一定的限制，主要是对用户的主机资源有一定要求。目前主流的大语言模型，基本都需要电脑至少有 8 GB 的内存，但目前的个人PC配置，一般都可以满足。

下面是部署的快速教程，以 Mac 端为例。（Windows 和 Linux 方法基本相同）

Ollama

运行开源模型的客户端，我推荐 Ollama，理由是安装简单，操作方便。

首先前往官网 https://ollama.com/

点击下载，选择自己对应的系统，一路安装到底。

非常简洁的网站

安装完后，你的电脑右下角会有一个小羊驼的标志，说明已经成功运行了。需要注意的是，Ollama 默认是开机自动启用的，如果想关掉，需要去开机项修改下。

大语言模型

接着，重新回到 Ollama 的官网，点击右上方的模型（Models），里面基本涵盖了目前开源的主流大模型，比如 Meta 的 llama3.1，阿里云的千问（qwen2），谷歌的 Gemma2，以及李开复团队研发的新 AI 大模型 Yi。

以 llama3.1 为例，点进去，然后复制右侧的代码。

ollama run llama3.1

这里需要注意，默认的模型参数一般是最合适的，这里的 8b 模型大概是 4.7 GB，如果下载 70b 的，就要 40 多 GB，普通电脑带不起来，这里就按默认的下载即可。

打开电脑的终端，如果是Window系统，话按 Win+R，然后输入 cmd 按回车。

把上面代码粘帖进去，直接运行，就可以开始下载大模型到你的电脑里。

下载好之后，你就可以在命令行里开始和 AI 大模型对话了。

有几个比较常用的命令。

第一个，查看目前你所有的模型。

Ollama list

第二个，更新模型。

ollama pull llama3.1

到这里，你已经可以开始和 AI 对话了。

但是，在命令行的对话无法保存。想要保存的话，我们可以借助 OpenWeb UI，来搭建一个类似 ChatGPT 一样的界面，用于保存和分类我们的大模型对话。

OpenWeb UI 

首先，我们需要去下载一个 Docker，登陆官网：https://www.docker.com/，点击下载，一路安装到底。

接着，前往 Github，搜索 OpenWeb UI，会找到 Ollama 环境下安装 OpenWeb UI 的代码，网址是：https://github.com/open-webui/open-webui

不想进去自己看的，我把 OpenWeb UI 安装代码贴在下面，直接在命令行运行即可。

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

安装完后，你的 Docker 界面就会有新的端口3000:8080，点击它，就会跳转到浏览器，到这一步，就算全部完成了。

现在，你可以新建对话，并且选择你想要用的大语言模型。Have Fun！