日期：2024-07-05

中考结束了，终于有大把时间折腾技术。暑假第一个要玩的，就是现在最火的本地大模型工具——Ollama。它让你在自己的电脑上就能跑大模型，不需要联网、不用花钱、隐私也不会泄露。

1. Ollama 是什么？

简单说，Ollama 是一个让你在本地电脑上运行大模型的工具。它把复杂的模型下载、环境配置、GPU 加速全都打包好了，你只需要一行命令就能和 AI 对话。

2. 安装 Ollama

Windows 用户：
去 ollama.com 下载安装包，双击安装就行。

macOS 用户：

brew install ollama

Linux 用户：

curl -fsSL https://ollama.com/install.sh | sh

装完后打开终端（Windows 按 Win+R 输入 cmd），输入：

ollama --version

看到版本号就说明成功了。

3. 运行第一个模型

Ollama 的模型库在 ollama.com/library，里面有几百个模型。我们先跑一个体积小、中文还不错的 Qwen（通义千问）：

ollama run qwen:7b

第一次运行会自动下载模型，大概 4GB，等几分钟就好。下载完成后，终端里直接出现对话界面：

>>> 你好，介绍一下你自己

输入问题就能聊天了。想退出时按 Ctrl+D 或者输入 /bye。

4. 常用命令

ollama list          # 查看你装了哪些模型
ollama rm qwen:7b    # 删除模型（释放硬盘空间）
ollama pull llama3   # 下载新模型但不运行

5. 打造你自己的 AI 助手

这是最酷的部分。我们可以创建一个自定义角色，比如一个“只会用鲁迅口吻说话”的助手。

新建一个文件叫 Modelfile（没有后缀名），内容：

FROM qwen:7b
SYSTEM "你叫小鲁，回答问题必须模仿鲁迅的文风，多用犀利讽刺的语气。"
PARAMETER temperature 0.8

然后在终端里创建模型：

ollama create xiaolu -f ./Modelfile

运行它：

ollama run xiaolu
>>> 你觉得中学生该不该玩手机？

回复就会带着鲁迅式的辛辣口吻，特别好玩。

6. 把 Ollama 接入自己的程序

Ollama 自带 API 接口（默认 localhost:11434），你可以用 Python 调用它：

import requests

response = requests.post(
    "http://localhost:11434/api/generate",
    json={
        "model": "xiaolu",
        "prompt": "写一段鼓励中学生学编程的话",
        "stream": False
    }
)
print(response.json()["response"])

这段代码会调用你刚才创建的“小鲁”，让它帮你写一段鼓励的话。

7. 常见问题

· 下载太慢：模型比较大，第一次下载耐心等待，或者换个网速好的时间。
· 内存不够：可以试试更小的模型，比如 qwen:1.8b 或 llama3.2:1b。
· 想用中文更好的：推荐 qwen:7b、llama3.1:8b。

小结

现在你的电脑上已经有了一个完全离线的大模型助手。下一步，我们将在这个基础上接入刚发布的 Llama 3.1，试试 Meta 最新最强的开源模型有多厉害。