在本地部署大模型的过程中，我曾尝试在Windows Docker下安装Open WebUI。然而，这个过程并不顺利。Docker的配置、模型的加载以及与GPU的适配等问题，让我遇到了不少坑。经过一番折腾后，我意识到，或许需要一种更简洁、更高效的方式来实现本地部署。于是，我转向了Chatbox和Ollama的组合。
访问Ollama的官方网站：Download Ollama on Windows，下载适用于Windows的安装程序。
安装完成后，在命令提示符或PowerShell中输入以下命令验证安装是否成功：
ollama --version如果显示版本号，说明Ollama已成功安装。指定安装目录与修改模型下载目录为了避免模型文件占用过多C盘空间，我们可以指定Ollama的安装目录和模型下载目录。通过设置环境变量 OLLAMA_MODELS,将模型文件存放在其他磁盘分区。例如，将模型文件存放在D盘的 ollama_models 目录下，可以在系统的环境变量设置中添加如下变量：
在命令提示符或PowerShell中输入以下命令，下载DeepSeek R1 14B模型：
ollama run deepseek-r1:14b下载可能会很慢，最好放一边先干点别的事。下载完成后，模型会自动运行，
当看到上边的命令行的时候，就表明可以开始和deepseek大模型进行交互。
基本命令
• ollama 显示 Ollama 的帮助信息，列出所有可用的命令及其用法。
常用命令
• serve 启动 Ollama 服务。这是运行 Ollama 的主要命令，用于启动本地服务，以便与模型进行交互。
• create 根据指定的 Modelfile 创建一个模型。Modelfile 是一个配置文件，定义了模型的结构和参数。
• show 显示指定模型的详细信息，包括模型的版本、大小、依赖关系等。• run 运行一个模型。例如， ollama run deepseek-r1:1.5b 会启动指定版本的 DeepSeek R1 模型。
• stop 停止一个正在运行的模型。如果需要关闭某个模型，可以使用此命令。
• pull 从模型仓库中拉取（下载）一个模型。例如， ollama pull deepseek-r1:1.5b 会从远程仓库下载指定版本的模型。
• push 将本地模型推送到模型仓库。这通常用于将自定义模型上传到远程仓库，以便共享或备份。
• list 列出所有已安装的模型。此命令可以帮助你查看本地已下载和安装的模型列表。
• ps 列出所有正在运行的模型。此命令可以帮助你查看当前正在运行的模型及其状态。
• cp 复制一个模型。可以将一个已安装的模型复制到另一个位置或重命名。
• rm 删除一个模型。如果不再需要某个模型，可以使用此命令将其从本地删除。
• help 获取关于某个命令的帮助信息。例如， ollama help run 会显示 run 命令的详细用法和参数说明。
Chatbox是一个可视化界面工具，可以让我们更便捷地与模型交互。下载与安装访问 Chatbox 官方免费下载，下载适用于Windows的版本。
配置本地模型安装完成后，打开Chatbox，进入设置页面：
• API类型：选择“OLLAMA API”。
• 接口地址：填写 http://localhost:11434 。
• 模型名称：填写 deepseek-r1:14b ，确保与之前下载的模型版本一致。
完成配置后，就可以在Chatbox中与DeepSeek R1 14B模型进行对话了。
测试与总结
经过上述步骤，成功的在Windows环境下使用Chatbox和Ollama部署了DeepSeek R1 14B模型。在测试过程中，模型的响应速度和准确性都令人满意。比起使用docker折腾webUI要简单得多。
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。