前言

在春节期间，我看到平日头条忠实用户的老爸，都开始讨论deepseek的时候，不得不感慨DeepSeek可以说是一下火出圈了，全国人民都知道。那么这个热点也是可以小小蹭一下了（大雾

当然，现在DeepSeek由于用户量陡增，提问之后能不能得到答案，完全就是看运气啦。所以某种意义上来说，DeepSeek的花语是请稍后再试（手动doge

首先要申明一点的是，本文所提到的本地部署的DeepSeek并不是在线大家看到的满血版本（DeepSeek-R1），而是经过DeepSeek-R1知识蒸馏之后的Qwen-14B版本。

那么什么是知识蒸馏呢？在知识蒸馏过程中，主要有两个模型：教师模型和学生模型。教师模型通常是一个大规模的、经过充分训练的模型，拥有复杂的结构和较高的准确率；而学生模型则是一个结构相对简单、参数较少的小型模型。知识蒸馏的核心思想是通过让一个较小的模型学习较大模型的预测分布来获得类似的表现。

通俗的讲，通过知识蒸馏，可以使得小模型学习到大模型的部分经验，同时可以减少模型大小，降低部署成本。

硬件配置

笔者使用的本地硬件配置主要有macOs：Macbook Pro M2 + 16g和Windows：i5-8300h + GTX 1050ti + 32g。亲测这两个环境都是可以跑起来蒸馏后的Qwen-14B。

当然如果你有更好的环境，自然也是没有问题的。

环境准备

安装Ollama

需要安装一下Ollama这个框架。通过Ollama这个框架，可以很方便的调用本地大模型。

官方网站：https://ollama.com/

安装的时候大家根据自己的操作系统选择对应的版本即可。

安装完成之后可以在命令行里面输入ollama，如果有下面提示，就说明安装成功了。

ollama

部署大模型

当完成Ollama的安装之后，就可以一键部署大模型了。

大家可以在这个网页查看相关的大模型：https://ollama.com/library/deepseek-r1:14b

在这里我们选择14B的大模型即可，当然也可以根据你的需要，选择合适版本的大模型。

还是回到命令行界面，比如我们需要在本地部署14B的模型，执行下面这条命令

ollama run deepseek-r1:14b
 

等待差不多10分钟左右，就可以把模型下载到本地，当你看到success的时候，就说明部署成功了。

然后你就有了专属自己的大模型，可以愉快地提问玩耍了~

结语

希望大模型之后与大众之间的距离越来越近，使用门槛越来越低，让我们每个人真切感受到科技的进步给生活带来的美好。