1、安装Ollama的过程略。安装目录一般为C:\Users\XXX\AppData\Local\Programs\Ollama
2、下载DeepSeekCoderV2大模型。官网下载慢，就在魔搭社区【modelscope.cn】下载了。
wget -c https://modelscope.cn/models/AI-ModelScope/DeepSeek-Coder-V2-Lite-Instruct-GGUF/resolve/master/DeepSeek-Coder-V2-Lite-Instruct-Q5_K_L.gguf
3、下载后的文件gguf文件放到如下图文件夹，并创建Modelfile文件，文件填如下内容。
FROM ./DeepSeek-Coder-V2-Lite-Instruct-Q5_K_L.gguf
4、导入模型。将模型命为deepseekcoder-v2-lite-instruct，可随意改。
ollama create deepseekcoder-v2-lite-instruct -f ./Modelfile
5、运行模型。模型名与第4步保持一致。
set OLLAMA_NUM_GPU=999
set OLLAMA_ORIGINS="*" ollama run deepseekcoder-v2-lite-instruct
6、Ollama提供API的URL地址为：http://127.0.0.1:11434。可在VSCode中利用CLine等插件调用。
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。