惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

宝玉的分享
宝玉的分享
小众软件
小众软件
J
Java Code Geeks
I
InfoQ
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
腾讯CDC
L
LangChain Blog
博客园 - 司徒正美
量子位
Y
Y Combinator Blog
C
Check Point Blog
T
Tailwind CSS Blog
D
DataBreaches.Net
Blog — PlanetScale
Blog — PlanetScale
N
Netflix TechBlog - Medium
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
F
Fortinet All Blogs
云风的 BLOG
云风的 BLOG
A
About on SuperTechFans
B
Blog RSS Feed
酷 壳 – CoolShell
酷 壳 – CoolShell
大猫的无限游戏
大猫的无限游戏
V
V2EX
阮一峰的网络日志
阮一峰的网络日志

博客园 - chingho

OpenClaw 不会安装的,一键安装包来了,代码开源! Windows下安装 Ollama + OpenClaw + 飞书,实现真正本地部署! 微软新利器!winapp CLI:一键打包、调试、集成 Windows 原生能力 告别代码!我用Trae氛围编程的方式,开发了一款公众号文章同步插件! C#实现Stdio通信方式的MCP Server C#实现SSE通信方式的MCP Server C#实现MCP Client 与 LLM 连接,抓取网页内容功能! VS Code + Cline + 魔搭MCP Server 实现抓取网页内容。 C#实现自己的MCP Client Phi小模型开发教程:C#使用本地模型Phi视觉模型分析图像,实现图片分类、搜索等功能 Phi小模型开发教程:用C#开发本地部署AI聊天工具,只需CPU,不需要GPU,3G内存就可以运行,不输GPT-3.5 OxyPlot:一个功能强大、漂亮.Net跨平台开源绘图库 websocket-sharp:.NET平台上的WebSocket客户端与服务器开源库 Eval-Expression.NET:动态执行C#脚本,类似Javascript的Eval函数功能 BotSharp:又一个.Net重磅AI开源项目,.Net在AI领域开始崛起! DateTimeExtensions:一个轻量C#的开源DateTime扩展方法库 Bogus:.NET的假数据生成利器 Coravel:一个可轻松实现任务调度、队列、邮件发送的开源项目 .Net程序员机会来了,微软官方新推出一个面向Windows开发者本地运行AI模型的开源工具
一文掌握DeepSeek本地部署+Page Assist浏览器插件+C#接口调用...
chingho · 2025-02-21 · via 博客园 - chingho

大家好,我是编程乐趣。

DeepSeek大火,网络上也看到很多人分享本地部署心得。但想要更细了解,还是要自己本地部署一次。

我这次部署目标,就是在局域网服务器部署,并让局域网其他电脑可以直接访问。

选择方案也是当前非常流行的:Ollma+Page Assist浏览器插件。

一、安装Ollama

Ollama作为本地部署大模型的方案,还是非常不错的。

1、跨平台:支持 macOS、Linux 和 Windows。

2、市面主流开源模型都支持:包括Llama 3.3, DeepSeek-R1, Phi-4, Gemma 2等54个开源模型。

3、REST API:Ollama提供对外API能力,想要自己开发客户端、或者集成到应用系统都是非常方便的。

4、生态完善:众多开源Web项目、开源桌面软件支持Ollama,还有终端工具、移动应用、开发工具库等开源项目。

下载地址:https://ollama.com/download

图片

安装Ollama还是比较简单的,下载安装包后,直接安装就行。我这边选择的是Windows版本。

图片

二、修改Ollama默认配置

Ollama安装后,我们还需要根据需求修改对应的配置。

我们使用Ollama时,需要从网络下载大模型,默认存储在C盘,很容易导致C盘空间不足。

可以通过修改系统环境变量,来修改配置。

添加环境变量:OLLAMA_MODELS,并指定模型路径。

图片

添加环境变量:OLLAMA_HOST,并允许外部访问,这边填写:0.0.0.0,代表允许任何电脑访问。

图片

修改配置后,记得重启Ollama。

我暂时就需要这两个,其他更多配置信息,大家可以查看官方文档:

https://github.com/ollama/ollama/tree/main/docs

三、下载并安装模型

Ollama支持模型非常多,我们这边选择的是:deepseek-r1

图片

选择对应的模型,我们就可以看到模型的相信介绍、各种参数的模型。

图片

各个版本模型对硬件要求,官方没有明确的说明,根据网友分享的大概整理如下,大家可以根据自己的电脑配置选择模型。

图片

安装模型也很简单,选择对应版本的模型,拷贝命令就行。

图片

比如安装7b的命令如下:

ollama run deepseek-r1:7b

在命令窗口输入以上命令,就会自动下载。

图片

耐心等待,等出现success就代表安装成功了。

图片

安装成功后,我们就可以直接在命令窗口进行使用了。

图片

同时在浏览器访问:http://127.0.0.1:11434,有如下提示也代表启动成功了。

图片

四、API调用

Ollama也为我们提供API接口功能,想要自己开发客户端、或者集成到应用系统都是非常方便的。

Ollama相关生态也非常完善,我们直接使用C#版本Ollama的SDK,就可以快速开发,下面一起看看简单例子。

1、安装依赖包:OllamaSharp

图片

2、示例代码

using Microsoft.Extensions.AI;
using OllamaSharp;

Uri modelEndpoint = new("http://localhost:11434");

//指定模型
string modelName = "deepseek-r1:14b";

var chatClient = new OllamaApiClient(modelEndpoint, modelName);

//提问
string question = "我是编程小白,应该如何学习编程?";
var response = chatClient.GetStreamingResponseAsync(question);

Console.WriteLine($">>> 你: {question}");
Console.Write(">>>");
Console.WriteLine(">>> DeepSeek: ");

//输出
await foreach (var item in response)
{
    Console.Write(item);
}

Console.ReadLine();

3、效果如下

图片

Ollama相关的API接口,也可以查看官方文档。

https://github.com/ollama/ollama/blob/main/docs/api.md

五、Ollama的客户端

在命令窗口使用DeepSeek,肯定是不方便的。自己开发客户端,又需要大量时间。

Ollama的客户端是非常众多的,而且都是开源的项目,包括:Web网页版本、桌面应用、浏览器插件、移动端APP等。

每一个客户端提供的功能也非常丰富,并且都不一样,包括:OCR图片识别、语音识别、文档解析等。

大家可以根据自己的需求自行选择。

https://github.com/ollama/ollama

图片

六、Page Assist浏览器插件

我这边的是选择浏览器插件,比较灵活。

在Chrome应用商店,安装浏览器插件:Page Assist。

图片

安装后打开插件,把语音识别、界面语音修改为中文,方便我们使用。

图片

修改Ollama的配置:

1、Ollama URL修改为Ollama服务器的地址。

2、在Ollama 高级配置中,启用:启用或禁用自定义来源 URL,这样才能访问。

图片

Ollama服务器需要关闭防火墙,或者在入站规则里开启端口:11434。

图片

完成以上配置后,我们就可以使用了。

使用的时候,选择对应的模型版本就可以了。

图片

好了,今天就分享到这边!

- End -

文章首发于公众号【编程乐趣】,欢迎大家关注。
图片