引言

热度高涨，跨界应用，未来展望

目录
•本地部署大模型方案
•本地大模型进行CodeReview
•本地大模型智能代码生成应用
•场景演示
•结尾

一、本地部署大模型的选型

从数据上表明 DeepSeek为目前开源最强

二、本地大模型服务配置模型及参数

DeepSeek-V3-0324

685B 精度 FB16 原始模型 上下文16K（如果是云端最大可以做到 128 K）

硬件配置
8张H20-SXM5-141G显卡，双Intel Xeon Platinum 8558P（192核）CPU，1.5TB内存，10TB硬盘

推理框架
对比评测Ollama(本地测试)、llama.cpp(量化研究)、vLLM(企业级)，选择最优推理框架，确保高效准确的模型推理

推理框架对比

本地部署与官网的对比

三、性能压测

并发压测
01压测目的与方法
并发压测旨在模拟真实场景下的高负载情况，通过模拟大量用户同时请求，全面检验系统的抗压能力与稳定性
02主要指标概览
关键指标包括每秒token数，衡量系统处理请求的快慢；并发数，代表系统同时处理请求的数量
03压测结果展示
100并发下，总token数可以达到1300个每秒，1个并发每秒token达到30个每秒

测试150个并发请求，可以同时处理100个，50个请求处理等待状态

并发压测负载情况，显存占用90%以上，负载占用98%

四、本地部署大模型的架构图

 这边拓展一下

VDI (Virtual Desktop lnfrastructure)是指在企业内部或云端构建的虚拟桌面技术

VDI可以让用户使用自己的设备(例如个人电脑、平板电脑或智能手机)通过网络连接到企业的虚拟桌面，在虚拟桌面上进行工作

VDI使用 虚拟化技术只，为用户提供了一个独立的、隔离的虚拟环境，可以保护企业数据安全，提高工作效率

IDVllntearated Desktop Virualization)是指将VDi技术与本地桌面虚拟化技术(例如Citrix XenDesktop)结合在一起的桌面虚拟化方案。

IDV允许用户在本地设备上运行虚拟桌面，并且可以通过网络连接到企业的数据中心。IDV可以提供更好的用户体验，因为用户可以在本地设备上运行虚拟桌面，而不需要通过网络连接。
VOl(Virtual Office lnfrastructure)是指在企业内部或云端构建的虚拟办公技术。VOi可以让用户使用自己的设备(例如个人电脑、平板电脑或智能手机)通过网络连接到企业的虚拟办公环境，并在该环境中使用办公软件进行工作。

CR时调用的时序图

如何接入AI-CR
GitLab 配置 WebHooks
http://ai-cr.ugreencloud.com/webhook/review?gitlab_token={}&dingtalk_token={}&dingtalk_secret={}

参数配置说明
gitlab_token：GitLab 访问令牌
dingtalk_token：钉钉群聊机器人访问令牌
dingtalk_secret：钉钉群聊机器人签名密钥
review_type：代码审查模式，值为 full 表示全量审查，值为 diff 表示只审查变更内容，默认值为 diff
review_limit：审查的文件数量限制，默认值为 50（可配）
gitlab_host：配置 gitlab host，默认值为 https://gitlab-frontend.ugreencloud.com
配置方式：一个仓库配，一个群组配，系统级配

AI变成工具对比，功能逐级递减，Cline可以进行大框架的搭建，但是消耗的性能更大

本地模型支持接入

内部开放了8000端口，所以配置内容如下

"model": "deepseek-ai/DeepSeek-V3-0324",
"apiBase": "http://code.ugreencloud.com:8000/v1/"

场景演示
场景1: 如何利用 cline，continue 进行代码优化；
场景2: 如何利用 cline 进行需求开发;
场景3: 如何利用 cline 来写开发文档;
场景4: 如何检查项目代码漏洞或安全问题并优化
场景5: AI-CR时，如何对不同语言进行个性能定制，满足不同开发语言的场景;
场景6: 如何利用AI 进行零代码开发AI官网 http://ai.ugreencloud.com;

ai助手地址：

http://ai.ugreencloud.com/sites/5461b204-022c-4cbc-be02-3c4381b46a55

接入指引：

ai-codereview 项目： https://alidocs.dingtalk.com/i/nodes/YMyQA2dXW79DjBmrt2egmOKGJzlwrZgb?doc_type=wiki_doc

快速接入ai-codereview流程： https://alidocs.dingtalk.com/i/nodes/kDnRL6jAJM3OeBoDikXLYGRBWyMoPYe1?doc_type=wiki_doc

VSCode+Roo Code (Cline)本地配置 ： https://alidocs.dingtalk.com/i/nodes/Qnp9zOoBVBZa5Boeu4mgy3LaV1DK0g6l?doc_type=wiki_doc

vscode+continue 本地配置： https://alidocs.dingtalk.com/i/nodes/EpGBa2Lm8azarRXjs9Yxr7plWgN7R35y?doc_type=wiki_doc

mac-studio 集群部署 deepseek： https://alidocs.dingtalk.com/i/nodes/ZX6GRezwJl7Okqbyf5DAd4ErVdqbropQ?doc_type=wiki_doc

deepseek-r1:671b并发测试： https://alidocs.dingtalk.com/i/nodes/m9bN7RYPWdl74YzXigvxdzDnWZd1wyK0?doc_type=wiki_doc

使用 Cursor 开发 AI 官网记录： https://alidocs.dingtalk.com/i/nodes/mExel2BLV54v3BZysbkGKBjeWgk9rpMq?doc_type=wiki_doc