惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

宝玉的分享
宝玉的分享
B
Blog RSS Feed
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
MyScale Blog
MyScale Blog
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
S
SegmentFault 最新的问题
Y
Y Combinator Blog
月光博客
月光博客
IT之家
IT之家
T
Tailwind CSS Blog
Last Week in AI
Last Week in AI
L
LangChain Blog
博客园_首页
MongoDB | Blog
MongoDB | Blog
P
Proofpoint News Feed
博客园 - Franky
WordPress大学
WordPress大学
云风的 BLOG
云风的 BLOG
M
MIT News - Artificial intelligence
V
Visual Studio Blog
小众软件
小众软件
博客园 - 叶小钗
博客园 - 三生石上(FineUI控件)
N
Netflix TechBlog - Medium

博客园 - LarkMidTable

前端微信群 LarkMidTable 2026年2月份 修改的bug记录 Doris的单机安装 1.vue的简介及常用指令 镜像源参考和使用 Langchain调用LLM Langchain的监控工具 Langchain的底层原理 Langchain是什么? 3.AI大模型私有化部署和微调 1.AI 大模型的基本概念 AI Agent的概述 一: AI 的一些基本概念 DockerInsight 数据中台整体规划与建设方案 Flink读取Kafka数据下沉到HDFS 兄弟,干了这杯Flink SQL !!! 电商 实时数仓 简易架构图 美团 基于Flink 实时数仓 概述
2.AI大模型项目实战
LarkMidTable · 2025-02-10 · via 博客园 - LarkMidTable

1.开源大模型

LLama3: Meta、Deepseek: 深度求索、Qwen:通义千问、GLM-4:智谱AI

2.大语言模型私有化部署硬件要求

 设备管理器--->显示适配器(英伟达的显卡)

模型微调就是小规模的训练模型

3.模型的网站

modelscope.cn/models

https://www.datalearner.com/

4.规划和计算显存的大小

例如: glm-4-9b-chat

其中4为版本,9b指90亿参数

9*10^9*2(字节数)/1024/1024/1024 得到显存的大小

或者直接看模型文件的大小,加起来

使用算力云,腾讯云,阿里云进行操作。

跑的时候需要将所有的文件加载到显存,nvdia-smi