惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

Vercel News
Vercel News
B
Blog
Y
Y Combinator Blog
Recent Announcements
Recent Announcements
GbyAI
GbyAI
IT之家
IT之家
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
T
Tailwind CSS Blog
博客园_首页
C
Check Point Blog
博客园 - 【当耐特】
美团技术团队
Last Week in AI
Last Week in AI
A
About on SuperTechFans
雷峰网
雷峰网
MongoDB | Blog
MongoDB | Blog
Microsoft Azure Blog
Microsoft Azure Blog
M
MIT News - Artificial intelligence
Martin Fowler
Martin Fowler
J
Java Code Geeks
B
Blog RSS Feed
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
G
Google Developers Blog
F
Fortinet All Blogs

博客园 - LarkMidTable

前端微信群 LarkMidTable 2026年2月份 修改的bug记录 Doris的单机安装 1.vue的简介及常用指令 镜像源参考和使用 Langchain调用LLM Langchain的监控工具 Langchain的底层原理 Langchain是什么? 3.AI大模型私有化部署和微调 1.AI 大模型的基本概念 AI Agent的概述 一: AI 的一些基本概念 DockerInsight 数据中台整体规划与建设方案 Flink读取Kafka数据下沉到HDFS 兄弟,干了这杯Flink SQL !!! 电商 实时数仓 简易架构图 美团 基于Flink 实时数仓 概述
2.AI大模型项目实战
LarkMidTable · 2025-02-10 · via 博客园 - LarkMidTable

1.开源大模型

LLama3: Meta、Deepseek: 深度求索、Qwen:通义千问、GLM-4:智谱AI

2.大语言模型私有化部署硬件要求

 设备管理器--->显示适配器(英伟达的显卡)

模型微调就是小规模的训练模型

3.模型的网站

modelscope.cn/models

https://www.datalearner.com/

4.规划和计算显存的大小

例如: glm-4-9b-chat

其中4为版本,9b指90亿参数

9*10^9*2(字节数)/1024/1024/1024 得到显存的大小

或者直接看模型文件的大小,加起来

使用算力云,腾讯云,阿里云进行操作。

跑的时候需要将所有的文件加载到显存,nvdia-smi