惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

博客园_首页
H
Help Net Security
N
Netflix TechBlog - Medium
Apple Machine Learning Research
Apple Machine Learning Research
P
Proofpoint News Feed
A
About on SuperTechFans
V
V2EX
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
宝玉的分享
宝玉的分享
aimingoo的专栏
aimingoo的专栏
F
Fortinet All Blogs
博客园 - 【当耐特】
Microsoft Security Blog
Microsoft Security Blog
Martin Fowler
Martin Fowler
I
InfoQ
Google DeepMind News
Google DeepMind News
人人都是产品经理
人人都是产品经理
Engineering at Meta
Engineering at Meta
腾讯CDC
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
B
Blog RSS Feed
U
Unit 42
The Cloudflare Blog
Y
Y Combinator Blog

博客园 - LarkMidTable

前端微信群 LarkMidTable 2026年2月份 修改的bug记录 Doris的单机安装 1.vue的简介及常用指令 镜像源参考和使用 Langchain调用LLM Langchain的监控工具 Langchain的底层原理 Langchain是什么? 3.AI大模型私有化部署和微调 1.AI 大模型的基本概念 AI Agent的概述 一: AI 的一些基本概念 DockerInsight 数据中台整体规划与建设方案 Flink读取Kafka数据下沉到HDFS 兄弟,干了这杯Flink SQL !!! 电商 实时数仓 简易架构图 美团 基于Flink 实时数仓 概述
2.AI大模型项目实战
LarkMidTable · 2025-02-10 · via 博客园 - LarkMidTable

1.开源大模型

LLama3: Meta、Deepseek: 深度求索、Qwen:通义千问、GLM-4:智谱AI

2.大语言模型私有化部署硬件要求

 设备管理器--->显示适配器(英伟达的显卡)

模型微调就是小规模的训练模型

3.模型的网站

modelscope.cn/models

https://www.datalearner.com/

4.规划和计算显存的大小

例如: glm-4-9b-chat

其中4为版本,9b指90亿参数

9*10^9*2(字节数)/1024/1024/1024 得到显存的大小

或者直接看模型文件的大小,加起来

使用算力云,腾讯云,阿里云进行操作。

跑的时候需要将所有的文件加载到显存,nvdia-smi