惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

T
Troy Hunt's Blog
Last Week in AI
Last Week in AI
D
DataBreaches.Net
大猫的无限游戏
大猫的无限游戏
Hugging Face - Blog
Hugging Face - Blog
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
Cyberwarzone
Cyberwarzone
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
WordPress大学
WordPress大学
Cisco Talos Blog
Cisco Talos Blog
Latest news
Latest news
月光博客
月光博客
博客园 - 司徒正美
C
CERT Recently Published Vulnerability Notes
L
LangChain Blog
Simon Willison's Weblog
Simon Willison's Weblog
The Register - Security
The Register - Security
T
The Blog of Author Tim Ferriss
V
V2EX
F
Fortinet All Blogs
AWS News Blog
AWS News Blog
T
Tor Project blog
V
Vulnerabilities – Threatpost
C
CXSECURITY Database RSS Feed - CXSecurity.com
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
小众软件
小众软件
L
Lohrmann on Cybersecurity
量子位
F
Full Disclosure
H
Hackread – Cybersecurity News, Data Breaches, AI and More
I
Intezer
NISL@THU
NISL@THU
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
Jina AI
Jina AI
Scott Helme
Scott Helme
D
Darknet – Hacking Tools, Hacker News & Cyber Security
C
Cybersecurity and Infrastructure Security Agency CISA
C
Cyber Attacks, Cyber Crime and Cyber Security
博客园 - 三生石上(FineUI控件)
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
Spread Privacy
Spread Privacy
N
Netflix TechBlog - Medium
P
Proofpoint News Feed
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
博客园_首页
P
Privacy & Cybersecurity Law Blog
T
Threat Research - Cisco Blogs
J
Java Code Geeks
S
Schneier on Security

博客园 - lodestar

一张图掌握数据存储 使用xtrabackup实现mysql定时热备份 开发篇1:使用原生api和Langchain调用大模型 预热篇2:从RNN到Transformmer macbook安装scala、hadoop、saprk环境 centos6.5 squid安装 一次linux服务器黑客入侵后处理 linux上搭建svn服务器 Windows系统下Oracle每天自动备份 android中listView的几点总结 使用template method模式简化android列表页面 andorid进度条使用 andorid定时器应用 - lodestar Android网络应用(第一部分) - lodestar 错误数据导致java.lang.IllegalArgumentException:Unsupported configuration attributes 使用ACEGI搭建权限系统:第三部分 acegi安全框架使用:第二部分 使用ACEGI实现权限控制,第一部分 ajax实现用户名存在校验
预热篇1:大模型训练显卡选型
lodestar · 2023-11-11 · via 博客园 - lodestar

AI模型训练主要使用GPU的算力,GPU,显卡这些知识大家都懂的,还是简单说一下GPU吧:GPU是显卡的核心部分,GPU承担着与 CPU 不同的定位和功能,芯片设计思路也完全不同,GPU Core 小而且多,它不承担系统管理、调度的功能,完全专注于使用(大量的)小核心并行化地执行运算。

GPU的几个主要用途:

1、处理图形渲染,包括游戏、视频和动画。

2、加速通用计算,如深度学习、科学模拟等。

3、高度并行处理,适用于大规模数据处理和处理密集型任务。

这里我们把NVIDIA显示芯片的显卡称为N卡,而将采用AMD显示芯片的显卡称为A卡,这两种显卡是目前的主流

Nvidia有个很有名次的编程框架CUDA,但是记住CUDA Core是商业营销概念,不能单纯用 CUDA Core的数量比较显卡性能

Nvidia 中大名鼎鼎的就是A100了,下面看看A100的架构

128个SM(流式多处理器)

 

流式多处理器包含TensorCore,TensorCore专门用于AI需要的矩阵运算

再探谈国产的华为昇腾AI芯片

 

华为昇腾AI芯片采用自研达芬奇架构,集成了2个AI Core,是昇腾AI芯片的计算核心,主要负责执行矩阵, 向量, 标量计算密集的算子任务,华为昇腾AI芯片对TensorFlow、PyTorch这些深度学习框架都支持。

就应用场景来说,升腾910主要被用于较小规模的AI任务,如人脸识别、图像分类和目标检测,适合嵌入式设备或中小规模的数据中心。支持国产,过几天会整理国产大模型ChatGLM,在升腾910上的部署、推理和训练的文章。

英伟达A100主要被用于大规模的数据中心和企业级应用,如机器学习、人工智能和深度学习等方面的高强度计算。它可以处理大规模的数据集,提供更高的能力和对多任务并发工作负载的支持。