惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

云风的 BLOG
云风的 BLOG
The GitHub Blog
The GitHub Blog
Y
Y Combinator Blog
博客园 - 三生石上(FineUI控件)
T
The Blog of Author Tim Ferriss
宝玉的分享
宝玉的分享
Hugging Face - Blog
Hugging Face - Blog
WordPress大学
WordPress大学
V
Visual Studio Blog
小众软件
小众软件
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
MongoDB | Blog
MongoDB | Blog
V
V2EX
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
博客园 - 【当耐特】
Microsoft Azure Blog
Microsoft Azure Blog
The Cloudflare Blog
H
Hackread – Cybersecurity News, Data Breaches, AI and More
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
Engineering at Meta
Engineering at Meta
L
LangChain Blog
Martin Fowler
Martin Fowler
GbyAI
GbyAI
博客园 - 司徒正美

NVIDIA

矿工视角看现在的英伟达 5090 显卡求租 去年 H200 能买,不让买是代替快出来了? 为什么没有 5090 48g,只有 4090 48g?有没有懂行的朋友解惑一下 4090 置换 5090,我花了 2400 支持 DLSS 4.5 的新驱动 591.74 美国解禁了 H200 显卡,那 5090 后面会不会同步销售了呢 NVIDIA 对于消费级显卡的虚拟化限制普遍吗? nvidia 显卡驱动新版不支持旧版 win10(DCH 之类的原因),有没有办法强制安装? 5090 现在买合适吗? 黄仁勋:我总感觉公司快要倒闭了 老黄刀法在出新招,入门显卡置增加 RTX5050。 30、40、50 系 N 卡多场景掉驱动黑屏, nvlddmkm 153/13/14 错误 https://developer.nvidia.com/崩溃了 Nvidia cuda 网站打不开了,老黄不让用了吗? 弱弱的问下, UI 作图的用亮机卡和 3050、4050 这些有体验上的区别? 抖音有一张卷 5000-1000 看到一张 4299 的 5070 这个价格怎么样 抢到了 2 张 5060, 现在个渠道适合买 5090/5090d 换显卡后有些支持的分辨率消失了。。郁闷 英伟达发布 DGX Spark 和 DGX Station 两款个人 AI 计算机 下个月 5060 就要发售了,大家会买吗? 5090 买哪个品牌合适? NVIDIA 升级了显卡驱动后 system 进程总有 10%的占用 现在 2000 以内的预算,买啥 N 卡跑 AI 最划算?主要是测试各种 AI 相关的软件,大模型也会试试。 NVLink 对显卡集群的影响有多大? 以前 NVIDIA 两代间的显卡有像 4080->5080 提升幅度这么小(综合看只有 10%)的吗? 5080 性价比真的非常低吗?最近制作游戏想升级下显卡, 4080 还是 5080 更值 各位老哥们,日本在哪个地方或者哪些网站可以预定 50 系显卡呢? 在各国的佬们, 问下你们各自的 5090&5080 消费零售价格 从 GTX1080 到 RTX5090,性价比、性耗比变化曲线图
怎样通过接口方式对 GPU 进行 MIG 切分?
mayooot · 2024-03-30 · via NVIDIA

服务器上有 8 张 A100 显卡,想要进行 MIG 切分成 8 张卡,使用 `nvidia-smi mig` 命令可以进行切分,但是操作挺复杂的。
我之前的开源项目 [gpu-docker-api]( https://github.com/mayooot/gpu-docker-api) ,它暴露 API 使用户可以简单的创建容器、更新容器 GPU 数量、版本控制等功能。
之前为了简单考虑,创建容器时只能指定卡数,现在想要加一个指定虚拟化后的 GPU 功能,其实对于 docker 命令来说,就是将 `docker run --gpus='"device=1,2"'` 换成 `docker run --gpus '"device=0:1"'`,我的项目加入这个功能也很简单。
因为我的项目定位主要是方便一些大学实验室里的学习,他们对 Docker 、nvdia-smi 命令都不太熟悉,所以我想在项目里加入 “通过接口切分 GPU” 的功能。在 GitHub 上寻找时,mig-parted 项目好像只能切分主机的所有 GPU ,不然单个切割。
除了使用 Golang 执行 shell 命令以外,大佬们有什么好的思路么?