单台机内 nvlink
跨机器 RDMA 呗

网络并不是对等的, nvlink 带宽和延迟肯定都要好于网络, 所以尽量把 all-to-all 的通信放单个 node 内（比如 TP ）
跨 node 通信也需要深度的优化，通过各种 pipeline overlapped 来隐藏延迟

不是搞这个的，仅仅是个人粗浅的理解

@ptstone #3 gpu 是 smx 的，单节点内 nvlink 没问题，但集群的话，按 1 楼哥 @makictos 说的那样 那个是专用卡？然后走 rdma （ ib 或 rocev2 ）。

刚问了下 Gemini ，大概意思服务器安装网卡驱动
ib 的话：需要在一个节点上运行 Subnet Manager (OpenSM) 来管理网络拓扑和分配 LID ，就没了
RoCEv2 的话：配上 ip ，还要优化网络，然后是主机这边 rdma 相关的配置

这么看下来，加上现在有 AI 的辅助，gpu 服务器的集群的部署也没很难？😂

LLM 多机多卡分布式并行推理的话，infra 上的优化总是有限度的，还得是 架构优化，kvcache 量化，pd 分离，虽然都是老生常谈，但是真的必须得用。

要是 pipeline 串行推理，那非常简单明了，10G 以太网都能搞。

glm5.1 Q8-k-xl,811G ,2 个 m3 mac studio ultra 512G 通过 雷电口串起来跑 pipeline ，也是能跑的。就是慢罢了。

amd 2023 年出的 mi300x,单卡都 192G hbm3 ，一机 8 卡，也有 1.5T ，现在开源的量化都能单机塞进去。
就不用说 2024 年出的 mi325x ，单卡 256G hbm3e ，一机 8 卡，2T ，开源的 BF16 都能塞进去，还有 context 空间。

所以，多机多卡分布式并行推理，在这些大船靠岸的时候，都是过去时了。只是，当下，对于市面上的穷人来说，还是有用的。或许，工程学术上还能水一点文章。

@makictos #20 训练多大参数的模型呢？有这个训练需求的，单卡早超过了 128G 。全世界不会超过 10 家，这 10 家的 infra 技术，和，你，我，他，有什么关系？你，我，他，会不会，懂不懂，又有什么关系？

你的观点是工程学术理论极限，但是学界也没有条件搞这个级别的集群的工程技术创新，普罗大众也接触不到。能研究这个极限的，也就大厂的那些个有条件接触超大集群 infra 的工程师。理论极限，我当然懂。我每天都看最新研究论文。

我的观点是，多机多卡分布式并行推理，就算是攒了一些低端卡，凑个 40G 网络的普通玩家来说，也是个鸡肋技术。不要说训练，多机多卡分布式并行训练，虽然起码理论上来说，我懂，但是我也没实践过，没条件。但是，并不是说，每个人从理论上都懂的。

@makictos #21 你讲的对我来说有点高深，什么 nvl ，什么多卡拆分，我不太了解这些，我知道你有东西，第一条回复就能看出来😁

这么说吧，比如我想在企业内网跑一个大模型，供内部使用，要企业级的方案，最开始肯定是确认需求算力、并发、吞吐量、显存大小，再选型 GPU ，硬件到货了再给他组起来。

假设吧，比如是有 8 台 SXM 版的 GPU 服务器，每台是 8 卡 H200 ，那首先要把硬件连接起来，怎么连呢，然后再部署 ds v4 的大模型，提供 api 接口给业务用。

我想了解下怎么开展这项工作，有没有文章可以看的，想学习了解一下，我个人是做云计算方面的，未来 GPU 价格如果下来了，企业内网有需求的都会这么玩吧

软件层面可能企业中有 GPU 云平台这种东西，能直接纳管 GPU 服务器，然后平台能直接部署大模型，还带监控、运维管理啥的（我按云计算的的思想，猜的，就像 esxi 这种厂家，到时部署大模型给业务用就像发个虚拟机一样简单），先不考虑这种的

@makictos #24 味儿太浓，你要是能不这么端着交流，我还能高看你一眼。但是你这装的，处处感觉自己屌人一筹。讲真，LLM 这波还能走多远都是个问题，行家都知道 LLM 根本没有什么搞头。你也就是在这波泡沫里游荡一回罢了。底层这点工程技术，早就没什么新鲜东西。而且我都没问你，你解答个什么？你给 OP 回复就行了，并且你回复的也不是我不懂的东西嘛。讲了和没讲一样，谁不知道 nvlink?

一开始是无所谓冒犯不冒犯的，但是你后面这两个回复，确实味儿太冲，熏到哥们儿了。但是我理解你孤芳自赏的内心，我原谅你。