Google 本周二在预印本平台 arXiv 上发表论文，介绍了它的第四代 TPU（Tensor Processing Unit）处理器。TPU 是 Google 专用于训练 AI 的定制处理器，每个 TPUv4 包含两个 TensorCores（TC），每个 TC 包含四个 128x128 矩阵乘法单元（MXU）和一个矢量处理单元(VPU)，使用 128 条通道（每通道 16 ALU）和一个 16MB 的 矢量存储器（VMEM）。Google 自己的测试显示，它的 TPUv4 相对于英伟达的 A100 更快更环保（能耗更低）。A100 是英伟达上一代的数据中心 GPU，它最新一代的产品是 H100，Google 研究人员没有对比 TPUv4 和 H100，因为 H100 是在 TPUv4 之后推出的。与英伟达的产品不同的是，Google TPU 不对外销售，公开 TPUv4 的一个目的可能是为了宣传该公司的云端 TPU 服务。

https://arxiv.org/abs/2304.01433
https://hardware.slashdot.org/story/23/04/05/1848255/google-says-its-ai-supercomputer-is-faster-greener-than-nvidia-a100-chip