本文已被查看 10808 次

Wilson (42865)发表于 2023年08月11日 14时08分 星期五

来自繁星若尘

今天的大模型主要用英伟达的 GPU 训练，但让英伟达一家独大对整个生态系统并不是好事。MLC（Machine learning compilation） 项目正致力于在 AMD GPU 上编译和部署大模型，实现与英伟达 GPU 相当的性能。相对于英伟达深耕了近二十年的 CUDA 软件生态系统，AMD GPU 最大问题在于软件支持，它正通过投资 ROCm 缩小与英伟达的差距。MLC 是一项新兴技术，旨在编译和自动优化机器学习工作负载。它不会为每个后端如 ROCm 或 CUDA 构造特定的内核，而是自动为不同后端生成代码。开发者称，MLC-LLM 方案在 AMD RX 7900 XTX 上的性能达到了英伟达 GeForce RTX 4090 的八成，而 7900 XTX 的价格只有 RTX 4090 的六成。

https://blog.mlc.ai/2023/08/09/Making-AMD-GPUs-competitive-for-LLM-inference