BentoML 发布了大模型开放平台 OpenLLM，采用 Apache-2.0 许可证，允许用户在云端或本地（对硬件有高要求）部署和运行任何开源大模型，构建 AI 应用。OpenLLM 支持的开源大模型包括了 StableLM、Falcon、Dolly、Flan-T5、ChatGLM 和 StarCoder 等。不同模型对硬件有不同的需求，举例来说，有 400 亿参数的 Falcon 40b 模型需要英伟达 48GB 显存的 A100 专业显卡。开发者表示他们正在开发微调功能，预计会很快释出。
https://github.com/bentoml/OpenLLM
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。