7
PRO
生产级别的主流开源推理框架有 tgi vllm sglang tensorrt-llm lmdeploy ，这些框架都支持直接启动 openai compatible 的 http server ，后面可以接 rag 或者那种 chatbot gui 来调 api ，性能和兼容性略有不同vllm 支持的模型应该是最多，trt-llm/sglang 性能更好自己部署着玩可以用 ollama
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。
