Kthena v0.4.0 现已正式发布，进一步简化大语言模型（LLM）工作负载的管理，为你的 AI 基础设施赋能。 Kthena 是一个专为 Kubernetes 设计的云原生、高性能 LLM 推理路由和编排、调度系统。它旨在解决在生产环境中大规模编排、部署和服务 LLM 所面临的核心挑战，通过其独特的超节点拓扑感知的亲和性调度，KV Cache 感知的...