4
大众 AI 可以用小模型,上下文可以尽量短,可以各种压缩,用户也不可能一刻不停的询问
Coding 必须用领先模型,必须搞足够大上下文,必须有足够多 KVCache ,而且 Agent 相当于自主循环,你一个回车下去,对话要跑几十上百轮,吞吐量和普通聊天完全不一个量级。
此内容由惯性聚合(RSS阅读器)自动聚合整理,仅供阅读参考。 原文来自 — 版权归原作者所有。