twlsoft (十六夜咲夜) 1
例如A
和奥特曼他们，有时候模型变笨了，是通过什么方式实现的？
是可以通过“热部署”的方式，临时修改一下配置参数，把正在用的模型的能力降低？
还是说通过路由的方式，打到了一些残血模型上面？
Fumizuki (文月) 2
直接路由，比较方便，中转站都随便搞，源头肯定更简单
dhxiaolong (dhxiaolong) 3
个人觉得就是路由到普通模型上了，应该是根据IP来判断的
var (adminstrator) 4
降智是表现，起因是降成本，过程是模型量化和蒸馏小模型，这个过程中小模型没办法既和大模型一样性能，成本又低
小的模型表现出来的就是降智
yunfeng123 (云峰) 5
你的猜测其实也不是没有道理，调参降低推理能力这是绝对可以做到的而且绝对有服务商在做，再就是上下文压缩，截断思考链路等等，大多数服务商在应对高峰期，有些手段可以说很脏
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。