2
calendar (calendar) 3
不是量化过的吗？本地 5w 能下来中转站应该都起飞了吧 
yeahhe (Mozi)
4
是不是就等公益站上线了，
后续再出个 linux 版本，
neoone 6
这个优化的思路非常牛啊，定制硬件上的算法优化设定。
这个真的无敌了，要是还能进一步压缩成本，真的可以不用被各大厂商卡token了
redis之父出品，必须顶下，第二个被惊艳到的C代码（第一是nginx） 
tylorgao (tylorgao) 9
啥时候能出个linux版，让我们也本地部署下。要么要去买个二手的m3 max了。
针对特定模型定制化推理框架，可以用更少资源获得更好的表现。
刚才AI了一下，好像汽车产业有的就是自己定制的推理模型，感觉后续软件行业除了 vllm 这种通用的推理框架外，会越来越多针对特定模型定制的推理框架出现。
GoTop (GoTop) 11
5w快只能用v4 flash，而且机子还会很卡？
感觉还是api方便
但是如何原先就有5w的机子的话，这个项目就很好了
bandaot (chat01.ai) 13
标题有问题，不是只能在 MacOS 上，而是只能在大内存 M 芯片的 Mac 上
zyzy 14
amd 似乎也有统一内存的产品吧？
diroverflow (diroverflow) 15
128G内存只能勉强用，推荐256G内存的硬件