@gigishy 不用量化版本，有那么多资源？而且，量化技术，实际上损耗很低了。unsloth 的动态量化 8bit 可以达到 95%+ FP16 的效果。

OP 这个问题，主要是：
1 ，deepseek 70B,已经很落后了。
2 ，OP 的问题，知识库里没有，还要联网搜索。

不过，我看情况猜，大概率是用的 没有动态量化的普通量化版本，而且还是类似于 2~4bit 之间的。