1

是有动画效果的，星星会明暗，上下左右还有钻石闪烁效果，不太明显
日期，月相跟着时间会变

3

@Seanfuck 目前 128 ，256 也试过，llamacpp 的后端，开始都是快的，多轮会话，kv-cache 累计推理感觉就慢了

4

看着效果还凑合，一般任务应该够用

5

3.6 进步挺大的

6

1

7

主要是 localLLM 强大之后，Agent 玩法才真正的被盘活。
隐私/便利的鱼熊悖论也就被打破了。

9

好厉害，能不能做成 API 卖钱

10

为啥我用 windows 的 lm studio 跑这个模型，又慢又蠢? 4090D + 32g 内存

11

@mgsv2047 我这是公司的 a100 ，设备不行吧，还得是专业卡，35b 的那个专家模型，能跑 120t/s

12

a100……门槛还是太高了。

13

@evan1 我不知道啊，80g 的，咸鱼问的 5w 不到，2 块 5090 ？算力翻倍至少吧

14

为啥都在用钟表、天气来测试？

15

@furlxy 因为那个二叉树，很简单就过了，这个至少有点工作场景，写后端更没问题，比前端还快，毕竟不用调样式

16

vscode 上有没有好用的连接本地模型的插件？

18

@sentinelK mac 速度也慢，只能能加载大模型，显存带宽制约的，a100 。1.8t ，mac 只有 700g 好像

21

@sentinelK 就是 llamacpp 跑的，fiton ，显存不够，cpu 卸载，a100 可以全部加载到显卡的，不需要，其次开启 q4 kv-cache 量化后，能跑更多并发，更省显存

22

这个不算小模型了吧，活跃参数量比 qwen3-235b 都大~

23

@kenpuluma 确实，表达的意思就是，开源本地模型发展超预期，本地搭建不再是玩具。评测赶上了 opus 4.5

24

@darrh00 #16 vscode 上用 unify chat provider 插件接自定义模型体验不错

25

Trae 是怎么链接本地 LLM 的？我看免费版都不能指定本地模型了

26

Qwen3.6 A35B-A3B 4bit 在我的 3090 下运行也飞快啊

29

@stefwoo 这回的 27B 每次执行都是 27B 满参数，所以比 35B A3B 运行速度更慢，但是智商评分更高。

30

@sentinelK #6 Gemma4 和 Qwen3.6 明显把本地模型的水平抬高了一档。另外 Qwen3.6 整个系列感觉进步明显。

31

qwen3.6 大模型是拉了，没想到小模型这个给力。

34

@peyppicp 搜一下，配置里面找到模型，类型 openai ，然后自定义模型就可以配置本地了，窗口操作，不需要什么 config 文件

36

佬，试试 Gemma4 26B-A4B 效果如何呢

37

1

@jerseyhero 早些试过，工具调用标签自成一派，神经病一样，agent 兼容不了，后面发布 qwen3.6 27b ，看模型评测，完全吊打，不想碰了

38

这个可以直接文生图？

40

1

@jerseyhero 很拉，本地炼丹最强的就是 qwen 几个中小模型了，DeepSeek 3.2 API 也不错，白菜价炼丹。

42

@germain 真的，现在的小模型不是玩具，花了两晚上，把 vue 的前端项目，40+的页面，用 svelte ，qwen3.6 完美重构

44

@zsj1029 一年前这种根本不敢想（太拉跨），现在已经是现实了。这种感觉就好像我这里标准泳池每年开池全部换新水不心疼，因为自来水不要钱一样😂

47

在 mac 上也跑过这个模型 Q4K_M 量化版，用 qwen CLI 搞个赛车游戏 ，速度比较慢，但是结果还是可以的，需求的理解基本上没有偏差

48

@goodryb 嗯我跑的也是量化，模型加 kv-cache 双量化，不然显存吃不住，输出也慢

49

50

@simo 带宽一定要高，2t 的话，130t/s 按比例换算就好了

51

@zsj1029 #11 应该没优化参数吧，我在 5080 上跑 35b-a3b 这个，显存只够加载一部分层，速度有 40t/s

52

5090 27B ，vllm 峰值 120 tok/s, 平均 85 tok/s 上下

54

楼上各位有没有兴趣基于 vibe coding 帮我开发点程序? 主要是小型的进销存/单证/CRM 系统? 有意者可以加我 ID 微信, 也算可以给你们回点血.

55

58

我拿了两张 H20 141G 跑这个，是不是有点奢侈了😂

60

我尝试了上面哥们发的投机推理的配置，py3.13 ，直接报错，又回退了，好像是两张卡通信有 bug ，互相询问不到对方剩的 vram

61

@nasmatic 刚试了可以的，速度提升三倍了，多卡不知道是不是需要 nvlink ，我是单卡没问题的

62

vllm serve \
/models/qwen3.6-27b-int4-autoround \
--max-model-len 131072 \
--kv-cache-dtype fp8_e5m2 \
--reasoning-parser qwen3 \
--max-num-seqs 3 \
--served-model-name Qwen3.6-35B-A3B-UD-Q4_K_M.gguf \
--quantization auto-round \
--enable-auto-tool-choice \
--max-num-batched-tokens 8192 \
--tool-call-parser qwen3_xml \
--enable-prefix-caching \
--trust-remote-code \
--speculative-config '{"method":"mtp","num_speculative_tokens":2}' \
--tool-call-parser qwen3_coder \
--gpu-memory-utilization 0.88 \
--dtype half \
--host 0.0.0.0 \
--port 8011