惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

H
Help Net Security
宝玉的分享
宝玉的分享
The Cloudflare Blog
Apple Machine Learning Research
Apple Machine Learning Research
V
Visual Studio Blog
Last Week in AI
Last Week in AI
Hugging Face - Blog
Hugging Face - Blog
博客园 - 司徒正美
博客园 - 三生石上(FineUI控件)
A
About on SuperTechFans
MyScale Blog
MyScale Blog
aimingoo的专栏
aimingoo的专栏
Microsoft Security Blog
Microsoft Security Blog
D
Docker
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
Recent Announcements
Recent Announcements
大猫的无限游戏
大猫的无限游戏
IT之家
IT之家
P
Proofpoint News Feed
L
LangChain Blog
Blog — PlanetScale
Blog — PlanetScale
The GitHub Blog
The GitHub Blog
博客园 - 【当耐特】
Martin Fowler
Martin Fowler

V2EX

我用 AI 写代码,但终端管理反而成了累赘——于是我做了 codux [调研] 各位在公司都用什么 ide 和 agent 写代码? 老运维 share 一个运维平台 看到有公司考核 token 指标,很好奇大家上个月的 AI 账单是多少 GLM-Coding 调用持续报错: z.ai 的 Lite 套餐几乎无法使用,官方 Pro/Max 是否稳定? 现在还有什么渠道可以稳定安全地使用 Claude 吗? 上海漕河泾内推,本组有 2 个 hc,一个后端,一个前端,预算都是 20k 左右,不打卡,氛围好 如果 V2EX 上有一组不永久保存聊天记录(比如只保存 7 天或者 24 小时)的聊天室,那么会开启哪些有用或者有趣的可能? gemini cli 貌似挂了,一直返回 403 第一次在自媒体上赚到钱 收集了最近在使用的低价 GPT, Gemini,邮箱等 AI 会员的小店合集 讨论个大实话:现在企业还在说 AI 编程提效 20%, 30%的,真的太落后,没用懂 AI。因为包括很多前沿公司,已经狂奔到提效 200%-500%的情况 [招聘][远程][币安] 前端/后端/QA/iOS/Android 至少 3 年以上经验 目前有大量 HC 欢迎投递 Chatgpt Pro 用量用不完的可以开这些设置 面试的时候好像遇到钓鱼了,给各位避个坑 cursor 年续费 22 号到期, 自动续费是否还是老的计次套餐呢 被两件破事毁掉的一下午,琐碎的内耗消磨人的精力 使用 Planet 存储 Codex 的会话或者重要信息 如果业务部门领导不要你开发功能,而是要求你教会它用 claude code 开发功能,你会怎么做? 分享一个 MacOS 接绿联 CM818 USB 转 DP 转接器使用感受 我的 HR 朋友 10 年老 Java ,非全大专,大家帮忙看看简历 开源了一个 AI 口语练习工具,音素级发音评分,完全免费可自部署 V2EX 上有哪些你觉得很有趣、印象深刻的妹纸? 字节为啥不出个国内版 Vercel? 有在大马的朋友吗? 问个运营商问题 你们在有领导的公司大群发过的最大胆的消息是什么 公司裁员,目前没有工作。想试试摆摊,做一个移动鲜啤打酒车 我的硬盘 Memblaze Pblaze 5 Linux 下不识别,给 Linux 内核提交了补丁, AI 说有望被合并 只有我一个人觉得 codex 不好用?
Agentank 李尔,一个 18k 参数的蒸馏模型如何逼近头部选手,...
kuhung · 2026-05-19 · via V2EX

与前排选手🛡️的思路不同,我一开始也丢给了大模型来出策略,但发现策略并不完备且及其消耗 token ,加上我本身的背景是算法,也划水过几次 luxai 的比赛,见识过模仿学习和强化学习在游戏 Agent 所发挥的作用,所以我的策略是让模型退居二线,目标是开发一套可迭代的机器学习模型,或者说当下时髦的说法:蒸馏一套模型。

简单来说,就是不断学习击败我的选手,蒸馏它们的策略,让模型权重来拟合头部,而不是反复丢 bad case 给 LLM 来做细微的改动。当然,初始化的时候,用的就是大模型那版。模拟了数万次可能的行径,然后加上线上的失败案例,做一个模仿学习。

但由于我们线上能发布的是 js ,无法加载机器学习模型,我提交的是一个数组矩阵,整体文件在 100-200k 左右。这种背景下,NN 的上限其实是被约束了的。你无法构造一个强力的 Unet 模型,来拟合所有击败你的对手,只能说是近似精度。

另外,有个策略至关重要:Action mask 。面对一些 base case ,我没有写规则要求坦克怎么走,而是不要怎么做。屏蔽掉可能导致 game over 的动作,剩下的采用模型输出的动作。这个经验,在模仿学习、强化学习的案例中,都十分重要,能带来显著提升。(这和调教大模型,也是一个道理:告诉 LLM 不要做什么,胜过告诉它应该做什么。)

整个过程,还是用到了大模型。我这里混用了 codex gpt5.5 和 cursor 里面的 opus4.6 以及 gemini3.1pro 。大模型在这里扮演的角色是:数据处理和编排整个训练流程。Action mask 也是大模型来写了,我负责观测极端不应该的行为,引导模型给出抽象的、不过拟合的 mask 。

结论:如大家所见,模仿学习这种蒸馏做法,是有用的。我的最好轮次,能击败前 50 名中的大概 23 位。能站在王者局一段时间。但同样,这个方式也有不足:前排有眩晕技能的并不多,模型拟合出来的结果就是不怎么使用技能。而技能往往某些场合决定了成败。另外就是:模仿只能逼近,无法超越

目前我线上这版 v84 ,采用 49 维特征、近万场对战、230 万帧样本,5 层 MLP ,合计约 18k 参数。欢迎 v 友切磋: https://agentank.ai/share/tanks/tnk_Ebeq1eaaD7VHteiXT

以上抛砖引玉,感谢各位阅读。