惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
腾讯CDC
V
V2EX
博客园 - 【当耐特】
Spread Privacy
Spread Privacy
D
DataBreaches.Net
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
Application and Cybersecurity Blog
Application and Cybersecurity Blog
S
Schneier on Security
博客园 - 叶小钗
T
The Exploit Database - CXSecurity.com
Scott Helme
Scott Helme
L
Lohrmann on Cybersecurity
酷 壳 – CoolShell
酷 壳 – CoolShell
Microsoft Azure Blog
Microsoft Azure Blog
IT之家
IT之家
Know Your Adversary
Know Your Adversary
The Hacker News
The Hacker News
宝玉的分享
宝玉的分享
Apple Machine Learning Research
Apple Machine Learning Research
月光博客
月光博客
博客园 - 三生石上(FineUI控件)
T
Tor Project blog
C
Cyber Attacks, Cyber Crime and Cyber Security
The Cloudflare Blog
云风的 BLOG
云风的 BLOG
S
Secure Thoughts
博客园 - 司徒正美
Attack and Defense Labs
Attack and Defense Labs
cs.CV updates on arXiv.org
cs.CV updates on arXiv.org
H
Hackread – Cybersecurity News, Data Breaches, AI and More
T
Troy Hunt's Blog
C
Cybersecurity and Infrastructure Security Agency CISA
小众软件
小众软件
Simon Willison's Weblog
Simon Willison's Weblog
大猫的无限游戏
大猫的无限游戏
I
InfoQ
P
Privacy & Cybersecurity Law Blog
T
Threatpost
L
LINUX DO - 最新话题
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
AI
AI
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
P
Privacy International News Feed
C
Check Point Blog
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
T
Threat Research - Cisco Blogs
K
KPMG report finds enterprise disconnect between AI and its ROI | CIO
Webroot Blog
Webroot Blog
Security Archives - TechRepublic
Security Archives - TechRepublic

Agili 的 Hacker Podcast

Agili 的 Hacker Podcast 2026-07-25 Agili 的 Hacker Podcast 2026-07-24 Agili 的 Hacker Podcast 2026-07-23 Agili 的 Hacker Podcast 2026-07-22 Agili 的 Hacker Podcast 2026-07-21 Agili 的 Hacker Podcast 2026-07-20 Agili 的 Hacker Podcast 2026-07-19 Agili 的 Hacker Podcast 2026-07-18 Agili 的 Hacker Podcast 2026-07-17 Agili 的 Hacker Podcast 2026-07-16 Agili 的 Hacker Podcast 2026-07-15 Agili 的 Hacker Podcast 2026-07-14 Agili 的 Hacker Podcast 2026-07-13 Agili 的 Hacker Podcast 2026-07-12 Agili 的 Hacker Podcast 2026-07-11 Agili 的 Hacker Podcast 2026-07-10 Agili 的 Hacker Podcast 2026-07-09 Agili 的 Hacker Podcast 2026-07-08 Agili 的 Hacker Podcast 2026-07-07 Agili 的 Hacker Podcast 2026-07-04 Agili 的 Hacker Podcast 2026-07-06 Agili 的 Hacker Podcast 2026-07-05 Agili 的 Hacker Podcast 2026-07-03 Agili 的 Hacker Podcast 2026-07-02 Agili 的 Hacker Podcast 2026-07-01 Agili 的 Hacker Podcast 2026-06-30 Agili 的 Hacker Podcast 2026-06-29 Agili 的 Hacker Podcast 2026-06-28 Agili 的 Hacker Podcast 2026-06-27 Agili 的 Hacker Podcast 2026-06-26 Agili 的 Hacker Podcast 2026-06-25 Agili 的 Hacker Podcast 2026-06-24 Agili 的 Hacker Podcast 2026-06-23 Agili 的 Hacker Podcast 2026-06-22 Agili 的 Hacker Podcast 2026-06-21 Agili 的 Hacker Podcast 2026-06-20 Agili 的 Hacker Podcast 2026-06-19 Agili 的 Hacker Podcast 2026-06-18 Agili 的 Hacker Podcast 2026-06-17 Agili 的 Hacker Podcast 2026-06-16 Agili 的 Hacker Podcast 2026-06-15 Agili 的 Hacker Podcast 2026-06-14 Agili 的 Hacker Podcast 2026-06-13 Agili 的 Hacker Podcast 2026-06-12 Agili 的 Hacker Podcast 2026-06-11 Agili 的 Hacker Podcast 2026-06-10 Agili 的 Hacker Podcast 2026-06-09 Agili 的 Hacker Podcast 2026-06-08 Agili 的 Hacker Podcast 2026-06-07 Agili 的 Hacker Podcast 2026-06-05 Agili 的 Hacker Podcast 2026-06-04 Agili 的 Hacker Podcast 2026-06-03 Agili 的 Hacker Podcast 2026-06-02 Agili 的 Hacker Podcast 2026-06-01 Agili 的 Hacker Podcast 2026-05-31 Agili 的 Hacker Podcast 2026-05-30 Agili 的 Hacker Podcast 2026-05-29 Agili 的 Hacker Podcast 2026-05-28 Agili 的 Hacker Podcast 2026-05-27 Agili 的 Hacker Podcast 2026-05-26 Agili 的 Hacker Podcast 2026-05-25 Agili 的 Hacker Podcast 2026-05-24 Agili 的 Hacker Podcast 2026-05-23 Agili 的 Hacker Podcast 2026-05-22 Agili 的 Hacker Podcast 2026-05-21 Agili 的 Hacker Podcast 2026-05-20 Agili 的 Hacker Podcast 2026-05-19 Agili 的 Hacker Podcast 2026-05-18 Agili 的 Hacker Podcast 2026-05-17 Agili 的 Hacker Podcast 2026-05-16 Agili 的 Hacker Podcast 2026-05-15 Agili 的 Hacker Podcast 2026-05-14 Agili 的 Hacker Podcast 2026-05-13 Agili 的 Hacker Podcast 2026-05-12 Agili 的 Hacker Podcast 2026-05-11 Agili 的 Hacker Podcast 2026-05-10 Agili 的 Hacker Podcast 2026-05-09 Agili 的 Hacker Podcast 2026-05-08 Agili 的 Hacker Podcast 2026-05-07 Agili 的 Hacker Podcast 2026-05-06 Agili 的 Hacker Podcast 2026-05-05 Agili 的 Hacker Podcast 2026-05-04 Agili 的 Hacker Podcast 2026-05-03 Agili 的 Hacker Podcast 2026-05-02 Agili 的 Hacker Podcast 2026-05-01 Agili 的 Hacker Podcast 2026-04-30 Agili 的 Hacker Podcast 2026-04-29 Agili 的 Hacker Podcast 2026-04-28 Agili 的 Hacker Podcast 2026-04-27 Agili 的 Hacker Podcast 2026-04-26 Agili 的 Hacker Podcast 2026-04-25 Agili 的 Hacker Podcast 2026-04-24 Agili 的 Hacker Podcast 2026-04-23 Agili 的 Hacker Podcast 2026-04-22
Agili 的 Hacker Podcast 2026-06-06
Agili 的 Hack · 2026-06-06 · via Agili 的 Hacker Podcast

今日 Agili 的 Hacker Podcast 涵盖技术深处与社会外延:从大语言模型的核心机制拆解,到前现代军队为何而战的框架,再到 AI 开始逆向工程硬件、拯救旧钢琴的那些让人“清醒”的瞬间。S&P 500 拒绝为 SpaceX 修改规则,Google 则每月付 9.2 亿美元租用其计算资源。

LLM 工作原理:从 Token 到概率

“草莓有多少个 r”难题的根源

大语言模型(LLM)的整个运作围绕一个核心目标:预测下一个 token。文章将流程拆解为分词、嵌入、注意力机制到输出采样,解释了为什么现代模型在不同设定下能表现出“精确”或“创意”。一个经典问题是模型数不清单词里的字母——因为模型操作的是 token 而非字母本身。子词分词(如“strawberry”被拆成两个 token)在效率和泛化间取得平衡,也造成了这种表面矛盾。

架构早已收敛,秘密不在图纸上

Transformer 的每一层都在做类似的事:通过查询、键、值让每个 token 参考上下文信息,多头注意力同时捕捉语法和指代关系,前馈网络存储事实性知识。现代前沿模型在架构上已收敛到一套固定方案:旋转位置编码(RoPE)、分组查询注意力(GQA)、RMSNorm 归一化、SwiGLU 激活函数,再搭配可选的混合专家(MoE)。区别在于训练数据、强化学习调优和大规模工程经验。

有评论指出,Transformer 的数学原理与 90 年代的神经网络高度相似,真正的突破来自把中间维度做到“巨大”。而针对文章本身,多位读者感觉行文带有明显 AI 生成痕迹——句子节奏过于整齐,缺乏自然停顿——但仍肯定它是一份面向非数学读者的优质高层综述。

S&P 500 拒绝 SpaceX,OpenAI 和 Anthropic 也被挡在门外

7.5 万亿美元被动资金不会自动买入

S&P Dow Jones Indices 在 6 月 4 日决定不为 SpaceX、OpenAI 和 Anthropic 修改指数纳入规则。SpaceX 曾请求缩短新 IPO 所需的 12 个月“成熟期”、豁免盈利要求,并允许仅约 3% 的流通股上市。S&P 明确拒绝:财务可行性门槛、成熟期和最低流通股比例一律不变。Bloomberg Intelligence 估算,若规则被修改,SpaceX 可获得约 140 亿美元被动买入,OpenAI 超过 80 亿美元,Anthropic 约 46 亿美元——这些资金现在暂时不会到来。

规则一致性的长期价值

许多被动投资者支持这一决定。“希望指数遵循它们一贯的策略,而不是为特定公司开特例。”S&P 500 的盈利筛选规则自诞生起就存在,历史上正因这一门槛,它在 2000 年科技泡沫后的回撤远小于纳斯达克——纳指用了 15 年才恢复,S&P 仅用了 7 年。不过 S&P 对次要指数(如 S&P Total Market Index)做了一项让步:放宽了流通股规则。

AI 公司的财务透明度存疑

SpaceX 目前仍在亏损,债务达 290 亿美元,主要来自 AI 基础设施投入。Morningstar 在 IPO 前将其估值定为 7800 亿美元,不到 SpaceX 自估 1.75 万亿美元的一半。更有读者在 SpaceX 的 S-1 文件中发现一条奇怪的脚注——声明土地不是折旧资产,格式看起来像 ChatGPT 风格的废话。有人因此质疑这些公司是否在用 AI 做账,以及 AI 幻觉会不会影响审计结果。

现代相机镜头修复:一个 0603 元件就能让镜头趴窝

远低于市场价的“损坏”镜头

一位摄影师在 eBay 上以极低价格买到一支 Sigma 45mm f/2.8 镜头,外观完美,但装在相机上后电子控制完全失灵——对焦环、光圈环均无响应。他决定自己动手拆解。

追踪电源路径找到真凶

拆解后,他用万用表沿电源路径追查,发现一个 0603 封装(约 1.6mm × 0.8mm)的表面贴装保险丝已经开路。这个保险丝保护的是 TI TPS62140RGTR 降压转换器。他查阅了 Lumix 相机主板上类似元件的型号,换上 2A 32V 快断保险丝,重新装回后镜头立刻恢复正常。整个过程不到一小时。文章详细分享了识别 SMT 保险丝的方法:PCB 上标有单个字母、两端呈扇贝状端子的电阻外观元件通常是保险丝。

社区中有经验丰富的修理者提醒,这类镜头普遍使用 JIS 十字螺丝,普通 Phillips 螺丝刀极易拧花,需用专用工具。作者感叹写作时间远超修复时间,但乐于把分析过程记录下来供他人学习。

前现代军队为何而战:给世界构建者的框架

社会结构决定军事系统

“没有军队能不在战场上重建其平民社会的结构。”Bret Devereaux 提出,前现代军队是从社会中长出来的,社会的基础结构直接限制了可能的军事系统。构建世界时需要先回答:这是农业社会吗?集权还是分权?贵族是靠土地收租还是靠王室俸禄?农民是自由佃农还是农奴?

四种征募原则

文章区分了四种驱动人们参战的原则:雇佣原则(为钱服役)在前现代极少作为主力,需要强大的财政行政系统支撑,如帝国时期的罗马。权利原则(公民身份附带兵役义务)见于希腊城邦和中世纪城镇民兵——公民享有政治权利,作为交换自备武器服役,逃跑成本极高,因为身份和家庭都绑定在共同体里。职业原则(生来就是战士)分两种:游牧社会的“全民皆兵”无法移植到复杂社会;更常见的是“战士阶级”——贵族用“擅长战斗”来正当化自己的土地财富。依附原则(对上级负有个人义务)在前现代最普遍,士兵因对某位“大人物”的个人忠诚而服役,这种体系几乎必然导致权力分散。

评论区对 Sparta 的讨论很深入:Sparta 建立在庞大的奴隶制之上,军事化是为了镇压奴隶起义,最终因生育率下降和拒绝开放公民权而萎缩。相比之下,Rome 通过不断扩展“罗马人”的定义来补充兵源,因此活得更久。

Google 每月付 SpaceX 9.2 亿美元租用计算资源

过渡性安排

从 2026 年 10 月到 2029 年 6 月,Google 将每月向 SpaceX 支付 9.2 亿美元,换取约 11 万块 NVIDIA GPU 及相关组件的使用权。Google 称这是为应对 Gemini Enterprise 等 AI 产品需求超出预期的短期过渡安排。协议包含退出条款:若 SpaceX 未能在 9 月 30 日前交付承诺的 GPU 数量,Google 可立即终止协议。

是租赁,还是财务工程?

社区评论提出一种解读:Google 持有 SpaceX 约 5% 股份,SpaceX 的 IPO 估值是收入的 94 倍。按此倍数,这 11 亿美元年收入增量将推高 SpaceX 市值约 1 万亿美元,Google 所持股份价值将增长约 500 亿美元——远超实际支付的金额。同时这笔交易让 SpaceX 获得 GAAP 盈利,满足进入 S&P 500 的利润要求。但质疑声音也指出,飞机租赁公司的市销率只有 3 左右,GPU 的折旧速度可能比飞机更快。

社交缓存破坏:如何与真人对话

“缓存命中”无处不在

和公共人物聊天时,你很可能遇到过“缓存命中”——对方抛出一段预制好的、听起来挺聪明的回应,而非真正的现场思考。频率和被问问题的次数成正比,就像网络服务器缓存最常被请求的页面。缓存是陈旧的、经过优化的、安全的。

如何打破缓存

打破缓存的第一步是意识到自己正面对缓存。策略是问一个对方从未被问过的问题,或做一个足够敏锐的观察,把他们拉回现实。好问题能要求综合已有知识而非简单复述,甚至让人意识到自己知道某件事但之前没意识到。如果一个人在你话音刚落就开始说话,大概率是缓存读取;如果对方说“嗯,好问题”然后痛苦地思考了很长时间——你即将收获一批新鲜的思考。

社区补充了一个重要提醒:很多人并不想被打破缓存。出于安全、礼貌或效率,他们主动使用缓存。强行打破未必总是好意。提问本身也可能变成缓存——用“别人常问你什么”来打破模式,也可能只是自己缓存里的套路。

Ask HN: 你的生成式 AI “清醒时刻”是什么?

从修钢琴到逆向工程 SaaS

话题汇集了大量从“有点好笑”滑向“我有点慌”的亲身经历。有人 bricked 了一台 Kawai CA49 电钢琴,Claude 自己下载并反编译了官方的 Android APK,找出了硬编码的加密密钥,写了一个通过蓝牙刷机的脚本,一小时内救活了钢琴——“这些事远超我的能力,哪怕花 18 个月拼命钻研也未必能做到。”另外有人家中炉子坏了,拍视频给 Gemini,AI 诊断出排气扇启动困难,教他手动拨动风扇后点火,反复启动多次撑到维修工上门。还有人用 AI 在几个小时内把 SaaS 价格翻倍威胁变成了自建自托管克隆版,成本不到一个年度订阅费的一半。

递归自我改进变得真实

一位研究者分享:他把 Opus 4.8 扔在 GPU 上让它做架构搜索,“它复现并训练了可信的基线,实现了几个我一直在想的想法,写了自定义 CUDA 内核,读了几十篇论文并总结,跑了十几个实验……递归自我改进的感觉一下子变得非常真实。”同时,AI 也在改变互联网的信任结构:Reddit 上有 70% 的疑似 AI 在互相评论,有人预测未来要么彻底放弃匿名,要么传统报纸等信任中介的价值回归。

Pokémon Emerald 直接编译为 WebAssembly,号称 10 万帧

不是模拟器,是原生编译

Pokémon Emerald 被直接编译成浏览器可执行的 WebAssembly 模块,而非通过模拟器运行。项目基于社区反编译项目 pokeemerald,将游戏 C 代码重新编译为 wasm,标题中声称可达 100,000 FPS。开发者在 Codex 辅助下约花了 15 小时完成,存档功能已可正常使用。

法律与性能

项目本身是一个移植框架,不包含 ROM 数据,但 GitHub 仓库中保留了原始动画资源。有观点认为这类项目应托管在司法友好的国家,仅镜像到 GitHub 做曝光。实际性能表现因设备而异——有人在 iPhone 13 上获得高帧率,也有人仅得到 29 FPS。

GPS 加密信号:近二十年的数字电台

L1 频率上的军事密文

GPS 的 L1 频率上有一个保留字段,每 12.5 分钟广播一次。官方规范说它用于发送文字消息,但研究人员分析了 2007 年到 2026 年初 1200 万次地面站观测数据后确认:近 20 年里,这个字段一直在广播军事密文。有效载荷的熵与随机噪声几乎一致,但仍存在结构——某些高熵字符串在不同时间重复出现,可能是加密协议头泄露了密钥分发事件。2011 年 5 月 26 日,所有 31 颗在轨 GPS 卫星在几小时内全部切到硬件测试模式(0xAA),之后广播更新频率从 3.7 天一次加快到 1.8 天一次,正好对应美国空军空中密钥分发系统的部署。代码和数据已开源。

一本 C++ 书的封面是 JavaScript,封底更离谱

模板化简介曝光

Raymond Chen 发现《C++: The Programming Language》的封底简介来自一个通用模板。书中写“本书涵盖的多项不同议题涉及该领域下的不同分支”——这段文字在《铸造手册》《食品工业》《营养与代谢》《材料科学与工程》等多本由同一家出版社 Larson and Keller 出品的书上几乎一字不差,只需替换书名和领域名称。评论有人调侃,封面用 JavaScript 至少还算合理(多数 JS 引擎用 C++ 编写),而出版社连基本工作都懒得做。

播客全文

女:Hello 大家好,欢迎收听 Agili 的 Hacker Podcast,我是莓莓。

男:大家好,我是阿哲。

女:今天这期节目信息量比较大,咱们从一个小零件开始聊起,最后可能会聊到一些让人有点说不上来是什么感觉的事情。阿哲,你修过相机镜头吗?

男:拆过,没修好过。但今天我们聊的第一个故事,有个人真的做到了。

女:一位摄影师在 eBay 上买了个坏掉的 Sigma 镜头,外观完美,就是装上去之后电子控制全废了,对焦环、光圈环统统没反应。他拆开之后找到一块控制电路板,最后发现是一个 0603 封装的小保险丝烧断了。换了颗新的,镜头重获新生。整个维修花的时间还没他写总结文章花的时间长。

男:这个 0603 是什么概念呢?大概就一粒盐的三分之一那么大。这么小一个元件开路了,整个几千块的镜头就变成了一块镇纸。

女:他说他猜测故障原因可能是长期连续对焦,让电压转换器持续拉高电流,烧断了保险丝。就这个细节让我想到,很多精密设备里面,看似微不足道的设计裕度,其实在关键时刻决定了整个东西还能不能活着。

男:原文底下有个评论很在行,说修镜头一定要用 JIS 螺丝刀,不能拿普通 Phillips 十字螺丝刀硬拧。因为镜头上的螺丝是日本工业标准的十字,槽型不一样,用错工具会把螺丝头拧花。这个作者也在文章里特别提了这一点。

女:从一个保险丝开始聊,接着我想跟你说另几个修东西的故事。

男:修什么?

女:修钢琴、修炉子,还有修打印机。

男:听着像家政服务专题。但其实这些故事都是在讲同一件事——AI 现在能干到让人心里一惊的程度。

女:有个人把一台 Kawai CA49 电钢琴刷错固件搞成了砖头。Claude 自己下载并反编译了官方的安卓安装包,从里面找到了硬编码的加密密钥,然后写了一个通过蓝牙从笔记本刷机的脚本,一小时内救活了钢琴。

男:这种事正常哪怕有十几二十年经验的嵌入式工程师,也得花好几天慢慢逆向。它不是简单地写代码,它是要去理解一个完全没有文档的封闭系统。

女:还有个更日常的。一个用了三十年 Linux 的老用户,系统大版本升级之后 Chrome 里打印不了了。他把问题描述扔给 Claude,几分钟之后打印机吐出“This is test”的测试页。他本人都不知道具体哪里修了,也不想知道。

男:“我本来也没兴趣深究那点破打印机配置”,这是他的原话。这种心态其实很关键。很多人用工具并不想要掌控感,他们只想要结果。AI 把“我要搞定这件事”和“我需要懂这件事”之间的那条线给抹掉了。

女:还有一个冬天修炉子的故事。炉子在假期坏了,维修工两天后才能上门。他在阁楼上拍了炉子尝试启动的视频丢给 Gemini。AI 诊断出是排气扇启动困难,教他手动拨了一下风扇再点火,炉子就着了。就这么撑到维修工来。你想想,如果没有这个,他不知道要在寒冬里冻多久。

男:这些东西合在一起,呈现出一个模式:AI 正在把一个外行在几个小时内拉到接近专业中级的水平。

女:而这种能力用到自己专业领域之外的时候,冲击感特别强。修炉子、调打印机、反编译九十年代的合成器协议,这些都不是一个正常人会同时具备的技能。

男:合成器那个故事也很绝。有人要给一台 1990 年代的 Alesis QS8.1 合成器写现代跨平台控制软件。他用 Claude 配合 NSA 开源的反编译工具 Ghidra,一个晚上就走通了完全未知的 Sysex 命令和波形编码协议,搞出了能用的演示。这种工作量换成一个资深工程师团队,可能也得折腾好几周。

女:然后这种“有用”就开始让人不安了。不止一个人在讲,他们本来以为 AI 只是个玩具,直到经历了某一个具体瞬间,突然意识到事情变了。

男:有个做机器学习的哥们儿说,他 2017 年花大力气复现了第一篇 Transformer 论文,最近他把 Opus 4.8 扔在 GPU 上让它去做自动架构搜索。AI 自己复现并训练了基线,实现了他想了很久的几个想法,还写了自定义 CUDA 内核,读了几十篇论文做总结,跑了十几个实验。模型不稳定的时候会自己杀掉进程记录原因,再启动新的配置。

女:他最让我心里一紧的那句话是:“我突然意识到前沿实验室正以这个规模在做这件事,而且他们有无限的 GPU 和 token 预算。递归自我改进的感觉一下子变得非常真实。”

男:递归自我改进,这个词本身就挺吓人的。过去我们总觉得这是科幻里的东西,现在它变成了一个工程问题。

女:另一边,AI 带来的东西不光是能力,还有一种飘忽的信任危机。有个人说他在 Reddit 和 Hacker News 之间来回刷。Reddit 现在大概 70% 的帖子是 AI 在互相评论,偶尔夹一两个没搞清楚状况的人类,被 AI 逗得暴跳如雷。而你在 HN 看一个热帖,你很难分辨这是一个真实讨论,还是被精心操纵的营销。

男:我听到过一个更贴切的说法,叫“人工草皮”推广,astroturfing。就是看起来是草根自发的声音,实际上是人造的。过去做这种事成本还挺高,现在语言模型让成本趋近于零。如果互联网上的人和机器已经无法区分,匿名还有什么意义?

女:有人预测未来要么彻底放弃匿名,只能有验证过的真人参与,要么整个互联网变得不值得信任,传统报纸和信任中介反而会价值回归。这事儿好矛盾,我们一边在获取前所未有的能力,一边在失去一个很简单的东西——确认对面是个人。

男:那这些模型到底是怎么运作的?正好有一篇文章,把 Transformer 的整个流程从字节到概率走了一遍,解释得很清晰,而且一点都不数学化。

女:我正好想请你展开说说。因为前面那些故事里,AI 像是一个魔法盒子,那盒子里面到底是什么结构?

男:好,我们来拆一拆。首先,模型看到的所有文字都不是字,是 token——被切成整数 ID 的小片段。经典的例子就是“strawberry”里面有几个 r,这个问题模型经常答错,原因就是它根本没见过字母 r,它看到的只是几个 token ID。

女:所以它不是在数字母,它是在操作 token。

男:对。token 变成 ID 之后会进入一个嵌入层,映射成稠密向量。语义相近的词在向量空间里会靠得很近。然后是位置编码,现在主流用的是旋转位置编码 RoPE,它不是把位置直接加到向量上,而是通过旋转让注意力机制自然地感知 token 之间的相对距离。

女:注意力机制就是让每个词都能“看到”上下文里其他词的那个东西?

男:是的。它通过查询、键、值三个矩阵,让每个 token 去参考整句话里所有其他 token 的信息。因为是逐 token 生成的,所以会有一个因果掩码,保证只能从左往右看。多头注意力可以让模型同时注意语法结构、指代关系、位置信息这些不同的层面。现代模型为了省内存,通常用分组查询注意力,让多个头共享键和值矩阵。

女:这里有一个让我觉得很有意思的点。文章里说,前馈网络层存储了大量事实性知识,而且可以通过类似 ROME 这样的方法直接编辑模型里的知识。就像直接去修改一个数据库里的某一行。

男:残差连接和层归一化让这些几十上百层的网络可以训练得动,现在基本都用 RMSNorm。输出端是采样设置,温度、top-k、top-p 这些参数控制生成结果是更确定还是更多样。整个架构现在已经非常收敛了——预归一化、RMSNorm、RoPE、SwiGLU、分组查询注意力,再加可选的混合专家结构。

女:混合专家是那个让参数量暴增但计算量不按比例涨的方案?

男:对,MoE。每次只激活一小部分专家,参数量可以做很大,但实际运算成本可控。当然代价是显存吃得厉害。

女:HN 上有读者说,Transformer 的数学原理其实极其简单,甚至跟九十年代的神经网络高度相似,真正的突破就是把中间维度做得巨大,然后涌现出意想不到的能力。

男:还有人说 OpenAI 的核心贡献就是发现了这个——“把架构做大会产生涌现能力”,而后续各家真正的护城河在训练数据、强化学习训练和大规模工程调优的经验上。架构本身早就不是秘密了。

女:说到资本和规模,有一个消息在金融圈和科技圈搅动挺大的。S&P 道琼斯指数公司 6 月 4 号做了个决定,拒绝为 SpaceX、OpenAI 和 Anthropic 修改纳入指数的规则。

男:这条新闻背后牵扯的不是小数字。追踪 S&P 500 的被动资金有 7.5 万亿美元。如果规则被修改,Bloomberg 估算 SpaceX 会获得大概 140 亿美元被动买入,OpenAI 超过 80 亿,Anthropic 大概 46 亿。

女:S&P 500 有三条硬门槛:上市后要有 12 个月成熟期,最近一个季度要盈利,最低流通股比例也要达标。这三家公司目前一条都不满足。SpaceX 还在亏损,债务已经到了 290 亿美元。

男:S&P 明确说不会对财务可行性门槛、成熟期或者最低流通股比例做任何调整。他们做了一项让步,就是把一些次要指数比如全市场指数的流通股规则放宽了,允许更快纳入。但 S&P 500 的核心规则守住没动。

女:有被动投资者评论说,他“希望指数遵循它们一贯的被动策略,而不是为特定公司开特例”。

男:还有一个非常实质性的理由。S&P 500 历史上因为有盈利筛选门槛,所以避开了纳斯达克在 2000 年科技泡沫里那种深跌和长回撤。纳斯达克泡沫破裂后用了 15 年才回到前高,S&P 只用了 7 年。这不是什么抽象的原则,是真实保护过投资者口袋的东西。

女:不过,Morningstar 的分析师在 SpaceX IPO 前给的估值是 7800 亿美元,不到 SpaceX 自己目标 1.75 万亿的一半,主要依据就是 Starlink 和火箭发射业务。这个差距本身就说明市场对盈利前景的判断存在巨大分歧。

男:评论区还有人提到一个很细思极恐的事情。SpaceX 的 S-1 文件里有一条奇怪的脚注,声明说土地不是折旧资产。这不是会计准则要求写的东西,看起来像是 ChatGPT 风格的无意义废话。有人在质疑这些公司是不是在用 AI 做账,以及 AI 的幻觉会不会污染审计文件。

女:Cerebras 就是一个现成的警示案例。今年最大的 IPO,周五已经从高点跌了 33%。CEO 有财务造假的前科。

男:所以 S&P 500 这次维持规则,反过来想,可能是一次对规则一致性的压力测试。如果未来 12 个月里这三家公司依然保持超大市值,同时开始盈利,S&P 或许还是会重新审视门槛——毕竟一个指数如果长期漏掉万亿市值的公司,代表性本身也是一个问题。

女:其实在这条新闻的前后脚,Google 跟 SpaceX 还签了一笔大单。

男:对,Google 从 2026 年 10 月到 2029 年 6 月,每月向 SpaceX 支付 9.2 亿美元,租用大概 11 万块 NVIDIA GPU 以及配套的 CPU 和内存。官方说法是 Gemini Enterprise 这些 AI 产品需求超出了预期,这是一项短期过渡安排。

女:但 HN 上的讨论指向了一个更精巧的财务逻辑。Google 持有 SpaceX 大概 5% 的股份,而 SpaceX 的 IPO 估值是收入的 94 倍。如果这个倍数保持,这笔每年 110 亿美元的收入增量可以把 SpaceX 的市值推高大约 1 万亿美元。Google 手里的股份就增值了约 500 亿美元,远高于他们实际支付的租金。

男:这同时还能帮 SpaceX 满足 S&P 500 的盈利要求。当然也有人质疑,说飞机租赁公司的市销率只有 3,GPU 的折旧可能比飞机还快,94 倍这个数字到底能撑多久。

女:军备竞赛、估值飞天、规则博弈,这一切像是在看一场牌局,每个人都在下注,但底牌是什么好像没人真正知道。

男:这种不确定性让我想到另一个视角。有一篇文章讨论前现代军队是怎么组织起来的,里面有一句话我印象很深:“没有军队能不在战场上重建其平民社会的结构。”

女:这跟 AI 有什么关系?

男:组织架构决定行为模式。前现代社会的军队不会凭空设计出来,它就是从社会结构里长出来的。这篇文章的作者区分了四种征募原则:为钱服役、因为公民身份服役、因为生来是战士、因为对某个人物负有个人义务。

女:听着像是给游戏或者小说世界做设定的素材。

男:确实是写给世界构建者的。但里面有很多观察放在今天看也很有意思。比如他说“因为生来是战士”这种职业原则有两种。一种是游牧社会式的全民皆兵,但没办法移植到高度分工的复杂社会——如果一个社会需要工程师、铁匠和农夫,就不可能让所有人都去练近战格斗。另一种是贵族战士阶层,关键区分在于:他们之所以是贵族,是因为他们有土地,然后用“擅长战斗”来正当化自己的财富和特权。

女:所以一个穷凶极恶的战士不是骑士。一个有封地但剑术稀烂的人是个坏骑士,但他还是骑士。有种黑色幽默的味道。

男:评论区还有人说,这个思路很像 Conway's law——组织架构会反映在产品里,军队的社会结构也会在战场上重现。有人举了斯巴达的例子,说斯巴达并不是什么战士典范,它建立在庞大的奴隶制 Helots 之上,军事化是为了镇压奴隶起义,最后因为生育率下降和拒绝开放公民权而萎缩。罗马则通过不断扩展“罗马人”的定义来补充兵源,所以活得久。

女:军事精英一旦变成只内耗不创造价值的寄生阶层就会拖垮国家。俄奥曼帝国的近卫军和德川时代的武士都被拿出来当了例子。有人还说现代企业里如果高管只关注内部政治不创造价值,原理是一回事。

男:回到我们刚才聊的 AI 和信任问题——当一个系统内部结构我们看不清楚的时候,我们只能通过外部行为去推测它是不是健康的。就像看财务报表时的那个奇怪脚注,你不知道它是一句 AI 的废话,还是藏着什么东西。

女:说到看不透的东西,有一个项目我觉得特别浪漫,也特别古怪。一位开发者把 Pokémon Emerald 直接编译成了 WebAssembly,在浏览器里跑,号称可以达到 10 万 FPS。

男:这跟模拟器不一样。模拟器是在浏览器里跑一个 GBA 环境,然后在这个环境里运行游戏的 ROM。这个项目是基于社区反编译项目 pokeemerald,把游戏的 C 代码重新编译成浏览器可以原生执行的 wasm 模块。效率高得多。

女:开发者在 Codex 辅助下大约花了 15 个小时完成的,没有加声音,但他说加声音只是几句话提示的事情。存档功能已经确认可用。有用户说自己上去试了一下,“被 Poke 狙击了,几个小时没了”。

男:这种移植带来的性能提升在不同设备上差异很大。有人用 iPhone 13 调速度滑块之后能跑到高帧率,有人只跑出 29 FPS。还有人希望加更现代的触控操作和 PWA 支持,这样可以直接离线安装在手机上。开发者说可以发 PR 加 manifest 和 Workbox。

女:法律层面有点灰色地带。项目本身是一个移植框架,不含 ROM,但是 GitHub 仓库里保留了原始动画资源。用户要自己提供游戏数据。有人建议把这类项目托管在司法友好的国家,GitHub 只拿来做镜像曝光。

男:说到镜像和信息传递,GPS 卫星上也藏着一个长期被忽视的数据通道。

女:这是什么故事?

男:GPS 的 L1 频率上有一个保留字段,每 12.5 分钟广播一次,官方规范说用来发文字消息。但实际上近二十年里,这个字段一直在广播军事密文,像一个全球性的数字电台。

女:所以我们的手机在接收定位信号的同时,也在被动接收加密消息?

男:对。研究人员分析了从 2007 年到 2026 年初 1200 万次地面站的观测数据。他们发现这些密文的熵跟随机噪声几乎一致,说明确实是高强度加密。但里面有一些规律,比如卫星经常广播 22 字节的 0xAA,这是硬件测试用的标准模式,表示“没有加载操作载荷”。

女:像个空转信号。

男:还有,2011 年 5 月 26 日,所有 31 颗在轨 GPS 卫星在几个小时内全部切到了 0xAA。之后广播的更新频率从每 3.7 天一次加快到每 1.8 天一次。这正好对应美国空军 OTAD 空中密钥分发系统的部署,用来替代过去需要物理插模块加载密钥的方式。

女:所以在那一天,整个星座一起换了一把钥匙。

男:2022 年 5 月整个星座又协调放慢到 3.8 天更新一次。2023 年 12 月起,有一颗卫星开始发送前缀是 TEXT 的 4 字节标签加 18 字节密文的新格式。作者把这个公开的加密广播网络当成一个流量分析和结构密码学的分析目标,代码和数据全部开源了。

女:这让我想到那种短波电台里的数字台,只是规模大了不知道多少倍,而且每一部手机都在替它当中继。

男:只不过我没法跟它互动,只能监听。

女:说到监听和回应,我最近还看到一篇文章,讨论跟公共人物聊天时的“缓存命中”现象。

男:你说的是那种对方抛出一段听起来很聪明但实际上预制好的回应?

女:就是那个。作者说这不光是公共人物的问题,人人都这么做。频率跟你被问同类问题的次数成正比。就像网络服务器会把最常被访问的页面缓存起来,人也会把最常被问的问题缓存成标准答案。

男:缓存是陈旧的、经过优化的、安全的。它永远比不上直接跟“源站”互动有趣。

女:怎么打破它呢?作者说首先你得意识到自己在面对缓存。如果你对回应满意,没必要打破。但如果你看到对方挂着假笑、眼神空洞、动作流程完全正确但人明显不在——那你问的问题不对。

男:问的都是人人都问的废话,自然得到人人都得到的回答。

女:有时候只是认真倾听本身就能打破缓存。对方意识到你是在听,而不是在等着说话。但如果对方习惯太深了,完全没留意到你在认真听,那就需要问一个他们从没有被问过的问题,或者做一个足够敏锐的观察,把他们拉回现实。

男:听起来有点矛盾——回答问题为什么能学到新东西?思想是在对话中演进的。一个好问题让人去综合已有的知识,而不是简单复述。或者让人意识到自己其实知道某件事,只是之前没意识到自己知道。

女:还有一个很实用的信号。如果一个人在你话音刚落就开始说话,那大概率是一次缓存读取——甚至不是针对你整句话的缓存读取,而是听了你前半句就排队准备好的。反过来,如果一个人说“哦,这挺有意思”或者“嗯,好问题”,然后停下来,痛苦地思考了一段很长的、尴尬的时间,眼睛瞪大——你大概要收获一批新鲜的思考了。

男:有读者把这种现象叫“社交脚本”——脚本是共享的性能优化,压力越大的人越容易依赖脚本。也有人提醒说很多人并不想被打破缓存,他们用缓存是出于安全、礼貌、效率的考虑。强行打破未必总是道德。

女:所以得看人、看场合、看时机。不是每个人都想、或者应该被从缓存里拉出来。

男:打破缓存是一种礼物,但礼物也得看收礼的人想不想要。

女:这让我想到最后一个故事,一个优雅的小讽刺。有人发现一本 C++ 教科书,封面用的是一张 JavaScript 代码的库存照片。

男:我们已经报道过那篇文章。现在这本书又被扒出新料——不光是封面,封底的简介也是从模板里复制粘贴的。书里写什么“书中包含的主题极其重要,必将为学生提供不可思议的见解,涵盖多项不同议题涉及该领域下不同分支”。这段话如果放到一本《铸造手册》《食品工业:工艺与技术》《营养与代谢》或者《材料科学与工程》的封底上,只需要替换书名和领域名,一字不差。

女:这些书全出自同一家出版社 Larson and Keller。他们显然懒得为每本书单独写简介,直接套了一个通用模板。

男:这就好比刚才我们聊的缓存命中。出版社的缓存里就一条简介模板,所有书的标题往里一套就出厂了。

女:一个挺冷的笑话是,C++ 教科书封面用 JavaScript,至少逻辑上还勉强说得通——大部分 JS 引擎是用 C++ 写的。但简介模板就真的怎么都说不通了。有人调侃说,学生是被迫买教材的,教授选教材看内容不看封面,所以封面长什么样其实不重要。

男:还有一些人举了电影里真实的代码彩蛋作为对比。《黑客帝国 2》里 Trinity 用的那个 nmap 真实漏洞脚本,《机械姬》里打印书号的那段 Python,做这些细节的人至少花了心思,不像这本教科书,从封面到封底一气呵成地敷衍。

女:从一颗烧断的保险丝,到几万亿美元的被动资金,再到一颗在天上不停广播密文的卫星,最后落在一本连简介都是模板生成的教科书上。这世界越来越像一个由各种缓存拼接起来的系统,偶尔有一两个认真的时刻,反而显得扎眼。

男:有时候想想,我们努力打破 AI 的幻觉、打破预制回应、打破指数规则里的模糊地带,可能都是在做同一件事——想让真实的东西多一点。

女:想真实一点的,还有 Pokémon 和一台九十岁的合成器吧。

男:嗯,那台合成器现在还有人给它写控制软件,也挺浪漫的。

女:好,今天聊了这么多,感谢你的时间,也感谢大家收听。如果你喜欢这期节目,记得用泛用型播客客户端订阅我们,这样下一期出来的时候你马上就能听到。

男:我们下期见。

女:拜拜。

参考链接