惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

美团技术团队
J
Java Code Geeks
有赞技术团队
有赞技术团队
GbyAI
GbyAI
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
酷 壳 – CoolShell
酷 壳 – CoolShell
博客园 - 叶小钗
阮一峰的网络日志
阮一峰的网络日志
Microsoft Security Blog
Microsoft Security Blog
IT之家
IT之家
G
Google Developers Blog
月光博客
月光博客
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
S
SegmentFault 最新的问题
博客园 - 三生石上(FineUI控件)
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
博客园 - Franky
腾讯CDC
V
Visual Studio Blog
博客园 - 【当耐特】
D
Docker
H
Hackread – Cybersecurity News, Data Breaches, AI and More
Engineering at Meta
Engineering at Meta
L
LangChain Blog

少数派

派早报:Google 发布 Fitbit Air 等 - 少数派 「新人报到」確認需求,再開始 - 少数派 从 SOLO 独立开发者社区,我看到了越来越多开发者开始做自己的产品 - 少数派 我怎么管理那些"不常做,但总会忘"的生活事项 - 少数派 人形机器人量产元年,数据才是具身智能的“生死线” - 少数派 BuhoLaunchpad 高度还原 Mac 启动台:开发历程与思考 - 少数派 五年陪伴依然不舍,DIY 换壳后让罗技 MX Master 3 继续服役 - 少数派 新玩意 240|少数派的编辑们最近买了啥? - 少数派 一日一技|为什么你应该关闭 iOS 的键盘声音 - 少数派 我做了个插件和 Skills,一键提取任何网站的设计规范 Design.md - 少数派 住在三四线城市的你,该开始录播客了 - 少数派 甘南秘境,大白高国 - 少数派 AI的审美:谁让把我变成川内倫子 - 少数派 返工怎能不烦恼,打工人片单总有一部是你的「嘴替」 - 少数派 为了让「上厕所」更健康,我做了一个小工具 - 少数派 AI + Skill,能够让生成的文章去除 AI 味吗? - 少数派 新玩意|韶音OpenDots ONE 耳夹式耳机 - 少数派 《美满》| 在每一个春天的晚上相爱(362) - 少数派 新玩意|优篮子 PS01 MagSnap 磁吸支架 - 少数派 自我整合手记 | 我开始早睡了:用稳定规则,为自由托底 - 少数派 用龙虾(OpenClaw)两个多月,我最深的12个体会 - 少数派 听歌时间到,12 张你可能错过的 2025 华语乐坛好专辑 - 少数派 承诺能追吗 - 少数派 macOS 26启动台没了? 我做了个不一样的App启动器 - Keboard - 少数派 《四海为家的人》| INTJ对话INTJ(361) - 少数派 你发过的那些黑历史,是时候一次清干净了 - 少数派 新玩意:安安静静玩,越玩越专注:计客密码机 - 少数派 iPad 用户首次体验 Android 平板:vivo Pad6 Pro - 少数派 数据逻辑强 - 少数派 极北行+ | 一路向北,探访日本至北之地 | 001 - 少数派
AI 时代,重识羊驼 - 少数派
2023-04-24 · via 少数派

引言

2008 年,北京奥运会举世瞩目,五福娃吉祥物风靡一时。

谁料次年初,另一个动物形象就横空出世,热度大有赶超之势。这种诨名为「草泥马」的生物先是惊现贴吧,随即在聊天室、论坛等处广为流传。作为「草泥马」形象的取源,本分布于南美洲的羊驼,开始为地处东亚的国内民众所知。其形似绵羊的皮毛下,有着驴马混搭的身形和滑稽的面部;加上心情不好便喷口水的习惯,深得网友喜爱。很快,这个物种顶着新名字席卷中文互联网,在各处充当别有新意的「吉祥物」,风头一时无两。

羊驼在论坛、网游、玩偶中流行 图源网络

不过少有人知的是,很长一段时间里,羊驼给物种分类提出了一定挑战。

从碳基羊驼到硅基 LLaMA

虽有俗名「草泥马」,但羊驼并非一种马。如种名「羊驼」所示,其大意为长相似的一种

驼,即是骆驼,与羊驼在面部确有几分相似,只是背部多了耸起的峰。可想而知,相比于羊,羊驼与骆驼在分类上是更相近的种族。事实上,它们同归骆驼科下,分属骆驼族与美洲驼族。

分类一览、逐一相认

如果从骆驼亚科(为骆驼科现存唯一亚科)看起,其科内族属关系如下:

  • 骆驼族:下仅有骆驼属一个属,骆驼属内有双峰驼、野生双峰驼和单峰驼;
  • 美洲驼族:下有羊驼属和小羊驼属。羊驼属也叫骆马属,包含大羊驼(Llama,有时称美洲驼,也叫拉马,偶称骆马)和原驼(Guanaco):也称野生羊驼。小羊驼属包含羊驼(Alpaca,俗名「草泥马」)和小羊驼(Vicuna,也叫骆马)。
图源:Chinese-Vicuna 项目

不难察觉,整个美洲驼族中两属四种的名字与称呼,主要突出一个「乱」字。由于中文译名的原因,美洲驼、羊驼、骆马等称呼在不同的语境中可能指代整个族、某一属、个别种,在种间也多有混用。(本文以前述族属关系中的粗体命名为准。)

先看大羊驼和羊驼。它们都是驯化物种,而且是新大陆被发现之前南美洲仅有的驯化牲畜。大羊驼是美洲驼族当之无愧的大哥,身高与成年男子相仿,体重约为人两倍,耳朵多呈稍有弧度的香蕉状,擅长驮负重物,也是驯养主要功能。羊驼,即我们熟悉的「草泥马」,身形稍小,头高如同小学生,体重则接近成人,有尖尖的直耳,皮毛具有不错的经济价值。

从名字上看,羊驼与大羊驼只有码数差距,但两者分属羊驼属和小羊驼属,最多算是表亲。生物学家最初也没搞清楚这一点:在 2001 年根据基因研究结果改正之前,羊驼都还属于羊驼属,后来发现羊驼与野生的小羊驼在血缘上更为接近,遂移至小羊驼属。这也不能怪一开始分类不准确,毕竟西班牙人刚殖民南美时,也根本没分清大羊驼和羊驼,都是混在一起养,于是大羊驼给了羊驼 36% 的 DNA,羊驼再回赠 5%,这才导致了羊驼被分到了表亲大羊驼所在的羊驼属。

南美洲羊驼、美洲驼驯化起源机制和基因渐渗现象  图源:中科院之声
南美洲羊驼、美洲驼驯化起源机制和基因渐渗现象 图源:中科院之声

再看野生的原驼和小羊驼。 它们则分别比其同属的驯养种小一号,身形也更为苗条:原驼高 1 米出头,重百公斤;小羊驼高约 80 公分,重 50 公斤上下。均为直耳,皮毛不如驯养的羊驼丰满,多有更出色的运动能力。

至此,「大中小原」四种美洲驼已基本理清。

如果转换了时空身份和姓名

转眼进入 AI 时代,ChatGPT 吹起了一股大语言模型之风,恐怕羊驼们绝不曾想到,自己的种族竟也被卷入其中。

AI 产品的命名一向偏好晦涩的缩写。GPT(Generative Pre-trained Transformers)已经是最简明直白的一类。相比之下,同门的 Whisper 语音识别模型发布时,人们挠破头皮也想不出来这种巧妙的缩写从何得来……直到在论文中发现一条不起眼的脚注:

If an acronym or basis for the name is desired, WSPSR standing for Web-scale Supervised Pretraining for Speech Recognition can be used.

——既然你诚心诚意地发问了,那我就大慈大悲地告诉你用 WSPSR 凑合一下。

至于 DALL-E 这个致敬艺术家(西班牙超现实主义画家 Salvador Dalí [萨尔瓦多·达利] )又碰瓷机器人(WALL-E,皮克斯动画《机器人总动员》中的形象瓦利)、根本没个缩写来源的产品式命名,便更不要提了。

GPT 的竞争者在模型性能上紧追不舍,在起名工作上也不落下风。2023 年 2 月 24 日,Meta AI 发布预训练大语言基础模型(Large Language Model Meta AI)。或许是为了图吉利凑个整,Meta 并没有遵循严格的首字母缩写,而是硬生生从这串拗口的单词中看出了梗。

就这样,硅基大羊驼诞生了——LLaMA。

然而,这只大羊驼并没有名字所暗示的那么拉风。基于 1.4 万亿语料(token)预训练的 LLaMA 65B 具有 650 亿参数量,同系列还有 33B、13B、7B 不同参数量的版本(后两者训练语料略少些)。作为对比,ChatGPT 的底座模型 GPT-3 175B(代号 davinci )参数量为 1750 亿。故仅从参量而言,大羊驼仍显著逊色于「达芬奇」。

值得注意的是,Meta 特别说明 LLaMA 是以非商业授权的形式发布,应主要用于学术研究。其 GitHub 仓库仅给出加载运行模型的示意代码,若要获取核心模型权重,还需要填写表单申请。尽管如此,释出的模型无疑给久旱的社区注以甘霖,为挑战 OpenAI 封闭式炼丹吹响冲锋的号角。

接下来的短短数十天内,在大羊驼 LLaMA 的托举下,羊驼们已然蓬勃成军,正朝看似高不可攀的 ChatGPT,全方位、一步步地追赶进攻——

3 月 13 日,斯坦福大学基础模型研究中心(Center for Research on Foundation Models,CRFM)发布了指令精调模型 Alpaca 7B,使用 5.2 万由 OpenAI 的 text-davinci-003 模型1生成的指令数据,对 LLaMA 7B 进行精调而得。斯坦福羊驼横空出世,开源了包括准备过程、数据集、训练步骤等在内的整套方案,经评估能取得近似 text-davinci-003 的指令服从效果,但低成本且高效、易于复现,经验启发了许多蠢蠢欲动的后来者。

3 月 16 日,在 Alpaca 基础上补充了多语种语料和指令任务的 Guanaco 原驼模型问世。

3 月 19 日,来自加州大学伯克利分校、卡内基梅隆大学、斯坦福大学、加州大学圣地亚哥分校的几位计算机博士组队,以大模型系统(Systems for Large Models,LM-SYS)的名义发布了「小羊驼」 Vicuna-13B。基于 ShareGPT 收集的对话对 LLaMA 进行精调,仅需 300 美元即完成训练的小羊驼,号称达到了 ChatGPT 90% 的能力,并将 Meta 大羊驼和斯坦福羊驼均甩在身后。

3 月 23 日,「中文小羊驼」Chinese-Vicuna 携模型及数据面世,基于 LLaMA 模型和 LoRA 方案,可按需投喂数据进行个性化指令精调。

3 月 24 日,Databricks 发布 Dolly 模型,基于「有些过时」的 GPT-J-6B 精调,旨在证明精调指令数据比底座模型更为重要。考虑到其本质是 Alpaca 的开源克隆2,Dolly v1 虽不涉及 LLaMA 许可,但因 Alpaca 所用指令精调数据通过调用 OpenAI API 生成,按照 OpenAI 的非竞争条款不可商用;于是 Databricks 发动公司员工举办了标注竞赛,所得数据精调来的 Dolly v2 终于可以商用,「克隆羊多利」之名也由此而来。

3 月 25 日,来自华中师范大学和商汤的几位伙伴发布了开源中文大语言模型「骆驼」(Luotuo),并坦白命名逻辑:

我们将项目命名为骆驼 Luotuo (Camel) 主要是因为,Meta之前的项目LLaMA(驼马)和斯坦福之前的项目alpaca(羊驼)都属于偶蹄目-骆驼科(Artiodactyla-Camelidae)。而且骆驼科只有三个属,再不起这名字就来不及了。

3 月 28 日,中文 LLaMA & Alpaca 大模型发布,在 LLaMA 基础上扩充了中文词表并加入中文数据预训练,以及与 Alpaca 相似但增加了中文指令数据的精调,显著提高模型中文能力;

日新月异,不堪尽数……

大模型领域的羊驼家族

不止模型,周边配套工具同样呈星火燎原之势:大幅降低推理成本的 llama.cpp、连接羊驼与外部资料的 LlamaIndex、对羊驼模型进行局部再训练的 Alpaca-LoRA、训练提高羊驼感知链的 Alpaca-CoT、在 macOS 优雅地跟羊驼们聊天的 LlamaChat(本文封面即引自该项目的放克羊驼)。

……全链条覆盖,俨然已自成生态。只等某天时机成熟,便围攻 OpenAI 于光明顶。

结语

据说羊驼母亲妊娠时间长达 11.5 个月,但刚分娩出世的羊驼仔落地即可奔跑。这与 LLaMA 和 Alpaca 发起的大语言模型(LLM)平民化运动莫名雷同——起步虽晚,加速极强。

时至今日,美洲驼一族已不局限于南美,其凭借惹人喜欢的外表和聪明友善的性格,正被全世界人民了解。另一边,大语言模型发展仍纷繁暇目,羊驼伙伴名字都几乎用尽,转而以一种精神符号存活于开源社区的各处,激励大家继续求索。希望在不久的将来,AI 人人可用。

本文是笔者在追踪 LLM 社区发展过程中的一些片段整理,出于好奇,自觉有趣,与君分享。