我们知道语料是决定AI质量表现的关键，国外有Reddit等平台可以提供语料，国内有类似的吗？这篇文章，我们来看看作者的分析。
Reddit 在过去的 2024 年算得上是容光焕发。这家创立了近 20 年的社交平台，去年 3 月在纽交所完成上市，并在上市后的第三季度实现首次盈利，到目前股票已涨到上市首日开盘价的 350% 左右。
上市成功、首次盈利和股票暴涨的无外乎来自同一原因——AI。
Reddit 上的内容，具有进一步发展 AI 大模型技术所需要的语料库质量。
去年 2 月，Reddit 和 Google 达成协议，Reddit 内容可用于训练谷歌的人工智能模型，这项协议价值约每年 6000 万美元。Reddit称：“我们相信，我们不断增长的平台数据将成为领先大型语言模型（“LLM”）培训的关键要素，并成为 Reddit 的额外盈利渠道。”
上市后的 5 月，Reddit 和 OpenAI 也建立类似合作关系，Reddit 的问答内容将被带入 OpenAI 旗下产品，Reddit 平台的编辑功能和附加模组也将加入由 OpenAI 技术驱动的 AI 功能。该合作是双向的，OpenAI 为 Reddit 平台提供技术，Reddit 为 OpenAI 提供语料。
那么多 UGC 社交平台，为什么偏偏 Reddit 成为这些 AI 大模型厂商青睐的语料供应商？
那么以此为模板来分析国内具有较多文字语料且业务较为独立的 UGC 平台，B站，小红书，微博，豆瓣，知乎，贴吧，在这几个平台之中，对比各方面情况，我们可以大致预测一下谁最有可能在 2025 年成为AI时代的中国 Reddit。
笼统来说，所有的大模型训练语料来源都得是合法且许可的内容渠道，如 OpenAI 的语料来源，包括以下五种：
不难看出，前四项的语料渠道相比起第五项会缺乏一些“人味”，社交媒体为 AI 带来的语料具有更加落地的经验性以及即时性。自身缺乏“人味”语料库的 AI 厂商可能将会开始在各大 UGC 社交软件之中寻找一些合适的目标。
当然并不是所有 UGC 社交平台的业务模式都能卖语料。如微信生态内的公众号，小绿书等内容渠道。从其母公司的角度来讲，微信生态内的语料质量甚至会是腾讯在 AI 时代的隐藏杀手锏之一，至于具体怎么用起来就是后话了，本文不做赘述。
类似情况的当然还有抖音的母公司字节（只是其更多为视频图像内容），这些以社交平台为商业帝国根基的大厂，同时又布局了云计算，并在AI时代布局了大模型，都会将自身平台内容捏在自己手里。
而其他相对比较独立的 C 端社交平台产品，尤其是内容以文字类为主的平台，都有机会在接下来的AI时代，像 Reddit 一样老树发新芽。因此，B站，小红书，微博，豆瓣，知乎，贴吧是指的进一步研究的平台。
理论上来说，只要用户没意见，平台就可以处置这些语料，这涉及到平台跟用户的内容协议，关于用户协议后文会提到，此处按下不表。
这时候更关键的问题是，厂商如何判定谁的语料更好更适合自己？
平台上用户自发的内容判定机制会成为首要因素，以 Reddit 为例，用户可以对帖子和评论进行“点赞”或“点踩”，这形成了较好的语料产出正向循环。跟现如今用户使用各大AI软件时为生成的内容点赞点踩的作用是一样的，相当于AI训练阶段的人工“数据标注”工作。
当然，平台自身的内容判定机制也很重要，平台的“机审”机制可以算作是大模型发展向人类看齐的“超级对齐”方式。
还有平台用户画像跟AI的适配度，这有时要根据厂商业务自身需求来。而在没有具体需求时，用户画像更多元，年龄、性别、地理位置、受教育程度等各个维度更均衡，粘性更高的平台语料更好。
当然以上仅为分析模板，关于B站，小红书，微博，豆瓣，知乎等平台在以上这三个方面的表现，需要在此模板上更加细致的平台语料调研。
而笔者在此处初步猜测，如果是想要用来训练一款面向相对较年轻群体（这部分为消费主力军）的 AGI，那么在这三方面得分率较高的平台有B站，小红书，微博。因此，这三个平台将进入下一轮筛选。
只不过在厂商眼里适合的目标，却不一定想卖。
B站，小红书，微博这三者中，最不想卖的应该就是小红书。这是因为，小红书目前的发展阶段不适合将自身平台语料出售。
商业模式上来讲，小红书正处于商业化探索上升期。此前《新立场》的文章就提过：小红书 2024 年四季度日均搜索量已经来到了 6 亿次附近，而前年年中这一指标还是 3 亿左右。如果结合此前双十一过后小红书发布的战报，“成交破千万的商家同比是去年的 5.4 倍”、“单场破千万的买手同比是去年的 3.6 倍”这些信息来看，小红书整个生态的增长是有内容和交易双维度数据支撑的。
财务状况上来讲，小红书也许并不算太缺钱。英国《金融时报》曾报道，小红书在 2023 年首次实现盈利。小红书2023年的营收达到37亿美元，增长 85% ；净利润为 5 亿美元。尽管 2024 年年中小红书也曾裁员，但从裁员描述来看，更接近业务调整。
另外，小红书目前自己也正在平台内测试多个AI功能。包括但不限于搜索结果页的AI总结，一些AI内容生成玩法等。
从 Reddit 跟 OpenAI 的合作中不难看出，合作算是双向的， Reddit 为大模型厂商提供语料的同时，大模型厂商也会为平台提供技术支持。但小红书可能并不想成为其他厂商的语料供应商，反而，小红书需要的是大模型的供应商，偏向于在关于AI的合作中成为绝对的甲方。
而从 B 站和微博目前的发展阶段和商业模式来看，笔者认为都是适合跟大模型厂商达成 Reddit 模式合作的。
2024年 B 站已经与kimi有较为深度的合作，包括 kimi 在 B 站投放广告，以及 kimi 生成的结果信源之中包括 B 站。当然，仅仅只能考察到 kimi 有将 B 站作为信息生成的信源，暂无法确认 kimi 是否有将 B 站的内容作为训练数据。但是有了这种程度的合作，更进一步的合作模式卡点自然会更少。
就 B 站本身而言，目前商业模式基本已经确定，去年第三季度首次实现单季度盈利，接下来有望靠着广告等业务板块的增长继续盈利。
B 站的内容储备量及质量较高，长视频内容非常适合转化成文字，同时具有大量的观点性思考，加之也有粘性较高的社区氛围，包括“一键三连”在内等内容判定机制能够较好形成优质内容产出循环。
只不过，由于将平台内容用于跟大模型厂商合作之前，最需要先解决的是用户协议。更具体来说，对 B 站有平台忠诚度的用户是否能接受自己的评论、视频、文字等内容用于 AI 训练，或如何让用户接受，这将是最大的卡点。
而微博跟B站的发展阶段一样已经趋于稳定。此前《新立场》文章也提到过，微博现在做的事，是“提纯”这个平台的深度用户，让他们的价值“结晶”。从用户数据来看，微博的月活基本稳定在 5.8 亿上下，环比波动不大。从 2023Q4 到 2024Q2，微博的月活用户数分别为 5.98、5.88 和 5.83 亿，其用户定位和使用场景都已经足够清晰，所以在高强度的注意力竞争中用户规模还能保持相对稳定。
只不过与 B 站不同的是，微博用户对于自己的内容被用来生成 AI 内容似乎并不排斥。微博的评论机器人“罗伯特”就是一个很好的例子。
现在微博不同的圈子、用户评论区内，罗伯特有不同的发言风格，甚至罗伯特已经成为提升微博用户粘性的手段之一。在促进用户粘性的同时，还能促进整个平台用户对 AI 的高接受程度，达成这样的平衡并不容易。
所以综上看来，如果缺乏语料库的大模型厂商需要找到一个活人多的社交平台作为语料供应商，微博可能会是一个不错的选项。
如果不是微博，需要真实语料库的大模型厂商也可以考察有哪个社交平台的用户心智同时满足以上，能够在用户心里达成“我想在你这里说真心话”同时“我不在乎我在你这里说的话被拿去喂AI”，或者想要成为语料库供应商的社交软件可以向这个方向靠拢。
而关于如何卖语料，正如上述所说，做好平台和用户的内容协议是第一步。
ChatGPT刚爆火时期，有消息称其中文回答信源来自知乎后，知乎的股价就有所上涨。也许知乎等平台也可以纳入考虑范围，但篇幅有限，此处不多赘述。
而语料库的用户认知将如何影响大模型的训练，美国大模型圈有一个案例可让我们具体感知。
2023 年初，OpenAI 刚走进大众视野没多久就有一个“丑闻”爆出，OpenAI 原本对外称自己有一个 40 人左右的数据标注团队，而消息则称 OpenAI 在肯尼亚有一家外包公司为其提供数据标注服务，以每小时不到 2 美元的价格雇佣肯尼亚工人打标签。
现在来看，大模型厂商使用第三方数据标注服务已经成为公开的事情。只是如果“肯尼亚”这个信息点是真，这或许意味着在那时候的大模型圈，像 OpenAI 这样操作的也不止一家。
2024 年初，谷歌 Gemini 大模型生成图像避免白人内容的事情曾闹得沸沸扬扬，似乎跟上述 OpenAI 雇佣肯尼亚的数据标注外包团队的事情异曲同工。
不过有一点毋庸置疑，社交平台用户风格是什么样，其作为语料供应商所训练的AI极大可能也会拥有同样的“性格”。
可以笃定的是，2025的 AI 训练即将进入语料比拼阶段。
作者：X X 编辑：王威
来源公众号：新立场Pro（ID：xinlichang66），换个角度看世界。
本文由人人都是产品经理合作媒体 @新立场 授权发布，未经许可，禁止转载
题图来自Unsplash，基于 CC0 协议
该文观点仅代表作者本人，人人都是产品经理平台仅提供信息存储空间服务。
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。