惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

WordPress大学
WordPress大学
Cyberwarzone
Cyberwarzone
The GitHub Blog
The GitHub Blog
云风的 BLOG
云风的 BLOG
P
Proofpoint News Feed
小众软件
小众软件
Recent Announcements
Recent Announcements
博客园 - 三生石上(FineUI控件)
Security Archives - TechRepublic
Security Archives - TechRepublic
W
WeLiveSecurity
Cloudbric
Cloudbric
博客园 - 司徒正美
美团技术团队
N
News and Events Feed by Topic
Exploit-DB.com RSS Feed
Exploit-DB.com RSS Feed
PCI Perspectives
PCI Perspectives
宝玉的分享
宝玉的分享
H
Help Net Security
H
Hackread – Cybersecurity News, Data Breaches, AI and More
Google DeepMind News
Google DeepMind News
Help Net Security
Help Net Security
Last Week in AI
Last Week in AI
S
Schneier on Security
N
News | PayPal Newsroom
B
Blog RSS Feed
L
LINUX DO - 最新话题
T
Troy Hunt's Blog
S
Secure Thoughts
雷峰网
雷峰网
aimingoo的专栏
aimingoo的专栏
L
Lohrmann on Cybersecurity
G
Google Developers Blog
Microsoft Azure Blog
Microsoft Azure Blog
Hacker News - Newest:
Hacker News - Newest: "LLM"
T
Tenable Blog
S
Securelist
L
LangChain Blog
Recent Commits to openclaw:main
Recent Commits to openclaw:main
I
InfoQ
H
Heimdal Security Blog
Cisco Talos Blog
Cisco Talos Blog
F
Full Disclosure
Y
Y Combinator Blog
酷 壳 – CoolShell
酷 壳 – CoolShell
K
Kaspersky official blog
T
Tailwind CSS Blog
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
阮一峰的网络日志
阮一峰的网络日志
C
Cisco Blogs

人人都是产品经理

为什么你的产品找不到差异化?90%的失败都卡在第一步上(下) – 人人都是产品经理, 3年从30万到1300万用户、获2200万美元融资,这个AI教育产品用“抽卡”破解了获客难题 – 人人都是产品经理, 园区招商系统怎么做才能真正帮到去化?我加了这一个功能,推广链接转发400次阅读过万 – 人人都是产品经理, AI大事件:OpenAI发完网络安全模型又搞药物研发,小鹏汽车要抓”DeepSeek时刻” – 人人都是产品经理, 电商不是卖货,是一场更残酷的产品经理实战 – 人人都是产品经理, 没想到,活动营销又回来了! – 人人都是产品经理, 为何All-in海外KOC:一场关于AI时代窗口期的豪赌 – 人人都是产品经理, 重新理解企业的内部协作 – 人人都是产品经理, 苹果的 AI 战略到底是什么? – 人人都是产品经理, 医疗智能体·第2讲——合规护城河:等保、PIPL与HIPAA的架构实战 – 人人都是产品经理, 向量知识库五步法:从“答非所问”到“精准回复” – 人人都是产品经理, 鸿蒙PC三方库构建总指挥HPKBUILD(sha)库为例 – 人人都是产品经理, 何时该用LLM?AI产品经理的LLM设计指南 – 人人都是产品经理, 医疗信息领域的需求方、决策方、准入方以及关注点(二) – 人人都是产品经理, 即梦涨价:一场被误读的「傲慢」 – 人人都是产品经理, 面试AI PM必答题:Hermes和OpenClaw的区别,如何讲清楚业务价值 – 人人都是产品经理, AI的下一张船票:世界模型——AI产品经理必须理解的技术拐点 – 人人都是产品经理, 小红书做GEO,怎么让AI信你?记住这 3 个重要信息 – 人人都是产品经理, 5 家印度 AI 初创公司,看看印度 AI 再做什么 – 人人都是产品经理, AI项目跨团队协作:产品技术业务如何不打架 – 人人都是产品经理, Agentic Workflow(智能体工作流):让AI从”答案生成器”变成”数字员工” – 人人都是产品经理, lycium_plusplus 项目全景解读:OpenHarmony 三方库构建的“大管家” – 人人都是产品经理, 从爆单救火到前置履约:两套预采策略,把生鲜大促履约效率拉满 – 人人都是产品经理, 什么时候该补货?我用一轮数据做了一个决定 – 人人都是产品经理, 从“机械兜底”到“动态分流”:AI客服重复进线治理的4大底层逻辑 – 人人都是产品经理, 抖音拼效率,红书拼洞察 – 人人都是产品经理, 全民狂欢与退潮——为什么龙虾这波热潮冷却得如此之快? – 人人都是产品经理, Stripe押注!MPP重塑全球支付 – 人人都是产品经理, 小红书GEO:AI引用你的内容,不是因为你对,而是因为你看起来可信 – 人人都是产品经理, 前百度副总裁押注办公Agent,日韩付费爆发,Manus迎来强劲对手 – 人人都是产品经理, 企事业单位数字化的业务供需本质 – 人人都是产品经理, 医疗智能体·第1讲——医疗信息化重构:从“辅助软件”到“自主智能体”的范式转移 – 人人都是产品经理, 粉丝量就是空气!!! – 人人都是产品经理, 用户说“薯片碎了”,机器回“要买吗?”:意图识别的翻车与破局 – 人人都是产品经理, RAG召回准确率从75到90 我做对了这三件事 – 人人都是产品经理, AI大事件:Anthropic改收费、OpenAI发安全版、手术机器人纳入医保、阿里发布”秒悟” – 人人都是产品经理, Chrome 推出 Skills 新功能,Agent 重塑上网方式 – 人人都是产品经理, GitHub前创始人拿了a16z的1700万美元,做Agent时代的Git – 人人都是产品经理 拷贝或克隆其他 Flutter OH 项目到本地后无法运行 – 人人都是产品经理, 优惠券设计:优惠券创建 – 人人都是产品经理, 不用死磕文档!AI 助手 1 小时搞定飞书 CLI 安装 + 配置 + 知识库 – 人人都是产品经理, 用小龙虾做竞品分析报告:从2天到20分钟,我是怎么做到的 – 人人都是产品经理 用小龙虾做市场分析报告:搞懂这3个公式,市场规模不再靠猜 – 人人都是产品经理, 你早就在做 Harness 工程,只是不知道它叫这个名字 – 人人都是产品经理, Think Long就够?你可能想多了! – 人人都是产品经理, 货代SRM实战:供应商准入怎么做,才能让资源池不是通讯录而是可交付网络? – 人人都是产品经理, 如何做好用户调研?详解基本技巧 – 人人都是产品经理, 木鸟、途家、美团对打,平台春天行动开“卷” – 人人都是产品经理, 入职才发现公司不靠谱?小红书从业者求职避坑指南 – 人人都是产品经理, 美国 AI 三巨头联手封堵,中国 AI 突围之路在何方 – 人人都是产品经理, 小红书,放在需求对面的镜子 – 人人都是产品经理, AI 会带来大规模失业吗? – 人人都是产品经理, 从出单到补货前,我第一次犹豫:该不该放大? – 人人都是产品经理, Flutter 三方库鸿蒙化适配:5 种高效检查方式,快速判断是否需要适配 – 人人都是产品经理, 从做产品进阶拿结果:医美机构产品经理转岗科室运营经理 – 人人都是产品经理, 阿里HappyHorse,一场关于“Token经济”的阳谋 – 人人都是产品经理, To B AI:客户留存落地的观察与思考 – 人人都是产品经理, AI产品的“生命线”——数据采集、标注、清洗的产品化设计 – 人人都是产品经理, 谈谈AI Agent(二):当“孩子”能自己“体验世界”时,你该学什么? – 人人都是产品经理, UI/UX设计师的3层能力进阶,前两层让你活下来,第三层…才是真正的分水岭 – 人人都是产品经理, 2分钟 → 30秒,效率提升75%:B端产品经理如何用「规则枷锁」驯服AI幻觉? – 人人都是产品经理, 还没来得及学OpenClaw,来了个更猛的:Hermes Agent – 人人都是产品经理, AI日报:宇树机器人跑出10m/s刷新世界纪录 – 人人都是产品经理, 一文说透基金互金如何用情绪价值引导用户决策做转化 – 人人都是产品经理, 当浏览器开始替你”看”网页:AI 浏览器正在亲手拆掉它脚下的那张网 – 人人都是产品经理, 0代码,一天时间我Vibe Coding了个网站 – 人人都是产品经理, Hermes 和 OpenClaw 之争,Agent 的能力应该“装上去”还是“长出来”? – 人人都是产品经理 视频生成的“桌子”,字节Seedance 2掀完,阿里快乐马掀 – 人人都是产品经理, 从听不懂到完全信任:我的 Codex 深度产品体验 – 人人都是产品经理, 当虚拟偶像有了北京户口,与真人偶像还有什么区别? – 人人都是产品经理, 会说,远远比会做更重要 —— 对 SBTI 爆火现象的五层观察 – 人人都是产品经理, AI产品经理必看:当“搭环境”比“选模型”更重要,你的认知还在2024年吗? – 人人都是产品经理, 2026年AI产品商业化核心逻辑:从功能demo到规模化营收的3个必破卡点 – 人人都是产品经理, 京东围绕供应链,卷起裤腿下场的那些事儿 – 人人都是产品经理, SBTI一夜刷屏:它赢在了“太会说人话” – 人人都是产品经理, 折扣零售的真相:不是便宜,而是价值感! – 人人都是产品经理, 和甲方吵了一架,最后加钱做了——我学到的ToB产品经理生存法则 – 人人都是产品经理, 和几位小红书操盘手聊了8小时,干货全在这 – 人人都是产品经理, 智谱GLM-5.1登场,开源模型首超Opus4.6!!! – 人人都是产品经理 Anthropic收入凭什么反超OpenAI,终于有人把这事说清楚了 – 人人都是产品经理, 史上最有故事感的技术报告——Claude最强模型Mythos 7个极其精彩的细节 – 人人都是产品经理, 模型不是壁垒,Harness 也不是 – 人人都是产品经理, 抖音本地生活业务思考21 – 人人都是产品经理, Superpowers:145k Star的AI编码框架,到底是什么来头? Superpowers:145k Star的AI编码框架,到底是什么来头? – 人人都是产品经理, OpenAI 的路走错了,Anthropic Harness 解法启示:模型需要实践专科生 – 人人都是产品经理, 画原型图的前一步:设计站点地图 – 人人都是产品经理, 给 DeepSeek 的最后一封催更信 – 人人都是产品经理, 手把手教你用 Claude Code 搭建 AI 营销团队:5 个 Agent、12 项技能,独立完成研究、写作、设计全流程 – 人人都是产品经理, 你以为大模型在学语言?不,它在重新发明语言学 – 人人都是产品经理 所谓Skill,不过是AI时代的工业垃圾 – 人人都是产品经理, 聊一聊内容传播的几个方法 – 人人都是产品经理, 当平台开始吃掉生态:从 OpenClaw 被封杀,读懂 Anthropic 的这盘棋 – 人人都是产品经理, 你装了 10 个 AI 插件,Obsidian 还是一个文件夹 – 人人都是产品经理 关于AI智能体架构演进的系统性思考:从单体试水到多体协同的重构 – 人人都是产品经理, 当“人”变成Skill,我们又该何去何从? – 人人都是产品经理 Mythos 事件:前沿 AI 治理的意外实验 – 人人都是产品经理, 货代CRM:信用与风险管理怎么做,才能把坏账风险拦在放货之前? – 人人都是产品经理, 从HR收集自拍照到员工自助录入——我见证了园区人脸识别从”不可用”到”真好用”的全过程 – 人人都是产品经理 千问闯关AI混沌期:阿里画靶,吴嘉张弓,马云射箭? – 人人都是产品经理,
推荐,非「黑盒」
烧包鹿 · 2022-09-22 · via 人人都是产品经理

现在在许多产品中,我们都可以见到推荐机制的应用,比如抖音、淘宝等产品中的推荐页面。那么作为一名运营,你了解推荐系统、或者个性化推荐吗?你又是否能理解“推荐”和“流量”之间的关系?本文作者就对推荐一事做了详细总结,一起来看。

推荐对于非技术同学而言更像是一个黑盒,越来越多产品都引入了推荐,而推荐又和流量紧紧挂钩。此文献给所有的运营同学。

这篇文章写于1年前,希望可以系统又简单地给业务、运营同学讲清楚推荐的运转逻辑、推荐可以做什么、以及如何掌握推荐的流量密码。

本文比较长,大约 7000 字,我把目录放在前面,大家可以先看是否有感兴趣的部分,再决定是否往下看,节约时间。

我对推荐好奇,可以通过这个文档了解什么?

? 简单理解推荐

  1. 什么是个性化推荐——直观感受、产品参考,对推荐有个初步概念。
  2. 推荐系统解决什么问题——知道推荐这件事的价值是什么。
  3. 推荐怎么知道我对什么感兴趣——推荐的原理,对推荐有更深入的了解。
  4. 推得不准我怎样让它推准点——推荐的原理,对推荐有更深入的了解。
  5. 推荐有目标吗——我们对于推荐的预期是什么。
  6. 什么是推荐能做的——推荐擅长解决哪些问题。
  7. 什么是推荐做不来的——哪些问题不能依赖推荐解决。

? 深入理解推荐

  1. 推荐是如何运作的?
  2. 推荐在咱们业务是如何运作的?
  3. 为什么要有召回、粗排、精排?
  4. 推荐模型是如何优化的?
  5. 推荐模型多久开一次实验?
  6. 为什么上了新策略没有效果?
  7. 为什么要做实验?不能直接全量?
  8. 没有收益的策略,一定不能上线吗?

? 我是一个运营,我希望能掌握一些流量密码

  1. 没有流量,是什么原因?
  2. 为什么点击率很高,曝光不高?
  3. 这个内容很差,为什么曝光这么高?
  4. 推荐怎么给新用户做推荐?
  5. 怎么多一些曝光机会?

? and,最后,你可能会关心的问题是怎么给推荐提需求?

一、我对推荐好奇

1. 什么是个性化推荐?

你打开今日头条、抖音时最先看到一个页面,一般这个页面也会命名为「推荐」。当然,我们不能因为它叫推荐我们就把它视为推荐。还有像淘宝这种,它叫做「猜你喜欢」。你会发现,你越看什么,就越容易刷到什么,这就是个性化推荐在起作用。

个性化推荐系统解决的是用户和商品/内容中间的关联关系,它是二者之间的桥梁。可能你会好奇,我有需求会用搜索,不会用推荐啊。你用过搜索,应该能感受到推荐和搜索的区别:搜索是人去找商品、推荐则是商品找人。推荐系统会根据你的兴趣偏好,把你可能会感兴趣的商品或内容推到你面前、提升。

哪里有海量信息,哪里就有推荐系统,我们每天最常用的APP都涉及到推荐功能:

  • 资讯类:今日头条、腾讯新闻等
  • 电商类:淘宝、京东、拼多多、亚马逊等
  • 娱乐类:抖音、快手、爱奇艺等
  • 活服务类:美团、大众点评、携程等
  • 社交类:微信、陌陌、脉脉等

2. 推荐系统解决什么问题?

于用户而言,推荐既要解决互联网信息过载、用户筛选信息乏力的问题,又要关注用户没有目标但想“随便看看”的场景。

于平台而言,推荐还需要减少马太效应和长尾效应的影响,使商品/内容的利用率更高,盈利增长。简单来说,推荐是为了不占用用户太多时间的基础上把商品卖给他/让他消费内容。

推荐系统20世纪90年代就被提出来了,但真正进入大众视野以及在各大互联网公司中流行起来,还是最近几年的事情。

随着移动互联网的发展,越来越多的信息开始在互联网上传播,产生了严重的信息过载。因此,如何从众多信息中找到用户感兴趣的信息,这个便是推荐系统的价值。精准推荐解决了用户痛点,提升了用户体验,最终便能留住用户。

推荐系统本质上就是一个信息过滤系统,通常分为:召回、排序、重排序这3个环节,每个环节逐层过滤,最终从海量的物料库中筛选出几十个用户可能感兴趣的物品推荐给用户。

推荐非黑盒

3. 推荐怎么知道我对什么感兴趣?

推荐系统会收集你的历史行为数据,可能会有这些:

  • 你买过的商品,推荐系统会获取到价格、类目、风格/类型、机构/商家,并推荐相关的商品给你。
  • 你浏览的商品,你点击了、或没有点击,推荐会把点击过的都标记为你感兴趣,滑过去的暂时不感兴趣。
  • 你搜索的关键词,推荐系统会认为与这个关键词相关的商品你都可能会感兴趣。
  • 还有一些其他的行为,比如收藏、分享、评价……

4. 推得不准,我怎样让它推准点?

感觉推得不准可能有两方面原因:一是推荐模型还不完善,二是你喂给推荐的数据不够多。如果你想让推荐推得更准,可以尝试进行以下两个操作:

  • 主动表达兴趣:点击、收藏你喜欢的商品/内容;搜索你你感兴趣的关键词;设置你的兴趣偏好。
  • 主动反馈问题:通过 dislike 告诉推荐你不喜欢的商品/内容、类型,推荐就会少推这些。

注意,dislike 只能尽量过滤掉你不喜欢的内容,无法帮你找到喜欢的内容,所以如果想训练你的推荐模型,尽量进行操作一 [主动表达兴趣] 。

5. 推荐有目标吗?

我们平台推荐的目标是提升付费率,希望推得更准,用户愿意点、愿意买。付费率是核心目标,拆解下来也会看点击率、人均点击数、人均浏览数等等,这些中间指标也能衡量推荐推的准不准。

为什么要拆中间指标?点击率 = 你推给用户他是否愿意点,更能代表推的是否准;人均点击数 = 点得越多,越能证明推荐猜你喜好猜得准。用户进入商品详情页后面的事情推荐管不到,所以用付费率不能完全代表推的是否准。

6. 什么是推荐能做的?

用更多的 [特征] 来训练模型,让模型猜得更准。特征值得是这个用户的信息标签,比如你的浏览信息、搜索信息、购买信息、分享信息、评价信息……这些都是特征,是区别给你推什么、给我推什么的关键信息。

除此之外,还可以通过一些 [策略] 来满足业务其他诉求,如通过 boost 规则给指定商品/内容曝光(关于如何使用 boost 规则见本文第20条)。

7. 什么是推荐做不来的?

如果你在逛推荐时遇到一些问题,需要注意以下几类问题不能依赖推荐解决:

1)画风不好

画风是一个主观感知,用户 A 觉得这个画风不好(标题、文案、封面、音乐等使人不适),可能用户 B 会觉得不错,即便用户 A 反馈了画风不好的问题,也不意味着用户 B 就不喜欢。

推荐不解决主观感受,只解决“这个商品/内容本身你是否会感兴趣,而不是这个画风你是否会喜欢”。画风问题依赖审核和推荐审核,同时我们也会通过 dislike 收集关于封面体验不好的问题,并交给供给侧去优化。

2)标题不好

不要试图希望推荐推一些标题更好的商品/内容,因为它不知道什么是好标题。如果一个商品/内容的标题很差、但点击、付费率很高,它在推荐里就会很容易被推出。审核和推荐审核是非常重要的。

3)质量不好

解决不了有一些盗版内容、分销课程(在多个机构上传)、换多个标题都是同一门课/内容的问题。从推荐来看,如果本身点击率很高,推荐通过用户历史行为、预估这些课程都是用户可能会感兴趣的,都会展现,但对于用户而言同一个商品/内容看到好多遍,体验必然不好。这个还是需要审核去解决。

二、深入理解推荐

1. 推荐是如何运作的?

用户打开App,刷新首页(下拉刷新 or 重启app刷新),客户端会请求服务端(数据),服务端会请求推荐(模型),这个时候推荐会返回几条数据给服务端,服务端传给客户端,最终在用户的手机上展示。

那么,推荐是如何选择内容的呢?为什么用户最后看到的是这些?选择-呈现过程是这样的:

  • 召回:运营从所有商品/内容里挑选出 {用户可能感兴趣} 且{质量符合平台标准}的商品/内容放至{推荐池}。
  • 粗排:用一个简单的模型预测用户有可能感兴趣的内容、模拟每个商品/内容的得分,从高到低排序。
  • 精排:在粗排的结果上,预估用户的点击率、付费率等,得出预估分,从高到低排序。
  • 规则:考虑到用户体验 or 运营诉求,在精排的基础上会应用一些规则,如打散、强插、boost 等。
  • 收集反馈:把课程推给用户后,基于用户的点击、购买、dislike 行为,会收集起来用于优化模型。

2. 推荐在咱们业务是怎么作业的?

这个部分是我原来业务的推荐运转流程,保留这个部分是为了还原一个推荐应用场景,帮助大家理解后面的东西。

1)召回

运营同学建立《推荐课程审核标准》,从所有课程中按照推荐标准,将符合标准的课程审核召回至推荐池。即:在售课程池(全量)➝推荐课程池(部分),能被推荐的只有推荐课程池的课程。

2)粗排

推荐取了所有召回课程的历史点击率、转化率、销量数据,尽可能的模拟精排模型的打分,在所有召回的课程中选出得分靠前的几百个视频送给精排。粗排是大数据结果,也就是根据所有用户产生的数据做了一个预估,最终呈现给其他用户的也是大数据的结果。

比如ABCD都买A课,那么XYZ来了我优先推A课、他的付费概率更高。粗排召回更适用于新用户,因为新用户没有任何行为,推荐模型没办法预估他可能喜欢什么类型的课程,这个时候就用大数据的预估(大家都买什么、点什么)来推给用户。一句话解释:你可以理解为粗排相当于一个热销榜。

3)精排

对于已经有消费行为的用户(付费、点击、收藏等),我们会把他的这些行为特征收集起来,去预估他可能还会对什么课程感兴趣。精排是在粗排的基础上做的,粗排的作用是把得分靠前的课程递给精排。一句话解释:如果你有行为,最终推给你的课就跟推给我的不一样。

4)规则

在精排的基础上应用几个规则,比如

  • 5 分钟 send 消重:5 分钟内服务端下发过的数据不会下发第二次;
  • 3 天 show 消重:客户端展示过的课程3天内不会再展示;
  • 打散策略:每一次请求数据,20~30个课程,同三级类目最多出 2 个。

把这些规则应用完之后,会把排在前面的课程展现给用户。

打散策略是为了避免相同类型的课程扎堆,容易引发用户不好的体验:刷来刷去都是讲学习音标的,平台的内容会不会太少了些。

而 send 消重和 show 消重的区别是:

  • send 消重是服务端下发了,只是用户还没刷到(服务端一次下发 20-30 条数据,用户每屏只能看到5-6个课程)。下发了、用户没看到,5分钟后依然可以推。
  • show 消重是用户在手机屏幕上看到了这个课,滑过去了没有点击,那么代表用户不感兴趣,一段时间内不再推。

5)收集反馈

你点击了短视频剪辑课程,推荐认为你对短视频课程更感兴趣,则后面短视频剪辑的课程得分就更高,更容易优先展示给你。也就是你越用,推荐模型就可能预估得越精准,推给你的内容你越感兴趣。

3. 为什么要有召回、粗排、精排?不能直接用精排吗?

性能因素。直接用一个复杂的模型从大量数据中找几十条内容速度会非常慢。所以先召回几千条,再用粗排找到几百条,再从几百条里找到几十个推给用户。

4. 推荐模型是如何优化的?

推荐模型的优化由两部分驱动:模型本身训练、调优需求,业务侧新需求。

模型训练调优主要是指性能优化、新增用户特征让模型猜的更准,如模型结构的改进、增加更多用户/商品特征、扩大候选集(召回)、提高数据反馈时效(模型更及时的得到数据反馈);业务侧也会有控制价格出现比例、给精选课程增加 boost 等优化体验需求和运营需求。

但,无论是模型调优需求还是业务需求,每一次修改(称作一个策略)都需要遵循下述流程:

  • 明确目标:这个动作的目标是什么?想要得到什么结果?
  • 制定策略:根据目标,提出解决方案,一般会有多个策略可以达成目标,需要业务&推荐一起评估实验成本、效果,最终排出优先级进行开发。
  • 设计实验:明确实验开启方式、观测的核心指标和预期收益。
  • 检查实验结果:如果符合预期,判断是否全量上线;如果不符合预期,需要判断放大流量继续观察或分析实验,根据分析结果判断是放弃该策略、还是优化该策略。
  • 上线/关闭:如果符合预期,上线。继续下一个策略。

5. 推荐模型多久开一次实验?

推荐实验是非常高频的。并不是一个实验/策略有了结果才可以开启新实验,可以多个实验并行、同时验证多个策略,最终选择效果更好的策略全量上线。比如我们两个月就开了 30 多组实验。

6. 为什么上了新策略没有效果?

推荐是一个长周期的事情,不是一朝一夕就训练好的。推荐相信的是长期有收益,且模型的养成是需要数据喂养的,喂得越多就推得越准。

所以一个新的推荐策略上线,肯定不会马上有效果。就像我们要增肥,不是今天吃一顿明天就能胖了,身体需要吸收、持续吸收。

7. 为什么要做实验不能直接全量?

经验上,预期的效果和实际的效果可能会有非常大的差异。不做AB实验直接上线,可能会带来严重的影响。不是每一个策略都是正向的,推荐模型只是预估用户更可能喜欢什么,这不意味着用户真的喜欢。所以新的策略上线后,有一定概率是负向的,也就是用户觉得推得更不准了。

一般,实验需要观测 1-2 周来看数据是否稳定。如果有正向收益or损失不大,但相信长期有收益,即可上线。

8. 没有收益的策略,一定不能上线吗?

AB 实验没有显著正向或略负向也可以上线。必须满足以下大前提:

  • 判断需要长期迭代,必须在此基础上叠加其他策略,可以接受短期无收益。
  • 推荐需要逐步积累用户数据,此策略才能发挥作用,数据越多,训练周期越短。

三、我希望了解流量密码

1. 课程没有流量,是什么原因?

没有流量的原因有很多。一般来说会有以下几种可能,不仅仅是推荐的原因:

  • 商品/内容已经上架,但未审入推荐池。
  • 相似、同质的商品/内容比较多,大家数据都很好的情况下,展现的概率就更低。
  • 商品历史销量、点击、转化率都不高,在推荐候选中的排序本身就比较靠后。
  • dislike 较多反馈了标题、封面差等问题。
  • 为什么有些商品/内容一开始曝光数很高,后面就没有了?

推荐会把商品/内容推荐给可能对它感兴趣的用户。一开始推的多,是因为预估可能感兴趣的用户多,在推了1万次之后,大家都不点击,推荐就会认为这部分用户对这个商品/内容不感兴趣、该商品/内容的得分就会越来越低(推荐排序就会靠后),那么越往后就越推不出来了。

2. 为什么课程点击率很高,曝光数不高?

点击率高是因为推得比较准,推过去后用户更爱点。曝光数不高的可能性有很多:

  • 喜欢这个商品/内容的用户是有限的。
  • 相似、同质的商品/内容比较多,推荐时不一定能胜出。
  • dislike 较多反馈了标题、封面差等问题。

3. 这个内容很差,为什么曝光这么高?

判断比较主观,推荐看的不是一个人的主观判断,而是用户的行为选择。

4. 推荐怎么给新用户做推荐?

冷启动包括新用户冷启动和商品冷启动。新用户冷启动是当一个用户没有任何行为数据和辅助信息的情况下,如何给他做好推荐?商品的冷启动即长尾问题——如何将新的物品快速推荐给可能对它感兴趣的用户?

  • 一个新内容,推荐无法判断谁可能会喜欢它。推荐会根据跟它相似的课程可能会被用户喜欢来做尝试。如果想要推得更准,就需要给内容增加更多特征、让推荐可以猜测得更准一些。
  • 一个新用户,推荐无法判断他可能会喜欢什么。会尝试把“大家认为的好内容”推给用户,如果想要推的更准就需要借助用户主动选择兴趣、加快用户动作反馈等方法来提高推荐对新用户的作用效率。

新用户是没有历史行为数据的,那个性化推荐模型就无法对其产生作用,我们如何做推荐呢?

一种方法是新用户主动选择兴趣偏好,让用户自己去选自己对什么感兴趣;另一种是先按照统计模型(Thompson 汤普森采样 – 可以理解为按照一个标准)去推。也就是如果从第一天开始,所有新用户看到的都是一样的,但同时我加快动作的反馈,也就是当用户一旦有了点击、收藏、付费等行为,那么下一次请求数据的时候,推荐就可以起作用了。

5. 怎么给老师多一些曝光机会?

这个问题需要先理解另外两个问题:为什么推荐不多给老师一些曝光机会?如何理解boost?

为什么不多给老师一些曝光机会?

推荐的目标是让用户满意(买课的人),一般不会考虑老师的满意度。当然,从平台生态的角度来考虑,只有让老师满意,老师才会传更多的课到平台,平台才有更多的课提供给用户(推荐去推)。

所以,在让用户满意的基础上(推得更准),也会加一些规则去保证老师的利益。比如课程冷启动规则(给一些新课固定的曝光资源)、运营精选boost(给一些优质课加权重)、已购老师boost(购买过的老师的课程加权重)。当然,后续可能也会有一些其他新策略,既让推荐推的更准,也能给到老师一些资源保证。

如何理解 boost ?

从推荐视角来看,是反对 boost 的,因为任何 boost 都是人的主观意愿:我认为用户对这个更感兴趣、我希望用户能看到这个内容。实际上,boost 并不能让推荐推得更准,过多的 boost 干扰还可能影响推荐的策略。

那为什么我们还会加一些 boost 的策略呢?

  • 适当、合理的 boost 可能会提高推荐准确度,注意,只是可能。比如我们从数据发现,一半的用户都第二次下单都是买的原来老师的课程,那我们就加了相同老师(已购老师)的 boost ,让这个用户购买过的老师的课更容易展现给你。
  • 对于老师而言,适当的 boost 是为了平台的老师生态,包括新课 boost 和精选 boost 。

如果运营侧有给老师曝光的诉求、想用流量作为运营老师的激励点,或者为了让一些尾部但优质的课程有售出机会,需要在推荐模型的基础上加干预规则,那么可以把你的诉求提给产品,产品和推荐同学会在不伤害用户体验、推荐仍然有作用空间、且能实现运营目标的基础上共同制定策略。

四、我怎么给推荐提需求

可以以这样的姿势给推荐同学提需求:需求目的是什么?想要解决什么问题?预期效果是什么?对用户会有什么影响?你要相信,推荐同学了解的推荐策略会比你多很多,把你的问题交给他,他们会选出更能帮你实现目标的策略。

❌ 错误的方式:我想在推荐强插某老师课程。

✅ 正确的方式:我们想要给优质课程更多的曝光机会,一方面是这些课程质量很好应该不会对用户体验造成损伤,另一方面也可以作为老师运营的抓手,能激励老师产生更多优质课程。

❌ 错误的方式:我想在模型里加个特征。

✅ 正确的方式:我发现最近给我推的课程价格都偏高,调研了几个用户也是如此。如果我们持续推高于用户消费水平的课程,付费率可能会越来越低。我们看下是通过推荐价格占比、还是引入用户历史/最近一次消费金额,来减少大量推高单价的情况。

❌ 错误的方式:能不能给新课加 boost。

✅ 正确的方式:老师拉新团队最近拉了很多新老师入驻,但是这些老师的课程都没有曝光量,这影响了老师传课的积极性,长期来看我们会做大量的老师拉新工作、如果新老师的新课没有流量会影响整个平台的老师生态。有没有什么方法,可以给这些老师/课程一些曝光的机会?

五、我为什么要写这个

这篇文章不能说把推荐讲得非常透彻、但也尽力从业务视角把一个技术逻辑讲得更易懂。

我们是个平台产品,既有C端用户也有B端用户。负责B端拓展的同学就希望流量有倾斜,运营同学对各项指标负责又希望基于他的目标做策略调整,产品考虑用户体验也会有体验向的需求,不同角色的需求经常会相悖。而推荐本身也有自己的运转逻辑,一定会有不能满足、或者满足的不好的地方。

想要取得好的沟通效果、达成目标,就要先了解对方的逻辑(推荐),以及如何利用资源(推荐机制),这篇文章原本是写给我合作的运营同学,借此也献给所有会关注推荐和流量的运营伙伴。

专栏作家

烧包鹿,微信公众号:烧包鹿(hishaobaolu),所有的文字都为了传递如何思考,人人都是产品经理专栏作家。

本文原创发布于人人都是产品经理。未经许可,禁止转载

题图来自 Unsplash,基于CC0协议

该文观点仅代表作者本人,人人都是产品经理平台仅提供信息存储空间服务。