惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

S
Secure Thoughts
宝玉的分享
宝玉的分享
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
爱范儿
爱范儿
Recorded Future
Recorded Future
博客园 - 【当耐特】
博客园 - 聂微东
H
Hackread – Cybersecurity News, Data Breaches, AI and More
Apple Machine Learning Research
Apple Machine Learning Research
GbyAI
GbyAI
MongoDB | Blog
MongoDB | Blog
S
SegmentFault 最新的问题
C
Check Point Blog
N
Netflix TechBlog - Medium
阮一峰的网络日志
阮一峰的网络日志
Microsoft Azure Blog
Microsoft Azure Blog
Last Week in AI
Last Week in AI
博客园 - 叶小钗
Google DeepMind News
Google DeepMind News
罗磊的独立博客
T
The Blog of Author Tim Ferriss
Recent Announcements
Recent Announcements
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
Jina AI
Jina AI
The Cloudflare Blog
博客园 - 司徒正美
D
Docker
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
J
Java Code Geeks
B
Blog
Martin Fowler
Martin Fowler
L
LangChain Blog
V
Visual Studio Blog
U
Unit 42
P
Proofpoint News Feed
Vercel News
Vercel News
Hugging Face - Blog
Hugging Face - Blog
腾讯CDC
F
Fortinet All Blogs
M
MIT News - Artificial intelligence
人人都是产品经理
人人都是产品经理
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
V
V2EX
The Register - Security
The Register - Security
大猫的无限游戏
大猫的无限游戏
D
DataBreaches.Net
T
Tailwind CSS Blog
H
Help Net Security
IT之家
IT之家
酷 壳 – CoolShell
酷 壳 – CoolShell

人人都是产品经理

为什么你的产品找不到差异化?90%的失败都卡在第一步上(下) – 人人都是产品经理, 3年从30万到1300万用户、获2200万美元融资,这个AI教育产品用“抽卡”破解了获客难题 – 人人都是产品经理, 园区招商系统怎么做才能真正帮到去化?我加了这一个功能,推广链接转发400次阅读过万 – 人人都是产品经理, AI大事件:OpenAI发完网络安全模型又搞药物研发,小鹏汽车要抓”DeepSeek时刻” – 人人都是产品经理, 电商不是卖货,是一场更残酷的产品经理实战 – 人人都是产品经理, 没想到,活动营销又回来了! – 人人都是产品经理, 为何All-in海外KOC:一场关于AI时代窗口期的豪赌 – 人人都是产品经理, 重新理解企业的内部协作 – 人人都是产品经理, 苹果的 AI 战略到底是什么? – 人人都是产品经理, 医疗智能体·第2讲——合规护城河:等保、PIPL与HIPAA的架构实战 – 人人都是产品经理, 向量知识库五步法:从“答非所问”到“精准回复” – 人人都是产品经理, 鸿蒙PC三方库构建总指挥HPKBUILD(sha)库为例 – 人人都是产品经理, 何时该用LLM?AI产品经理的LLM设计指南 – 人人都是产品经理, 医疗信息领域的需求方、决策方、准入方以及关注点(二) – 人人都是产品经理, 即梦涨价:一场被误读的「傲慢」 – 人人都是产品经理, 面试AI PM必答题:Hermes和OpenClaw的区别,如何讲清楚业务价值 – 人人都是产品经理, AI的下一张船票:世界模型——AI产品经理必须理解的技术拐点 – 人人都是产品经理, 小红书做GEO,怎么让AI信你?记住这 3 个重要信息 – 人人都是产品经理, 5 家印度 AI 初创公司,看看印度 AI 再做什么 – 人人都是产品经理, AI项目跨团队协作:产品技术业务如何不打架 – 人人都是产品经理, Agentic Workflow(智能体工作流):让AI从”答案生成器”变成”数字员工” – 人人都是产品经理, lycium_plusplus 项目全景解读:OpenHarmony 三方库构建的“大管家” – 人人都是产品经理, 从爆单救火到前置履约:两套预采策略,把生鲜大促履约效率拉满 – 人人都是产品经理, 什么时候该补货?我用一轮数据做了一个决定 – 人人都是产品经理, 从“机械兜底”到“动态分流”:AI客服重复进线治理的4大底层逻辑 – 人人都是产品经理, 抖音拼效率,红书拼洞察 – 人人都是产品经理, 全民狂欢与退潮——为什么龙虾这波热潮冷却得如此之快? – 人人都是产品经理, Stripe押注!MPP重塑全球支付 – 人人都是产品经理, 小红书GEO:AI引用你的内容,不是因为你对,而是因为你看起来可信 – 人人都是产品经理, 前百度副总裁押注办公Agent,日韩付费爆发,Manus迎来强劲对手 – 人人都是产品经理, 企事业单位数字化的业务供需本质 – 人人都是产品经理, 医疗智能体·第1讲——医疗信息化重构:从“辅助软件”到“自主智能体”的范式转移 – 人人都是产品经理, 粉丝量就是空气!!! – 人人都是产品经理, 用户说“薯片碎了”,机器回“要买吗?”:意图识别的翻车与破局 – 人人都是产品经理, RAG召回准确率从75到90 我做对了这三件事 – 人人都是产品经理, AI大事件:Anthropic改收费、OpenAI发安全版、手术机器人纳入医保、阿里发布”秒悟” – 人人都是产品经理, Chrome 推出 Skills 新功能,Agent 重塑上网方式 – 人人都是产品经理, GitHub前创始人拿了a16z的1700万美元,做Agent时代的Git – 人人都是产品经理 拷贝或克隆其他 Flutter OH 项目到本地后无法运行 – 人人都是产品经理, 优惠券设计:优惠券创建 – 人人都是产品经理, 不用死磕文档!AI 助手 1 小时搞定飞书 CLI 安装 + 配置 + 知识库 – 人人都是产品经理, 用小龙虾做竞品分析报告:从2天到20分钟,我是怎么做到的 – 人人都是产品经理 用小龙虾做市场分析报告:搞懂这3个公式,市场规模不再靠猜 – 人人都是产品经理, 你早就在做 Harness 工程,只是不知道它叫这个名字 – 人人都是产品经理, Think Long就够?你可能想多了! – 人人都是产品经理, 货代SRM实战:供应商准入怎么做,才能让资源池不是通讯录而是可交付网络? – 人人都是产品经理, 如何做好用户调研?详解基本技巧 – 人人都是产品经理, 木鸟、途家、美团对打,平台春天行动开“卷” – 人人都是产品经理, 入职才发现公司不靠谱?小红书从业者求职避坑指南 – 人人都是产品经理, 美国 AI 三巨头联手封堵,中国 AI 突围之路在何方 – 人人都是产品经理, 小红书,放在需求对面的镜子 – 人人都是产品经理, AI 会带来大规模失业吗? – 人人都是产品经理, 从出单到补货前,我第一次犹豫:该不该放大? – 人人都是产品经理, Flutter 三方库鸿蒙化适配:5 种高效检查方式,快速判断是否需要适配 – 人人都是产品经理, 从做产品进阶拿结果:医美机构产品经理转岗科室运营经理 – 人人都是产品经理, 阿里HappyHorse,一场关于“Token经济”的阳谋 – 人人都是产品经理, To B AI:客户留存落地的观察与思考 – 人人都是产品经理, AI产品的“生命线”——数据采集、标注、清洗的产品化设计 – 人人都是产品经理, 谈谈AI Agent(二):当“孩子”能自己“体验世界”时,你该学什么? – 人人都是产品经理, UI/UX设计师的3层能力进阶,前两层让你活下来,第三层…才是真正的分水岭 – 人人都是产品经理, 2分钟 → 30秒,效率提升75%:B端产品经理如何用「规则枷锁」驯服AI幻觉? – 人人都是产品经理, 还没来得及学OpenClaw,来了个更猛的:Hermes Agent – 人人都是产品经理, AI日报:宇树机器人跑出10m/s刷新世界纪录 – 人人都是产品经理, 一文说透基金互金如何用情绪价值引导用户决策做转化 – 人人都是产品经理, 当浏览器开始替你”看”网页:AI 浏览器正在亲手拆掉它脚下的那张网 – 人人都是产品经理, 0代码,一天时间我Vibe Coding了个网站 – 人人都是产品经理, Hermes 和 OpenClaw 之争,Agent 的能力应该“装上去”还是“长出来”? – 人人都是产品经理 视频生成的“桌子”,字节Seedance 2掀完,阿里快乐马掀 – 人人都是产品经理, 从听不懂到完全信任:我的 Codex 深度产品体验 – 人人都是产品经理, 当虚拟偶像有了北京户口,与真人偶像还有什么区别? – 人人都是产品经理, 会说,远远比会做更重要 —— 对 SBTI 爆火现象的五层观察 – 人人都是产品经理, AI产品经理必看:当“搭环境”比“选模型”更重要,你的认知还在2024年吗? – 人人都是产品经理, 2026年AI产品商业化核心逻辑:从功能demo到规模化营收的3个必破卡点 – 人人都是产品经理, 京东围绕供应链,卷起裤腿下场的那些事儿 – 人人都是产品经理, SBTI一夜刷屏:它赢在了“太会说人话” – 人人都是产品经理, 折扣零售的真相:不是便宜,而是价值感! – 人人都是产品经理, 和甲方吵了一架,最后加钱做了——我学到的ToB产品经理生存法则 – 人人都是产品经理, 和几位小红书操盘手聊了8小时,干货全在这 – 人人都是产品经理, 智谱GLM-5.1登场,开源模型首超Opus4.6!!! – 人人都是产品经理 Anthropic收入凭什么反超OpenAI,终于有人把这事说清楚了 – 人人都是产品经理, 史上最有故事感的技术报告——Claude最强模型Mythos 7个极其精彩的细节 – 人人都是产品经理, 模型不是壁垒,Harness 也不是 – 人人都是产品经理, 抖音本地生活业务思考21 – 人人都是产品经理, Superpowers:145k Star的AI编码框架,到底是什么来头? Superpowers:145k Star的AI编码框架,到底是什么来头? – 人人都是产品经理, OpenAI 的路走错了,Anthropic Harness 解法启示:模型需要实践专科生 – 人人都是产品经理, 画原型图的前一步:设计站点地图 – 人人都是产品经理, 给 DeepSeek 的最后一封催更信 – 人人都是产品经理, 手把手教你用 Claude Code 搭建 AI 营销团队:5 个 Agent、12 项技能,独立完成研究、写作、设计全流程 – 人人都是产品经理, 你以为大模型在学语言?不,它在重新发明语言学 – 人人都是产品经理 所谓Skill,不过是AI时代的工业垃圾 – 人人都是产品经理, 聊一聊内容传播的几个方法 – 人人都是产品经理, 当平台开始吃掉生态:从 OpenClaw 被封杀,读懂 Anthropic 的这盘棋 – 人人都是产品经理, 你装了 10 个 AI 插件,Obsidian 还是一个文件夹 – 人人都是产品经理 关于AI智能体架构演进的系统性思考:从单体试水到多体协同的重构 – 人人都是产品经理, 当“人”变成Skill,我们又该何去何从? – 人人都是产品经理 Mythos 事件:前沿 AI 治理的意外实验 – 人人都是产品经理, 货代CRM:信用与风险管理怎么做,才能把坏账风险拦在放货之前? – 人人都是产品经理, 从HR收集自拍照到员工自助录入——我见证了园区人脸识别从”不可用”到”真好用”的全过程 – 人人都是产品经理 千问闯关AI混沌期:阿里画靶,吴嘉张弓,马云射箭? – 人人都是产品经理,
推荐策略在图库行业的应用
Damon · 2023-12-07 · via 人人都是产品经理

文章从图库行业的产品需求出发,分析了基于内容的推荐、协同过滤推荐、 多臂老虎机策略、上下文感知推荐和人工规则推荐,这五种常见的推荐策略具体如何进行应用,并简单介绍了ALS算法。推荐对算法推荐模式感兴趣的同学阅读。

一、背景

以内容为主体的产品(应用/网站)往往离不开推荐策略,如何在搜索功能之外,将用户感兴趣的内容推送到用户面前,提高内容的点击率、下载率、购买率是当前互联网行业一个非常通用性的问题。

我基于自己在图库行业的工作经验,以图库行业为示例,简单说一下推荐策略在图库行业的应用。文中重点会讲述推荐策略中协同过滤推荐策略(矩阵分解实现)的落地,并给出常见的推荐策略供大家参考。

二、产品需求

图库行业,如何让用户快速找到自己心怡的图片并为止付费,是一个行业内重要的话题。第一个大途径是搜索,第二个大途径则是推荐。本文不讨论搜索如何优化(召回、排序、行为数据反馈),就以图片推荐为切入点,讲解图库行业是如何应用推荐策略的。

产品需求或者说产品目标很简单,通过一个推荐策略,把用户感兴趣的内容放到他的面前。

三、推荐策略选择

我所在的公司,在国内图库行业算是塔尖的公司,因此实际积累了大量的用户行为数据(搜索、点击、下载、收藏),这些数据可以应用来给用户推送优质的内容。我们主要选择的推荐策略有:

  • 基于内容的推荐
  • 协同过滤推荐(矩阵分解实现)
  • 多臂老虎机策略(Multi-Arm Bandit Strategy)
  • 上下文感知推荐
  • 人工规则推荐

1. 基于内容的推荐

详情页相关内容推荐

在图片的详情页(大图页)中,用户已经打开了一张图片,那么用户对这张图片的主题、风格可以认为是相对满意的,这个时候我们需要推送基于这张图片的相关内容就有可能命中用户的需求。

详情页内容的推荐主要从两个方向考虑:

  1. 同组图片
  2. 相似图

其中,同组图片满足的需求场景是:用户需要成套系的图片,或者对这个模特很满意需要别的动作的场景。在供稿人上传图片时,会将同一组场景的内容放到一起,行成组图。这个可以作为同组图片的推荐。

相似图,整体有两个方案,一是从视觉层面的相似,二是从内容主题上的相似。其中视觉层面的相似有两个弊端:

  1. 对于计算资源消耗较大,成本较高。
  2. 两张图片过于相似,只有细微变化,可能不符合用户的需求。完全相似的画面内容,在质量、主题上与原图重合度、相似度过高。

而基于内容主题上的相似,即两张图片主体、场景甚至色彩相似,但是不一样,这个对于用户浏览中的扩展阅读是非常棒的体验。我们的实现逻辑,是基于原始图片的关键词与图库中其他图片的关键词比对,计算相似度(或者重叠率),取出相似度最高的TOP100图片。

(1)获取图片ID及图片对应的关键词ID(为了防止二义性、解决同义词、可控性等问题,将关键词转为关键词ID进行系统性管理)。

(2)遍历所有图片,计算每张图片和其他所有图片的关键词重合度(即A有关键词a,B是否有关键词a,然后根据重合的数量、重合关键词在A和B图关键词中的占比情况,综合计算重合度),以关键词重合度作为图片之间的相似度。

(3)取每张图片相似度最高的TOP100张图。

(4)以上循环,每天对新入库的图跑一次数据(确保新入库图上线后即可有相似图推荐)。每月对全量库中图跑一次数据(保证新入库的图可以作为被关联图关联上)。

(5)数据存储如Redis,在每张图片详情页被访问时,查询100张相似图。

以上整个方案其实有两个点我们做了重点的优化:

  • 由于有一些关键词,非常常见,大多数图片都有,无具体对图片的描述含义,这部分会影响关键词重合度的计算,污染相似度数值。例如:1个、图片、画等。这部分关键词应该进行过滤,过滤后再去计算重合度和相似度。
  • 由于同组图片,在社区上传时,关键词会是一模一样,这部分会和上面说的同组图片大部分重合(这类图肯定相似度最高),会导致推荐位大量图片重复。因此解决办法是,将同组图、相似图合并为“推荐图片”栏目进行展示,并且依据图片ID去重。

2. 协同过滤推荐(矩阵分解实现)

猜你喜欢

在给用户推荐内容时,我们设置了“猜你喜欢”栏目,在图片首页。该部分本质实现思路是协同过滤的推荐逻辑,最终因为考虑到数据规模、计算性能的问题,采用了矩阵分解(ALS)的实现方式。

协同过滤本质逻辑是,A用户下载了a、b、c、d图,B用户下载了a、b、c、e、f图,综合所有用户下载记录的比对,我们认为A和B下载的图重合度较高,即A和B用户较为相似,那我们认为B下载了e、f图,A还没下过,所以我们将e、f推送给A,将A下载的d图推送给B,从而实现了基于用户-用户的协同过滤。

但是由于整个网站用户量级是千万级,图片是亿级,想要构建千万级×亿级的矩阵(并且每个用户下载过的图片肯定总量不大,在千级别,导致这个矩阵非常稀疏),对于系统的计算量来说非常巨大,效率很低下(这个数据需要每日计算一次)。因此直接通过协同过滤推荐逻辑,将下载视为直接因子来构建矩阵实现图片推荐,性价比极低。

综合考虑,采用了基于模型训练的实现方式,即矩阵分解,采用了ALS训练算法训练预测用户喜好(即推荐图片) 的ALS模型。通过ALS算法,交替固定用户因子和图片因子来最小化重建误差、求解结果。通过模型训练,将下载图片作为重要行为,发现用户和图片之间的潜在因子,通过调用模型预测用户喜好完成图片推荐。

(1)通过用户下载日志(业务系统&埋点系统)获得用户ID及对应历史下载图片ID。

(2)清洗数据,将错误的、为空的数据删除。

(3)数据转换,将数据的类型进行统一。

(4)数据加载,数据存储至HBase。

(5)调取Spark MLlib库中ALS(Alternating Least Squares)算法训练模型。

(6)存储训练的ALS模型。

(7)调用ALS模型,传入用户id获取推荐的100张图。

(8)遍历库中所有有下载行为的用户id,重复以上模型预测过程,存储推荐图片ID(和用户ID关联)到HBase。

(9)用户访问图片详情页时,通过user_id调取API接口,获取推荐图片IDs,将推荐图片存入Redis(每日定点清空重置Redis)。

(10)同一用户当日再次访问网站,直接读取Redis。

以上方案仅针对历史有过下载行为的用户有效,对于无下载行为的用户无法训练,则直接展示网站在前3日下载最多的图片。

3. 多臂老虎机策略(Multi-Arm Bandit Strategy)

搜索结果排序

这个地方在本文不详说,多臂老虎机策略本质上平衡“探索(Exploration)”、“利用(Exlpoitation)”,即给出一些没有数据积累的推荐内容来尝试,同时给出一些有数据积累的好的推荐内容来利用。对于搜索图库场景是根据每张图片被点击、收藏、下载的概率来调整图片推荐的优先级(在搜索场景则是排序)。

具体的实现方式是在每个关键词下,图片被搜索、点击、收藏、下载数据进行计算,通过搜索/下载转化率、曝光/下载转化率、下载绝对值、点击绝对值、收藏绝对值等计算图片在这个关键词下的权重,对用户数据积累较多的,进行高权重展示(排序靠前),即“利用”。

而为了防止强者恒强、弱者无曝光导致排序固化,会以一些比较特殊的方式,在搜索结果集插入一些没有数据积累的图片测试用户反馈,即“探索”部分。

4. 上下文感知推荐

搜索页的关联专题推荐

在搜索页,用户搜索图片时,根据用户的搜索词,进行人工运营的图片专题推荐。

5. 人工规则推荐

(1)热门下载图片推荐

在网站首页,提供近3日下载得最多的图片展示,同时为了防止排序固化强者恒强,定期对排序进行打乱保证页面内容的更新。

(2)最新图片

对于入库时间最新的图片,进行展示。但是为了保证展示的效果,对图片内容进行质量分级,仅展示高质量的内容,并且防止组图上传导致图片重复度过高,依据上传作者进行图片去重。

(3)人工运营专题

由运营和编辑,根据临近的商机节点,例如节日、重大事件等,挑选高质量的、新上传的图片,建立专题,专题在首页和搜索页均有曝光展示。

(4)分类导航推荐

也是人工运营推荐的一种,推荐思路是根据用户的行业、使用场景等维度,将所有图片细分到各个分类,帮助用户在不知道怎么组织搜索词时,可以循序渐进的找到自己想要的内容。这种方式对于新手用户体验较好,但是弊端是需要较大量的人工支持。

对于图片数量较少的图库可以采用这种方式,或者通过机器+人工的方式帮助分类。通过CLIP模型实现图片内容识别,从而实现自然语言搜索后,可以根据预先分析好的分类场景便利的批量分类图片。

四、常用推荐策略脑图

总结归纳的一些常用推荐策略,可以参考,不一定非常准确,很多定义是需要在实践中摸索,不同的推荐策略也可以结合使用。

五、ALS算法概要

本文中用来推荐图片的ALS算法,一些基本的概念帮助大家快速了解,感兴趣的同学可以扩展了解一下,很多的推荐方法、算法、模型都已经非常成熟了,条条大路通罗马,只要明确了用户的需求自己的目标,总是能达到的。

本文由 @Damon 原创发布于人人都是产品经理。未经许可,禁止转载

题图来自Unsplash,基于CC0协议

该文观点仅代表作者本人,人人都是产品经理平台仅提供信息存储空间服务。