惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

云风的 BLOG
云风的 BLOG
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
博客园 - 叶小钗
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
V
V2EX
酷 壳 – CoolShell
酷 壳 – CoolShell
月光博客
月光博客
人人都是产品经理
人人都是产品经理
宝玉的分享
宝玉的分享
博客园 - 司徒正美
WordPress大学
WordPress大学
Microsoft Azure Blog
Microsoft Azure Blog
罗磊的独立博客
Vercel News
Vercel News
T
The Blog of Author Tim Ferriss
T
Tailwind CSS Blog
A
About on SuperTechFans
Apple Machine Learning Research
Apple Machine Learning Research
L
LangChain Blog
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
V
Visual Studio Blog
S
SegmentFault 最新的问题
Google DeepMind News
Google DeepMind News
博客园 - 聂微东

人人都是产品经理

为什么你的产品找不到差异化?90%的失败都卡在第一步上(下) – 人人都是产品经理, 3年从30万到1300万用户、获2200万美元融资,这个AI教育产品用“抽卡”破解了获客难题 – 人人都是产品经理, 园区招商系统怎么做才能真正帮到去化?我加了这一个功能,推广链接转发400次阅读过万 – 人人都是产品经理, AI大事件:OpenAI发完网络安全模型又搞药物研发,小鹏汽车要抓”DeepSeek时刻” – 人人都是产品经理, 电商不是卖货,是一场更残酷的产品经理实战 – 人人都是产品经理, 没想到,活动营销又回来了! – 人人都是产品经理, 为何All-in海外KOC:一场关于AI时代窗口期的豪赌 – 人人都是产品经理, 重新理解企业的内部协作 – 人人都是产品经理, 苹果的 AI 战略到底是什么? – 人人都是产品经理, 医疗智能体·第2讲——合规护城河:等保、PIPL与HIPAA的架构实战 – 人人都是产品经理, 向量知识库五步法:从“答非所问”到“精准回复” – 人人都是产品经理, 鸿蒙PC三方库构建总指挥HPKBUILD(sha)库为例 – 人人都是产品经理, 何时该用LLM?AI产品经理的LLM设计指南 – 人人都是产品经理, 医疗信息领域的需求方、决策方、准入方以及关注点(二) – 人人都是产品经理, 即梦涨价:一场被误读的「傲慢」 – 人人都是产品经理, 面试AI PM必答题:Hermes和OpenClaw的区别,如何讲清楚业务价值 – 人人都是产品经理, AI的下一张船票:世界模型——AI产品经理必须理解的技术拐点 – 人人都是产品经理, 小红书做GEO,怎么让AI信你?记住这 3 个重要信息 – 人人都是产品经理, 5 家印度 AI 初创公司,看看印度 AI 再做什么 – 人人都是产品经理, AI项目跨团队协作:产品技术业务如何不打架 – 人人都是产品经理, Agentic Workflow(智能体工作流):让AI从”答案生成器”变成”数字员工” – 人人都是产品经理, lycium_plusplus 项目全景解读:OpenHarmony 三方库构建的“大管家” – 人人都是产品经理, 从爆单救火到前置履约:两套预采策略,把生鲜大促履约效率拉满 – 人人都是产品经理, 什么时候该补货?我用一轮数据做了一个决定 – 人人都是产品经理, 从“机械兜底”到“动态分流”:AI客服重复进线治理的4大底层逻辑 – 人人都是产品经理, 抖音拼效率,红书拼洞察 – 人人都是产品经理, 全民狂欢与退潮——为什么龙虾这波热潮冷却得如此之快? – 人人都是产品经理, Stripe押注!MPP重塑全球支付 – 人人都是产品经理, 小红书GEO:AI引用你的内容,不是因为你对,而是因为你看起来可信 – 人人都是产品经理, 前百度副总裁押注办公Agent,日韩付费爆发,Manus迎来强劲对手 – 人人都是产品经理,
什么是好监控
雷帅 · 2024-09-02 · via 人人都是产品经理

好的监控不仅是结果的展示,更是问题发现的路径。监控需转化路径、模型效果,做好趋势与对比分析。文章强调,实时监控与风险预防对业务健康至关重要,揭示模型监控在问题发现与策略调整中的核心作用,为企业风控管理提供了宝贵见解。

好的监控,一定不只是展示某种结果,还要提供发现问题的路径。

如果监控发现了异常,难不成还要另做一套分析吗?不需要的,你的监控应该包括这部分功能。那怎么做呢?

监控转化路径,监控模型效果,做好趋势分析,对比对比,细分分析。光有一个数据是没有意义的,比较才能使其有洞见,怎么比?和过去比,和其他的比,分开了自己比。

例如ks下降了很多,你应该干什么?这等于,跟ks有关的有什么,那有什么呢?不要看,先想想,朋友们。

客群,不同的客群ks肯定是不一样的;

通过率,通过率发生变化,ks也会有影响;

风险,其实风险是不太会直接改变ks结果的,如果这里的风险变化是自变量而不是因变量的话。这里的意思是,什么都没变,风险发生了变化,例如疫情,其实ks不怎么变的,因为那几乎是等比例上涨。如果风险发生了变化,其实是因为收缩了策略降低了通过率,那它就不是自变量。

这在你的监控里得体现出来。如果只是一个ks,你就看不到客群,看不到通过率,看不到风险变化。

当然了,还有一个可能,那就是你的模型生产出问题了。实时模型的话线上字段发生了变化,工程上没顾及到,离线模型的话,则可能是特征字段或者依赖关系出问题了。但这些更应该在发生初期通过分布监控告警而知,而不是几个月后发现ks有问题。

于是,你还应该对比其他的模型。如果所有的模型都发生同样的趋势变化,你还那么担心某个模型出现异常吗?

监控其实没有固定模版,所有真正有用的东西都没有什么固定模版,它更取决于你到底要干什么。一个好的监控,意味着你清晰地知道要干什么。‍‍‍‍‍‍

又可以用一段之前写过的东西了。‍‍‍‍‍‍‍‍‍‍‍‍‍‍

最好的应对当然是在事前,你一定要非常清楚你的风险策略。它解决了什么问题,它没解决什么问题,它的弱点在哪里等等。

事前预防,但不能完全规避。风控策略做得再好,也是2倍的lift、3倍的lift,不可能是10倍的lift、100倍的lift,不可能把坏用户做绝了。如果做的已经不错了,就没必要天天盯着坏用户,要再降个10%、20%、30%。

最重要的应对在于事后,做好跟踪,做好对比。重贷轻管的风险管理思路让很多放贷机构对于存量客户的风险变化感知不足,而市场过度饱和又使得机构必须做好存户的精细化运营。精细化运营的必然要求就是精细化监控。‍‍‍‍‍‍‍

风险分析,一定要有合适的参考系,但也别一个劲儿地追求所谓的固定的某种参考系。额度策略是不是一定要用收入,我就举过一个例子,在朋友圈说过了:‍

把你关在一个完全隔绝的房子里,没有钟表,待三十天,待满给1kw。你待不下去的,过不了几天就会时间错乱,起初过去了十几个小时会以为过了一天,再后甚至会把2个小时当一天。不管做什么,你一定是需要一个参考系的。例如,额度策略里,收入就是这个参考系。但不同的是,你并不处在完全隔绝的环境里,你有很多背景信息,中国人的收入分布、这个行业大致的额度分布,等等。

不要让某种东西成为你的约束,让它成为你的助力。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

用一个问题说明跟踪对比的重要性吧。

提额用户的风险,应该和谁比?新用户,还是老用户,还是同质未提额的老用户?

提额用户的风险小于新用户就可以,你觉得这提升了放款额?错。提额用户的风险小于老用户就可以?也错,提额用户是老用户中的优质用户,提额增大了风险,一个往好一个往坏,哪个大?果不应超过因。‍‍‍

新用户的风险 > 老用户的风险 > 提额用户的风险 > 同质且未提额的老用户风险。这才是最合理的结果。‍‍‍‍‍‍‍‍‍‍‍

使用没有监控的模型,就像使用没有指针的钟表,它可能在工作,但你怎么知道呢?

本文由人人都是产品经理作者【雷帅】,微信公众号:【雷帅快与慢】,原创/授权 发布于人人都是产品经理,未经许可,禁止转载。

题图来自Unsplash,基于 CC0 协议。