惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

Martin Fowler
Martin Fowler
V
Visual Studio Blog
有赞技术团队
有赞技术团队
T
Tailwind CSS Blog
B
Blog
I
InfoQ
博客园 - 三生石上(FineUI控件)
阮一峰的网络日志
阮一峰的网络日志
F
Fortinet All Blogs
H
Help Net Security
博客园 - Franky
宝玉的分享
宝玉的分享
博客园 - 司徒正美
C
Check Point Blog
G
Google Developers Blog
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
Jina AI
Jina AI
T
The Blog of Author Tim Ferriss
MongoDB | Blog
MongoDB | Blog
云风的 BLOG
云风的 BLOG
A
About on SuperTechFans
罗磊的独立博客
大猫的无限游戏
大猫的无限游戏
IT之家
IT之家

人人都是产品经理

为什么你的产品找不到差异化?90%的失败都卡在第一步上(下) – 人人都是产品经理, 3年从30万到1300万用户、获2200万美元融资,这个AI教育产品用“抽卡”破解了获客难题 – 人人都是产品经理, 园区招商系统怎么做才能真正帮到去化?我加了这一个功能,推广链接转发400次阅读过万 – 人人都是产品经理, AI大事件:OpenAI发完网络安全模型又搞药物研发,小鹏汽车要抓”DeepSeek时刻” – 人人都是产品经理, 电商不是卖货,是一场更残酷的产品经理实战 – 人人都是产品经理, 没想到,活动营销又回来了! – 人人都是产品经理, 为何All-in海外KOC:一场关于AI时代窗口期的豪赌 – 人人都是产品经理, 重新理解企业的内部协作 – 人人都是产品经理, 苹果的 AI 战略到底是什么? – 人人都是产品经理, 医疗智能体·第2讲——合规护城河:等保、PIPL与HIPAA的架构实战 – 人人都是产品经理, 向量知识库五步法:从“答非所问”到“精准回复” – 人人都是产品经理, 鸿蒙PC三方库构建总指挥HPKBUILD(sha)库为例 – 人人都是产品经理, 何时该用LLM?AI产品经理的LLM设计指南 – 人人都是产品经理, 医疗信息领域的需求方、决策方、准入方以及关注点(二) – 人人都是产品经理, 即梦涨价:一场被误读的「傲慢」 – 人人都是产品经理, 面试AI PM必答题:Hermes和OpenClaw的区别,如何讲清楚业务价值 – 人人都是产品经理, AI的下一张船票:世界模型——AI产品经理必须理解的技术拐点 – 人人都是产品经理, 小红书做GEO,怎么让AI信你?记住这 3 个重要信息 – 人人都是产品经理, 5 家印度 AI 初创公司,看看印度 AI 再做什么 – 人人都是产品经理, AI项目跨团队协作:产品技术业务如何不打架 – 人人都是产品经理, Agentic Workflow(智能体工作流):让AI从”答案生成器”变成”数字员工” – 人人都是产品经理, lycium_plusplus 项目全景解读:OpenHarmony 三方库构建的“大管家” – 人人都是产品经理, 从爆单救火到前置履约:两套预采策略,把生鲜大促履约效率拉满 – 人人都是产品经理, 什么时候该补货?我用一轮数据做了一个决定 – 人人都是产品经理, 从“机械兜底”到“动态分流”:AI客服重复进线治理的4大底层逻辑 – 人人都是产品经理, 抖音拼效率,红书拼洞察 – 人人都是产品经理, 全民狂欢与退潮——为什么龙虾这波热潮冷却得如此之快? – 人人都是产品经理, Stripe押注!MPP重塑全球支付 – 人人都是产品经理, 小红书GEO:AI引用你的内容,不是因为你对,而是因为你看起来可信 – 人人都是产品经理, 前百度副总裁押注办公Agent,日韩付费爆发,Manus迎来强劲对手 – 人人都是产品经理,
风控建模的常见误区与一般建议
并步跳步交叉步 · 2023-01-17 · via 人人都是产品经理

有些时候,风控建模的模型并不是越复杂越好,模型的审核也是很有必要的。除此之外,风控建模还有哪些误区呢?本文作者分享了风控建模的一些常见误区和建议,一起来看一下吧。

一、建模的标签不是固定的

一般情况下,风控数据比赛的数据都有既定的好坏用户样本标签,在此基础上可以直接着手特征工程与模型训练。而实务中,样本标签是要权衡数据与业务两个因素才能最终确定:

  • 从数据角度来看,坏样本个数要大于1000个以上(一般经验)才能保证建模的学习性能;
  • 从业务角度来看,坏样本尽可 能地取自真实的坏样本,尽可能少地误杀好用户。

数据与业务两者是相互拉扯的,想要获得更多的坏样本,就需要表现期足够短,但好用户被误杀的可能也更大;要想少的好用户被误杀,就要求表现期足够长,这样最终能确定的坏样本更少更精确。因此在确定标签时要多用数据尝试,找到这两个因素的平衡点。

二、模型并不是越复杂越好

有些刚入门的朋友会觉得深度模型与集成模型效果一定比简单的线性模型效果好。甚至在一些简单项目上也要优先尝试复杂模型,但效果也许并不理想。就好比杀鸡焉用牛刀。炫技不是目的,解决问题才是。

其实,在一些简单的项目中,逻辑回归就能很好的满足性能要求,且健壮性极好;在简单问题上使用复杂模型很容易造成overfitting,进而降低模型的泛化能力。

三、模型的审核很有必要

许多机构在模型开发上往往是一人独立承担一个(甚至多个)模型项目的开发工作,从数据准备、特征工程、再到建模与调优。虽然极大降低了人力成本,但也带来问题,除了交付时间难以保证,更重要的是很容易发生模型集中度风险。

在模型团队内部或外部设立审核小组,从数据、代码、业务应用场景、建模流程等多方面对模型组开发的模型进行全方位诊断,以此降低模型集中度风险的发生。这种组织结构早已在国外多家数据驱动型金融机构践行。

四、慎用AutoML

AutoML顾名思义就是自动化的机器学习,一直都是业内热门,最大特点是可以替代大部分AI训练师繁琐重复的工作。大家都知道,模型的开发需要大量的人工干预,主要表现在特征构建、特征演变、特征提取、模型选择与参数调节等方面。AutoML视图将这些与特征、模型、优化、评价有关的重要步骤进行自动化地学习,使得机器学习模型无需人工干预即可被应用,以此大大降低模型开发的时间成本,应用AutoML可以将全流程人工条件下为期2-4周的开发作业压缩到最短半天。

一个完整的AutoML过程可以分成这么两类:一类是将以上的三个步骤整合成一个完整的pipeline;另一类则是network architecture search,能够自动地学习到最优的网络结构。在学习的过程中,对特征工程、模型选择、算法选择都进行了一些优化。

虽然AutoML有着大大降低模型开发时间成本、提升模型精度等多种优势,但在特征构建与演变中,很容易脱离实际业务指导模型的意义,无法从特征上体现出与风险目标明显的业务相关性。尤其是模型后段应用类似逻辑回归等线性算法时,对于模型稳定性、效力下降时,模型问题溯源成为难点。

因此,对于AutoML的使用,更建议应用在反欺诈、精准营销等不需要明示业务与模型的关联场景上,对于风控场景,可以在子模型的开发上多加应用,或者AutoML+人工干预。完全实现风险模型开发与上线自动化,还为时尚早。

五、特征选择:仅仅区分度高还不够

在做特征构造和筛选的时候,往往大家都会把区分度好的特征都堆进模型,这样在测试集上的模型性能会非常的好看,但在挑选特征的时候,除了区分度之外,还有其他的因素也是不能忽略的:

1. 覆盖度

如果特征的覆盖度不够高,就不能在众多样本上发挥作用,更不能提升模型的线上的整体性能。一般覆盖度达到20%以上时,可以考虑使用。覆盖度较低的特征需要分析其业务属性,如果该特征的缺失值比较具有区分能力,比如涉诉信息,可以考虑将该特征作为黑/白名单使用,而没有业务含义的极少客户才有的特征数据,区分度不大,就没有必要用。

2. 稳定性

在信贷业务中,特征具有时间属性,特征是否稳定,对于模型效果来说影响重大。同一个特征在不同时间段内的分布很可能不一致,我们需要筛选出相对稳定的特征,这样建出来的模型才会在时间上具有平稳性。在特征分布随时间的推移下相对稳定的前提下,基于历史学习到的统计信息才能在未来较长时间内保持区分度。

3. 可解释性

风控的对象是人,我们要透过数据去理解人的行为,所以我们构建的特征是需要人能够理解其风险情况的,我们经常通过数据构建并验证假设来建立模型。进而可以得到一系列规则并应用于业务中去(自顶向下的方法),其中可解释性是整套方法的解释,它衔接了规则和所产生的行为策略。

很多时候因果关系不那么明确,一个坚实的模型就需要为决策提供可靠的解释,帮助人们清晰的理解。如果一个特征的效果很好,但它在风险上的表现和我们常识无法理解甚至完全违背,这样的特征是很难去说服业务方采纳的。

六、不是所有好的特征都要入模

这里主要强调的是特征与业务开展情况的关系。比如地理位置的信息的区分度非常好,但业务却是按地区逐步推广开展的,不同地区的运营方式和产品有差异,那地理信息调整的灵活度很大,那么此时考虑放在策略中往往更合适;随着业务的演进,如果已经覆盖了许多地区,各个地区的统计信息具有稳定的分布表现,此时模型中使用地理位置信息就变的很有用了。

作者:王小宾;微信公众号:一起侃产品

本文由@并不跳步交叉步 原创发布于人人都是产品经理。未经许可,禁止转载。

题图来自 Unsplash,基于 CC0 协议

该文观点仅代表作者本人,人人都是产品经理平台仅提供信息存储空间服务。