惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

云风的 BLOG
云风的 BLOG
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
IT之家
IT之家
Recent Announcements
Recent Announcements
B
Blog
D
Docker
V
V2EX
GbyAI
GbyAI
L
LangChain Blog
博客园 - Franky
U
Unit 42
T
The Blog of Author Tim Ferriss
A
About on SuperTechFans
博客园 - 【当耐特】
Google DeepMind News
Google DeepMind News
H
Hackread – Cybersecurity News, Data Breaches, AI and More
Vercel News
Vercel News
博客园_首页
D
DataBreaches.Net
人人都是产品经理
人人都是产品经理
Y
Y Combinator Blog
量子位
Blog — PlanetScale
Blog — PlanetScale
罗磊的独立博客

人人都是产品经理

为什么你的产品找不到差异化?90%的失败都卡在第一步上(下) – 人人都是产品经理, 3年从30万到1300万用户、获2200万美元融资,这个AI教育产品用“抽卡”破解了获客难题 – 人人都是产品经理, 园区招商系统怎么做才能真正帮到去化?我加了这一个功能,推广链接转发400次阅读过万 – 人人都是产品经理, AI大事件:OpenAI发完网络安全模型又搞药物研发,小鹏汽车要抓”DeepSeek时刻” – 人人都是产品经理, 电商不是卖货,是一场更残酷的产品经理实战 – 人人都是产品经理, 没想到,活动营销又回来了! – 人人都是产品经理, 为何All-in海外KOC:一场关于AI时代窗口期的豪赌 – 人人都是产品经理, 重新理解企业的内部协作 – 人人都是产品经理, 苹果的 AI 战略到底是什么? – 人人都是产品经理, 医疗智能体·第2讲——合规护城河:等保、PIPL与HIPAA的架构实战 – 人人都是产品经理, 向量知识库五步法:从“答非所问”到“精准回复” – 人人都是产品经理, 鸿蒙PC三方库构建总指挥HPKBUILD(sha)库为例 – 人人都是产品经理, 何时该用LLM?AI产品经理的LLM设计指南 – 人人都是产品经理, 医疗信息领域的需求方、决策方、准入方以及关注点(二) – 人人都是产品经理, 即梦涨价:一场被误读的「傲慢」 – 人人都是产品经理, 面试AI PM必答题:Hermes和OpenClaw的区别,如何讲清楚业务价值 – 人人都是产品经理, AI的下一张船票:世界模型——AI产品经理必须理解的技术拐点 – 人人都是产品经理, 小红书做GEO,怎么让AI信你?记住这 3 个重要信息 – 人人都是产品经理, 5 家印度 AI 初创公司,看看印度 AI 再做什么 – 人人都是产品经理, AI项目跨团队协作:产品技术业务如何不打架 – 人人都是产品经理, Agentic Workflow(智能体工作流):让AI从”答案生成器”变成”数字员工” – 人人都是产品经理, lycium_plusplus 项目全景解读:OpenHarmony 三方库构建的“大管家” – 人人都是产品经理, 从爆单救火到前置履约:两套预采策略,把生鲜大促履约效率拉满 – 人人都是产品经理, 什么时候该补货?我用一轮数据做了一个决定 – 人人都是产品经理, 从“机械兜底”到“动态分流”:AI客服重复进线治理的4大底层逻辑 – 人人都是产品经理, 抖音拼效率,红书拼洞察 – 人人都是产品经理, 全民狂欢与退潮——为什么龙虾这波热潮冷却得如此之快? – 人人都是产品经理, Stripe押注!MPP重塑全球支付 – 人人都是产品经理, 小红书GEO:AI引用你的内容,不是因为你对,而是因为你看起来可信 – 人人都是产品经理, 前百度副总裁押注办公Agent,日韩付费爆发,Manus迎来强劲对手 – 人人都是产品经理,
AI回归模型评估指标:MSE、RMSE、MAE、R2
AI小当家 · 2024-01-08 · via 人人都是产品经理

怎么评估AI回归模型的预测结果,计算回归模型预测值与真实值之间的差距?这篇文章里,作者介绍了常见指标的含义与计算方式,一起来看看吧。

上文介绍了如何利用混淆矩阵、KS和AUC等指标来评估分类模型的性能,今天我们来看一下如何评估回归模型的预测结果。

不管是分类模型还是回归模型的评估,其本质都是为了计算真实值和预测值之间的“差异”。

分类模型的“差异”体现在分类结果是否正确,而回归模型的“差异”则体现在预测值与真实值有多大的差距。

那么如何计算回归模型预测值与真实值的差距呢?常见的指标有MSE、RMSE、MAE、R²,我们来看看它们的计算方法。

一、MSE、RMSE、MAE的含义和计算

我们以一个预测气温的回归模型为例,模型计算出未来15天的气温(预测值),15天过后我们可以得到每天的实际气温(实际值),我们以此数据为基础,来计算该模型预测值与实际值的差异。

最直接的计算方式,就是计算每天气温的差值,并把差值相加即可。

但是有可能存在负数的差值,为避免正负数的差值互相抵消的情况,我们可以把每天的差值求平方之后,再相加,就可以得到一个表现差异的总数值。

因为天数是不固定的,天数越多,总差异值肯定就越大,所以我们需要再除以天数(15天),以得到一个更加通用的评估指标——MSE。

MSE(Mean Squared Error):均方误差,就是求出每天真实值和预测值的差值平方,求和后再除以天数。

我们看到,MSE有一个求平方的过程,但是平方会导致误差放大,并且使差值的量纲发生变化,为了统一量纲,我们再对MSE值求一个平方根,就是RMSE。

RMSE(Root Mean Squared Error):均方根误差,是对MSE值求平方根之后的结果。

避免正负数的差值互相抵消的方式,除了平方之外,还可以求绝对值,我们将每天的差值求绝对值,再相加除以天数,就是MAE指标了。

MAE(Mean Absolute Error):平均绝对误差,就是求出每天真实值和预测值差值的绝对值,求和后再除以天数。

整体来说,MSE会放大差异,更容易被发现,适合在开发过程中使用。MAE采用的是更简洁的计算,最接近真实的误差值,常用来作为实际评估指标。而RMSE经过了平方再开方,其数值会比MAE略大一点。

二、R²的含义和计算

我们已经可以利用MSE等指标计算模型预测值和实际值的差异了,看起来好像已经够用了,但是我们得到的是个数值,这个数可能是50、100,也可能是一万、八千,那么到底什么样的数值才是合理的呢?

只看MSE等求和类的指标的话,就显得不够直观了,我们需要想办法得到一个“系数”,来直观的表达模型预测结果的好坏,这个系数就是R²。

R²(R Squared 决定系数)= (TSS – RSS)/TSS,其中TSS为总离差平方和(实际值和实际值均值之间的差值平方和),RSS为残差平方和(实际值和预测值之间的差值平方和)。

R2的值一般都在0-1的范围内,越接近1,说明模型预测效果越好。

当然如果预测值非常离谱,导致RSS过大,超过TSS值的话,R2也可能是负值,说明模型预测效果非常差。

总结

本文我们介绍了回归模型的评估指标,学习完这两篇文章之后,我们就掌握了评估模型性能的基本方法。

下篇文章,我会再详细介绍如何评估模型的稳定性,敬请期待。

本文由 @AI小当家 原创发布于人人都是产品经理,未经许可,禁止转载

题图来自 Unsplash,基于 CC0 协议

该文观点仅代表作者本人,人人都是产品经理平台仅提供信息存储空间服务。