Оценка ошибки прогнозирования временного ряда

Это старая запись с моего личного сайта, который будет удален в ближайшее время. За 15 лет он набрал 63К+ просмотров. Хочу его перенести сюда, чтобы он дальше набирал свои просмотры.

Оценка ошибки прогнозирования временного ряда

Работая с научными публикациями, сталкиваюсь с различными показателями ошибок прогнозирования временных рядов. Среди всех встречающихся оценок ошибки прогнозирования стоит отметить две, которые в настоящее время, являются самыми популярными: MAE и MAPE. Пусть ошибка есть разность:

$e(t) = Z(t) - \hat{Z}(t),$

где – фактическое значение временного ряда, а $\hat{Z}(t)$ – прогнозное. Тогда формулы для оценок ошибки прогнозирования временных рядов для N отчетов можно записать в следующем виде.

MAPE – средняя абсолютная ошибка в процентах

$MAPE = \frac{1}{N} \cdot \sum_{t=1}^{N}{ \frac{|Z(t) - \hat{Z}(t)|}{Z(t)}} \cdot 100\%.$

Данная оценка применяется для временных рядов, фактические значения которых значительно больше 1. Например, оценки ошибки прогнозирования энергопотребления почти во всех статьях приводятся как значения MAPE.

Если же фактические значения временного ряда близки к 0, то в знаменателе окажется очень маленькое число, что сделает значение MAPE близким к бесконечности – это не совсем корректно. Например, фактическая цена рынка на сутки вперед = 0.01 руб/МВт.ч, a прогнозная = 10 руб/МВт.ч, тогда MAPE = (0.01 – 10)/0.01 = 999%, хотя в действительности мы не так уж сильно ошиблись, всего на 10 руб/МВт.ч. Для рядов, содержащих значения близкие к нулю, применяют следующую оценку ошибки прогноза.

MAE – средняя абсолютная ошибка

$MAE = \frac{1}{N} \cdot \sum_{t=1}^{N}{ |Z(t) - \hat{Z}(t)|}$

Для оценки ошибки прогнозирования цен рынка на сутки вперед и индикатора балансирующего рынка корректнее использовать MAE.

После того, как получены значения для MAPE и/или MAE, то в работах обычно пишут: «Прогнозирование временного ряда энергопотребления с часовым разрешение проводилось на интервале с 01.01.2001 до 31.12.2001 (общее количество отсчетов N ~ 8500). Для данного прогноза значение MAPE = 1.5%». При этом, просматривая статьи, можно сложить общее впечатление об ошибки прогнозирования энергопотребления, для которого MAPE обычно колеблется от 1 до 5%; или ошибки прогнозирования цен на электроэнергию, для которого MAPE колеблется от 5 до 15% в зависимости от периода и рынка. Получив значение MAPE для собственного прогноза, вы можете оценить, насколько здорово у вас получается прогнозировать.

Кроме указанных иногда используют другие оценки ошибки, менее популярные, но также применимые. Подробнее об этих оценках ошибки прогноза читайте указанные статьи в Википедии.

MSE – среднеквадратичная ошибка

$MSE = \frac{1}{N} \cdot \sum_{t=1}^{N}{ (Z(t) - \hat{Z}(t))^2 }$

RMSE – квадратный корень из среднеквадратичной ошибки

$RMSE = \sqrt{MSE}$

ME – средняя ошибка

$ME = \frac{1}{N} \cdot \sum_{t=1}^{N}{ (Z(t) - \hat{Z}(t)) }$

МЕ иногда называют смещение (bias). Если при моделировании полученная МЕ далека от нуля, то у вашей модели много шансов быть существенно улучшенной.

SD – стандартное отклонение

$SD = \sqrt{ \frac{1}{N} \cdot \sum_{t=1}^{N}{ (\hat{Z}(t) - ME)^2 }},$

где ME – есть средняя ошибка, определенная по формуле выше.

Связь точности и ошибки прогнозирования

Точность прогнозирования есть понятие прямо противоположное ошибке прогнозирования. Если ошибка прогнозирования велика, то точность мала и наоборот, если ошибка прогнозирования мала, то точность велика. По сути дела оценка ошибки прогноза MAPE есть обратная величина для точности прогнозирования — зависимость здесь простая.

Точность прогноза в % = 100% – MAPE

Величину точности оценивать не принято, говоря о прогнозировании всегда оценивают, то есть определяют значение именно ошибки прогноза, то есть величину MAPE и/или MAE. Однако нужно понимать, что если MAPE = 5%, то точность прогнозирования = 95%. Говоря о высокой точности, мы всегда говорим о низкой ошибки прогноза и в этой области недопонимания быть не должно. Вы практически не найдете материалов о прогнозировании, в которых приведены оценки именно точности прогноза, хотя с точки зрения здравого маркетинга корректней говорить именно о высокой точности. В рекламных статьях всегда будет написано о высокой точности.

При этом величина MAPE является количественной оценкой именно ошибки, и эта величина нам ясно говорит и о точности прогнозирования, исходя из приведенной выше простой формулы. Таким образом, оценивая ошибку, мы всегда оцениваем точность прогнозирования.

推荐订阅源

Все публикации подряд на Хабре