Критерии производительности

Существуют ряд измерений, которые могут быть использованы для оценки эффективности прогнозирующей системы. Среди них наиболее важными являются: точность прогнозирования, стоимость системы, результирующая польза, свойства стабильности и отзывчивости.

Точность метода прогнозирования определяется на основе анализа возникшей ошибки прогнозирования. Если Xt это реальное наблюдение за период t и Xt это сделанный ранее прогноз, ошибка прогнозирования за период t

et = Xt – Xt (1.1)

Для конкретного процесса и метода прогнозирования ошибка прогнозирования рассматривается как случайная величина со средним E(e) и вариацией Ge. Если при прогнозировании отсутствует систематическая ошибка, то E(e) = 0. Поэтому для определения точности прогнозирования используется ожидаемая квадратичная ошибка

E [|et|] = E [|Xt-Xt|]

или ожидаемая квадратичная ошибка

E [et2] = E [(Xt-Xt)2] (

Заметим, что ожидаемая квадратичная ошибка обычно называется средней квадратичной ошибкой, и соответствует Ge2, если существует систематическая ошибка прогнозирования.

При анализе ошибки прогнозирования, общепринято каждый период использовать так называемый тест пути сигнала. Целью этого теста является определение, присутствуют ли систематическая ошибка прогнозирования. Путевой сигнал вычисляется путем деления оцененной предполагаемой ошибки прогнозирования на измеренную вариацию ошибки прогнозирования, определенную как среднее абсолютное отклонение. Если в прогнозе отсутствует систематическая ошибка – путевой сигнал должен быть близок к нулю.

Конечно, стоимость является важным элементом при оценке и сравнении методов прогнозирования. Ее можно разделить на одноразовые затраты на разработку и установку системы и затраты на ее эксплуатацию. Что касается затрат на эксплуатацию, то разные прогнозирующие процедуры могут очень сильно отличаться по стоимости получения данных, эффективности вычислений и уровню действий, необходимых для поддержания системы.

Польза прогноза в улучшении принимаемых решений зависит от горизонта прогнозирования и формы прогноза также как и от его точности. Прибыль должна измеряться для всей системы управления как единого целого и прогнозирование – только один элемент этой системы.

Мы можем также сравнивать методы прогнозирования с точки зрения реакции на постоянные изменения во временной последовательности, описывающей процесс, и стабильности при случайных и кратковременных изменениях.

Обсудить на форуме | опубликовано: 9.01.07