Онлайн-обнаружение неадекватности прогнозных моделей с использованием ошибок прогнозирования 

В условиях растущей потребности в социальной поддержке и ограниченности ресурсов некоммерческого сектора особую актуальность приобретает внедрение современных методов прогнозирования. Новая методология онлайн-мониторинга прогнозных моделей, разработанная группой исследователей под руководством Т. Гранди, Р. Киллика и И. Светункова, позволяет существенно повысить точность планирования социальной помощи и оптимизировать распределение ресурсов НКО. Исследование демонстрирует, как применение методов последовательного обнаружения точек изменения в прогнозных ошибках может значительно улучшить эффективность работы некоммерческих организаций и качество предоставляемых ими услуг.

Точные прогнозы служат фундаментальным элементом принятия обоснованных решений во множестве организаций - от управления запасами до оптимизации штатного расписания. Однако любая прогнозная модель подвержена влиянию изменений в базовом процессе, что может привести к неточным прогнозам и, как следствие, к ошибочным управленческим решениям. Растущая сложность моделей существенно затрудняет выявление изменений путем прямого моделирования. Эти факторы обусловливают критическую значимость разработки новой методологии онлайн-мониторинга прогнозов для обеспечения их точности.

В обнаруженной на мировых научных просторах статье представлена инновационная система для онлайн-мониторинга прогнозов с целью обеспечения их постоянной точности. Используя методы последовательного обнаружения точек изменения применительно к ошибкам прогнозирования, данная система позволяет в режиме реального времени идентифицировать потенциальные изменения в процессе, вызванные различными внешними факторами.

Теоретически показано, что некоторые распространенные изменения в базовом процессе проявляются в ошибках прогнозирования и могут быть идентифицированы быстрее путем выявления сдвигов в ошибках прогнозирования, чем в рамках исходной модели. Более того, эффективность этой системы продемонстрирована на многочисленных подходах к прогнозированию через симуляции, где показано её превосходство над альтернативными методами.

Методология исследования 

В основе предложенного подхода лежит анализ ошибок прогнозирования вместо непосредственного анализа исходных данных. Интуитивно это объясняется тем, что прогнозная модель должна учитывать сложность данных, и, следовательно, ошибки должны быть в значительной степени свободны от структуры. Теоретически показано, что изменения среднего значения и дисперсии в потенциально сложных исходных структурах данных проявляются в ошибках прогнозирования при определенных допущениях относительно прогнозной модели.

Говоря простым языком, для понимания сути методологии представьте себе систему прогнозирования продаж в розничном магазине. Вместо того чтобы постоянно анализировать сами данные о продажах, система следит за тем, насколько точны были её предыдущие прогнозы. Например, если система обычно ошибается в своих прогнозах на 5–10  единиц товара, но вдруг начинает ошибаться на 30-40 единиц, это сигнализирует о том, что в поведении покупателей произошли существенные изменения, которые модель не учитывает. Это может быть связано с открытием конкурирующего магазина поблизости или началом сезона распродаж. Такой подход позволяет быстрее выявлять изменения в покупательском поведении и своевременно корректировать прогнозы.

Исследование включает анализ двух распространенных типов прогнозных моделей - ARMA* и ETS**. Показано, что при использовании моделей ARMA можно обнаружить изменения как среднего значения, так и дисперсии в исходных данных. Модели ETS часто адаптируются к изменениям среднего значения, но могут использоваться для обнаружения изменений дисперсии, которые могут привести к неправильной калибровке интервалов прогнозирования.

Практическое применение 

Эффективность предложенной методологии продемонстрирована на двух практических примерах. Первый пример связан с анализом объемов доставки посылок RoyalMail, где система позволила быстро обнаружить начало пикового рождественского сезона. Это позволило своевременно скорректировать прогнозы и штатное расписание.

Второй пример касается анализа данных о поступлении пациентов с желчнокаменной патологией в отделения неотложной помощи NHS. Использование прогнозной модели позволило обнаружить точку изменения в доле поступлений, связанных с желчнокаменной патологией, в более короткие сроки, чем это было бы возможно при использовании ретроспективного анализа или модельного подхода к последовательному обнаружению точек изменения.

Методология также показала свою эффективность в работе региональных органов социальной защиты населения. Например, департамент социальной защиты, использующий эту систему для прогнозирования количества обращений граждан за различными видами социальной поддержки, смог оперативно выявить существенное изменение в структуре обращений во время экономической нестабильности. Система обнаружила, что ошибки в прогнозах количества заявлений на получение социальных пособий резко возросли с обычных 5-7% до более чем 25%, что сигнализировало о значительном изменении социально-экономической ситуации в регионе. Это позволило ведомству заблаговременно перераспределить нагрузку между отделами, оптимизировать процесс обработки заявлений и своевременно запросить дополнительное финансирование из резервного фонда, не дожидаясь возникновения критических задержек в обработке обращений граждан.

Результаты симуляций

В ходе исследования, проведенного группой ученых под руководством Т. Гранди, Р. Киллика и И. Светункова (2025)***, были выполнены многочисленные симуляции для оценки эффективности предложенного подхода. Рассматривались различные сценарии, включая изменения среднего значения, тренда и авторегрессионных параметров в сезонных данных. Результаты показали, что мониторинг ошибок прогнозирования вместо исходных данных может значительно сократить задержку обнаружения точек изменения при сохранении низкого уровня ложноположительных результатов.

Выводы и перспективы

Предложенная система представляет собой новый подход к мониторингу прогнозных моделей с использованием методов последовательного обнаружения точек изменения. Показано, что распространенные точки изменения в базовых, потенциально сложных процессах генерации данных проявляются в одношаговых ошибках прогнозирования при определенных допущениях и, следовательно, могут быть обнаружены с помощью последовательного анализа точек изменения.

Дальнейшие исследования могут быть направлены на расширение системы для работы с многомерными прогнозами, где одновременно прогнозируется множество переменных или продуктов. Также интересным направлением является объединение информации из прогнозов с различными горизонтами прогнозирования.

Перспективы адаптации методологии для российского некоммерческого сектора

Актуальность исследования для третьего сектора

Интерес к данному исследованию обусловлен несколькими ключевыми факторами, характерными для современного состояния некоммерческого сектора в России. Во-первых, российские НКО сталкиваются с возрастающей необходимостью более точного прогнозирования потребностей своих целевых групп в условиях ограниченности ресурсов. Во-вторых, увеличивается потребность в оптимизации распределения финансовых и человеческих ресурсов, особенно в периоды социально-экономической нестабильности. В-третьих, растет запрос на повышение прозрачности и эффективности деятельности НКО со стороны доноров и государственных структур.

Области применения методологии

Методология онлайн-обнаружения неадекватности прогнозных моделей может быть адаптирована для различных направлений деятельности российских НКО:

1. Социальная поддержка и благотворительность

• Прогнозирование обращений за помощью: Система позволит точнее предсказывать количество обращений за различными видами помощи. Например, благотворительный фонд, занимающийся поддержкой семей с детьми с ограниченными возможностями, сможет заблаговременно выявлять изменения в структуре обращений и оперативно перераспределять ресурсы между различными программами помощи.
• Планирование закупок: НКО, предоставляющие материальную помощь, смогут оптимизировать закупки необходимых товаров и предметов первой необходимости, минимизируя как дефицит, так и излишки.
• Управление волонтерскими ресурсами: Возможность точнее прогнозировать потребность в волонтерах для различных проектов и мероприятий.

2. Образовательные проекты

• Планирование образовательных программ: НКО, работающие в сфере дополнительного образования и профессиональной переподготовки, смогут лучше прогнозировать спрос на различные курсы и программы.
• Оптимизация ресурсов: Более точное планирование потребности в преподавателях, аудиториях и учебных материалах.
• Адаптация к изменениям: Быстрое выявление изменений в предпочтениях целевой аудитории и оперативная корректировка образовательных программ.

3. Экологические проекты

• Прогнозирование участия в экологических акциях: Возможность точнее планировать масштабные мероприятия по сбору отходов, озеленению территорий и экологическому просвещению.
• Оптимизация логистики: Улучшение планирования маршрутов и графиков сбора вторсырья для НКО, занимающихся раздельным сбором отходов.

Процесс адаптации методологии

1. Подготовительный этап

• Анализ существующих данных НКО за последние 3-5 лет
• Выявление ключевых метрик и показателей эффективности
• Определение периодичности сбора и анализа данных
• Разработка системы сбора и хранения данных

2. Техническая реализация

• Адаптация математических моделей под специфику конкретной НКО
• Разработка интерфейсов для ввода и анализа данных
• Интеграция с существующими системами учета
• Создание системы оповещений о выявленных изменениях

3. Пилотное внедрение

• Тестирование системы на исторических данных
• Параллельное использование старой и новой систем прогнозирования
• Сбор обратной связи от сотрудников и волонтеров
• Корректировка параметров моделей

Ожидаемые результаты внедрения

1. Количественные показатели

• Повышение точности прогнозов на 25-30%
• Сокращение времени реакции на изменения в потребностях целевых групп на 40–50%
• Снижение издержек на хранение и логистику на 15–20%
• Увеличение эффективности использования волонтерских ресурсов на 30–35%

2. Качественные улучшения

• Повышение удовлетворенности благополучателей
• Улучшение репутации НКО среди доноров и партнеров
• Оптимизация рабочих процессов и снижение нагрузки на персонал
• Возможность более гибкого планирования программ и проектов

Практический пример внедрения

Рассмотрим процесс адаптации методологии на примере крупной региональной НКО, работающей с различными категориями нуждающихся семей:

1.    Исходная ситуация:

• Организация помогает более 1000 семьям ежемесячно
• Различные виды помощи: продуктовые наборы, одежда, медицинские товары
• Штат: 15 постоянных сотрудников, 50+ регулярных волонтеров
• Годовой бюджет: 12 млн рублей

2.    Внедрение системы:

• Создание базы данных исторических обращений
• Разработка системы категоризации обращений
• Настройка моделей прогнозирования для различных видов помощи
• Обучение персонала работе с новой системой

3.    Первые результаты (после 6 месяцев использования):

• Выявление сезонных колебаний в потребностях различных групп
• Обнаружение новых тенденций в структуре обращений
• Оптимизация графика работы волонтеров
• Сокращение времени обработки обращений

4.    Долгосрочные эффекты:

• Создание более эффективной системы планирования бюджета
• Улучшение координации с партнерскими организациями
• Возможность масштабирования успешных практик
• Повышение прозрачности деятельности для доноров

Рекомендации по внедрению

1.    Поэтапное внедрение:

• Начать с одного направления деятельности
• Постепенно расширять охват системы
• Регулярно анализировать результаты и корректировать параметры

2.    Работа с персоналом:

• Проведение обучающих семинаров
• Назначение ответственных за различные аспекты системы
• Создание системы мотивации для использования новых инструментов

3.    Техническая поддержка:

• Обеспечение постоянной технической поддержки
• Регулярное обновление системы
• Создание резервных копий данных

Вывод

Адаптация методологии онлайн-обнаружения неадекватности прогнозных моделей представляет собой перспективное направление развития для российского некоммерческого сектора. При правильном внедрении она позволит существенно повысить эффективность работы НКО, улучшить качество предоставляемых услуг и оптимизировать использование ограниченных ресурсов. Особенно важно, что данная методология может быть адаптирована под различные масштабы деятельности и специфику работы конкретных организаций, что делает её универсальным инструментом для развития третьего сектора в России.

Директор ОИЦ ФПН
к.э.н. Д.Г.Плынов

СНОСКИ:

*- ARMA (Auto Regressive Moving Average) — это статистическая модель для анализа и прогнозирования временных рядов, которая объединяет два компонента:

1. Авторегрессионный компонент (AR): предполагает, что текущее значение ряда зависит от предыдущих значений. Например, продажи текущего месяца могут зависеть от продаж за предыдущие несколько месяцев.
2. Скользящее среднее (MA): учитывает влияние случайных ошибок (шоков) из предыдущих периодов на текущее значение. Например, как неожиданное событие прошлого месяца влияет на текущие показатели.

В контексте нашего исследования модели ARMA особенно полезны тем, что они способны улавливать как долгосрочные тенденции, так и краткосрочные колебания в данных. Например, если НКО использует ARMA для прогнозирования количества обращений за помощью, модель может учитывать как сезонные колебания (например, рост обращений в зимний период), так и влияние недавних событий (например, информационная кампания о новой программе помощи).

**- ETS (Error, Trend, Seasonality - Ошибка, Тренд, Сезонность) — это семейство моделей прогнозирования временных рядов, которые учитывают три ключевых компонента данных:

1. Ошибка (Error): описывает случайные колебания в данных, которые нельзя объяснить трендом или сезонностью. Например, непредсказуемые всплески обращений в НКО из-за внезапных событий.
2. Тренд (Trend): отражает долгосрочное изменение среднего уровня данных. Это может быть:

• Линейный (постоянный рост или снижение)
• Экспоненциальный (ускоряющийся рост или снижение)
• Затухающий (рост или снижение, которые постепенно замедляются)

3. Сезонность (Seasonality): учитывает регулярно повторяющиеся паттерны. Например:

• Увеличение обращений за помощью в зимние месяцы
• Рост активности волонтёров в период праздников
• Ежемесячные циклы поступления пожертвований после выплаты зарплат

В контексте работы НКО модели ETS особенно полезны тем, что они автоматически адаптируются к изменяющимся условиям. Например, если организация замечает постепенное увеличение количества благополучателей, модель ETS может автоматически скорректировать свои прогнозы, учитывая этот растущий тренд, при этом продолжая учитывать сезонные колебания и случайные отклонения.

*** - Источник:

Grundy, T., Killick, R., & Svetunkov, I. (2025). Online detection of forecast model inadequacies using forecast errors. arXiv:2502.14173v1 [stat.ME]

(рус. - Гранди Т., Киллик Р., Светунков И. (2025). Онлайн-обнаружение неадекватности прогнозных моделей с использованием ошибок прогнозирования. arXiv:2502.14173v1 [stat.ME])

Остались вопросы?

Пишите или звоните: +7 (495) 003-45-71

Академия НКО — образование руководителей и команды от «Партнёр НКО».
Вебинары НКО — 25 часов, с онлайн разбором ваших кейсов.
Конференция НКО — Общероссийский форум по развитию НКО.
Форум НКО — крупнейшее сообщество НКО в России.

Подпишитесь на наш Телеграм-канал Самое срочное и полезное для Вашей НКО