API предсказаний, которые обходят человеческих аналитиков (и вот почему)

В 2007 году Федеральный резервный банк Нью-Йорка опубликовал квартальный экономический прогноз, в котором ожидал рост ВВП США на уровне 2,6% в 2008 году. Менее чем через год экономика страны уже сократилась на 3,3%. Это стало одним из самых резких спадов со времён Великой депрессии.

Проблема в этом случае была не в уровне экспертизы аналитиков. Им не хватало механизма, который позволял бы проверять точность собственных прогнозов и корректировать их. За последнее десятилетие появился новый класс инструментов прогнозирования — так называемые prediction API.

Prediction API — это программные интерфейсы, которые используют структурированные данные на входе и выдают откалиброванную вероятность на выходе. Каждое такое значение получает оценку после того, как событие происходит. В совокупности эти оценки формируют автоматическую и непрерывную систему обратной связи — то, что человеку воспроизвести структурно практически невозможно.

В этом материале разбираем, что такое prediction API, как они работают и как команды строят на их основе реальные системы.

Что на самом деле представляют собой prediction API

API рынков предсказаний принимает структурированные данные, описывающие текущее состояние мира, и выдает оценку вероятности для заранее заданного будущего сценария или диапазона значений. Входные данные могут включать исторические временные ряды, сигналы событий, рыночные цены, макроэкономические показатели, поведенческие данные и любую информацию, связанную с конкретным событием — например, результатами выборов в США или инфляцией.

Важно, что результат — это не интерпретация или мнение. Это числовая вероятность, откалиброванная моделью. На выходе всегда число от 0 до 1. По своей природе такие API принципиально отличаются как от аналитических прогнозов, так и от API на базе ИИ.

Аналитические прогнозы формируются на основе экспертных суждений, которые сначала существуют в виде текстовой интерпретации, а затем переводятся в числовые оценки. Например, прогнозы ВВП инвестиционных банков или целевые цены аналитиков. Такие оценки подвержены когнитивным искажениям, не имеют системной обратной связи и не проходят регулярной вероятностной проверки.

Модели на базе статистики или ИИ — это алгоритмы машинного обучения, обученные на исторических данных. Они возвращают вероятностные распределения, а при поступлении новых данных пересчитываются и калибруются заново. Например, API спроса от PredictHQ используют Uber, Marriott и другие крупные компании.

API, основанные на рынках или коллективном мнении, агрегируют тысячи ставок участников финансовых рынков и преобразуют их в вероятностные оценки. К таким решениям относятся Polymarket на базе блокчейна Polygon, регулируемый CFTC Kalshi и академическая платформа Metaculus.

Откуда prediction API берут данные

Разные API используют разные наборы данных, но в продакшн-системах чаще всего применяются несколько типов источников. Исторические временные ряды — это прошлые значения прогнозируемой переменной: динамика ВВП, спрос, цены или погодные данные. Чем длиннее и качественнее эти ряды, тем лучше система распознаёт закономерности.

Рыночные сигналы отражают коллективные ожидания участников рынка относительно будущего. Это могут быть цены опционов, фьючерсные кривые, кредитные спрэды или движение доходности облигаций.

Событийные данные фиксируют конкретные события, влияющие на поведение и спрос: конференции, концерты, спортивные мероприятия, политические события и праздники. Поведенческие сигналы включают поисковые запросы, настроение в соцсетях, индексы потребительской уверенности и результаты опросов.

REST vs WebSocket: архитектура API прогнозирования

Prediction API может работать по двум архитектурным моделям — REST и WebSocket, каждая из которых подходит для разных задач. REST API работает по модели «запрос — ответ»: клиент отправляет запрос, сервер возвращает вероятность, соединение закрывается.

Такой подход подходит для дашбордов с периодическим обновлением, пакетной обработки данных и регулярных отчётов по рискам. WebSocket API поддерживает постоянное соединение и отправляет обновления по мере их появления. Например, Polymarket использует WebSocket для непрерывной передачи изменений в ордербуке и цен.

Такая архитектура необходима для задач в реальном времени — алгоритмической торговли, операционных дашбордов и систем оповещений о рисках, где задержка напрямую влияет на результат.

Выбор между ними зависит от допустимой задержки в получении данных. Например, модель планирования запасов может спокойно работать через REST без потери точности. А торговая система, которая оценивает деривативы на основе исхода выборов, — уже нет.

Прогнозы в реальном времени vs моментальные оценки

Ещё одно важное различие — нужно ли отслеживать вероятность во времени или достаточно разовой оценки. Моментальные (snapshot) прогнозы фиксируют вероятность в конкретный момент. Этого достаточно для стратегического планирования. Например:
— какова вероятность рецессии в ближайшие 12 месяцев
— какова вероятность, что спрос на продукт превысит прогноз на 20%

Такие вопросы можно решить одним API-запросом, сохранить результат и обновлять его с заданной периодичностью.

Прогнозы в реальном времени необходимы тогда, когда сама вероятность становится сигналом для действия и быстро меняется. Например, данные Polymarket показывают, что точность прогнозов заметно растёт по мере приближения к завершению события. Но такая точность имеет смысл только в том случае, если система умеет реагировать на обновления по мере их поступления. О том, как децентрализованные платформы применяются в финансовых и инвестиционных сценариях, мы писали здесь.

Доказательство на данных: точность важнее экспертизы

Алгоритмическое прогнозирование на базе ИИ всё чаще обходит человеческих экспертов. Чтобы показать это, рассмотрим несколько контролируемых сравнений с большими выборками и строгими методами оценки.

Есть три ключевые метрики, которые позволяют честно оценить качество прогнозной системы: Brier Score, Log Score и калибровочные кривые.

Brier Score

Метрика Brier Score была предложена метеорологом Glenn Brier в 1950 году для оценки погодных прогнозов. Она измеряет среднеквадратичную ошибку между предсказанной вероятностью и фактическим бинарным исходом.

Например, если вы оценили вероятность события в 70%, и оно произошло, ваш Brier Score составит 0,09:
(0,7 − 1)² = 0,09

Если событие не произошло — 0,49:
(0,7 − 0)² = 0,49

Чем ниже значение, тем лучше. Различия между системами могут казаться небольшими, но на практике они имеют серьёзное значение. К теме оценки данных и точности моделей мы уже обращались ранее — подробнее об этом здесь.

Log Score

Log Score, или логарифмическая оценка, — более строгая метрика. Она резко наказывает за уверенные, но ошибочные прогнозы. Если модель даёт 99% вероятности событию, которое в итоге не происходит, она получает крайне плохую оценку. Если важно понимать, насколько модель правильно оценивает свою уверенность, чаще используют Log Score. Он лучше выявляет ситуации, когда система ошибается, но при этом выдает прогноз с высокой уверенностью. Brier Score реагирует на такие ошибки слабее.

Калибровочные кривые

Калибровочные кривые — это визуальный инструмент. Если система даёт 70% вероятности для 100 разных событий, то примерно 70 из них должны произойти.

Если построить график между предсказанной вероятностью и фактической частотой, идеально откалиброванная система будет давать диагональную линию. В отличие от людей, которые часто слишком уверены в своих выводах, prediction API постоянно сверяют прогнозы с реальными результатами. Поэтому их оценки обычно оказываются ближе к реальности.

Важно понимать, почему различие между калибровкой и «сырой» точностью критично в реальной работе. Прогнозист может быть прав в 70% случаев, но при этом заявлять 95% уверенности в каждом прогнозе.

Организации, которые верят этим 95%, недооценивают риски и страхуются меньше, чем нужно. В то время как модель с честной оценкой в 68% на практике оказывается более полезной и точной.

Примеры из реальной практики: разрыв в калибровке у экспертов

Пример 1. Избыточная уверенность в Survey of Professional Forecasters

Исследователи из UC Berkeley Haas School of Business и University of Pennsylvania в 2024 году опубликовали работу в журнале Collabra: Psychology. Они проанализировали 16 559 прогнозов из Survey of Professional Forecasters — эконометрического опроса, который проводится с 1968 года.

Профессиональные прогнозисты в среднем оценивали свою уверенность на уровне 53%, тогда как фактическая точность составляла лишь 23%. Соотношение заявленной уверенности к реальной точности превышало 2:1.

При этом более опытные участники действительно показывали чуть более высокую точность, но одновременно были и более переуверенными. В итоге выигрыш в точности нивелировался ухудшением калибровки.

Пример 2. Good Judgment Project

С 2011 по 2015 год исследовательское подразделение разведсообщества США — Intelligence Advanced Research Projects Activity — проводило турнир по прогнозированию, чтобы найти методы повышения точности геополитических прогнозов.

Проект Good Judgment Project под руководством Филлипа Тетлота стал победителем. Уже в первый год он превзошёл контрольную группу на 60% по Brier Score, а во второй — на 78%. Более того, он оказался на 25–30% точнее аналитиков разведсообщества, имевших доступ к закрытой информации.

Ключевым фактором стала строгая дисциплина калибровки, основанная на системе оценки. Участники получали мгновенную обратную связь по Brier Score после каждого завершённого события. Переуверенность сразу становилась измеримой и очевидной.

Пример 3. Polymarket и выборы в США 2024 года

API платформы Polymarket отслеживал публикацию голосов, судебные решения и изменения явки в режиме реального времени во время выборов в США в 2024 году. Постфактум анализ показал, что рыночные цены Polymarket точнее отражали итоговые результаты, чем большинство агрегированных опросов. Средний Brier Score составил 0,0581 на выборке около 90 000 прогнозов.

Для сравнения, современные погодные модели показывают сопоставимые значения при прогнозировании осадков на горизонте 12 часов — в области, где накоплено более 70 лет вычислительных исследований.

Сравнение, опубликованное в International Journal of Forecasting, показало, что рынки предсказаний в среднем на 22–30% точнее традиционных опросов по метрике Brier Score.

Калибровка: почему prediction API остаются «честными» со временем

Когда говорят о качестве прогнозов, чаще всего имеют в виду точность. Но есть более глубокая характеристика — калибровка. Именно она определяет, можно ли вообще доверять системе и строить на её основе решения. Эти два показателя связаны, но не равны, и разница между ними на практике оказывается критичной.

Система считается хорошо откалиброванной, если среди всех прогнозов с вероятностью X% событие действительно происходит в X% случаев. Например, если модель погоды даёт 70% вероятности дождя, то в долгосрочной перспективе дождь должен идти примерно в 70% таких ситуаций. Калибровку оценивают визуально — через калибровочные кривые — и количественно, например, через разложение Brier Score.

Разложение Brier Score

Метрику Brier можно математически разделить на два независимых компонента:

— Надёжность (reliability) — насколько заявленные вероятности соответствуют фактическим частотам. Это и есть калибровка в строгом смысле.
— Разрешающая способность (resolution) — насколько система делает уверенные, различающиеся прогнозы, а не «застревает» около 50%.

Система может выглядеть откалиброванной, если она просто присваивает всем событиям вероятность 50%. Формально это сложно опровергнуть, но на практике это бесполезно. В профессиональной среде это называют «эпистемической трусостью»: формально корректно, но операционно бессмысленно. Хорошая система должна сочетать и калибровку, и решительность.

Переуверенность и эффект «дальних исходов»

На практике добиться этого человеку крайне сложно. Те же когнитивные механизмы, которые помогают быстро принимать решения в условиях неопределённости, приводят к переуверенности, когда речь идёт о формальных вероятностях.

Есть и противоположный эффект — так называемый longshot bias. Он хорошо задокументирован на рынках предсказаний. В этом случае редкие события систематически недооцениваются, а почти гарантированные — переоцениваются. Это ошибка на краях распределения, которую можно измерить на исторических данных. Современные prediction API учитывают этот эффект и корректируют его с помощью алгоритмов.

Петля обратной связи

Когда аналитик публикует прогноз по ВВП и ошибается, у него нет автоматического механизма, который бы измерил степень переуверенности, оценил её и скорректировал будущие прогнозы. Обновление происходит через социальные и профессиональные процессы — медленно, выборочно и с искажениями.

В prediction API всё происходит иначе. Если прогноз оказывается неверным, система автоматически фиксирует данные: время, вероятность, входные параметры и результат. Затем функция оценки рассчитывает вклад в Brier Score, и этот результат сохраняется в базе. Если это статистическая модель, отклонение сразу влияет на следующее переобучение — веса в модели корректируются с учётом ошибки.

Как это применяется на практике: архитектура систем

Понять, как работают prediction API — это одно. Построить на их основе рабочую систему — совсем другое. В реальных продуктах обычно используется трёхуровневая архитектура.

Первый уровень — сбор данных (data ingestion). Это самый трудоёмкий этап. Здесь данные собираются из разных источников, очищаются и приводятся к единому формату. Это могут быть рыночные данные, CRM, экономические отчёты, события, погодные API.

Второй уровень — слой прогнозирования. Здесь происходит обращение к API и получение вероятности. Обычно этот слой максимально простой: он отвечает за авторизацию, лимиты запросов, повторные попытки и обработку ответа.

Третий уровень — слой принятия решений. Именно здесь появляется бизнес-логика. Система может запускать алерты при достижении порогов, обновлять риск-модели, визуализировать данные или автоматически принимать решения — например, менять ордера, хеджировать позиции или перераспределять ресурсы.

Где это используется

Prediction API применяются в самых разных задачах — от высокочастотной торговли до операционного планирования.

• В финансовых рынках — для отслеживания вероятностей событий в режиме почти реального времени.
• В прогнозировании спроса — для оценки пиков в ритейле, транспорте и гостиничном бизнесе.
• В системах управления рисками — для отслеживания вероятностей геополитических или экономических событий и автоматического запуска сигналов.
• В сценарном моделировании — когда команды прогоняют разные сценарии и получают вероятностную оценку каждого из них.

Где возникают проблемы при интеграции

Несмотря на потенциал, такие системы часто ломаются в одних и тех же местах. Несоответствие по задержкам. Если API отдаёт обновления каждые 100 миллисекунд, а система принимает решения раз в час, возникает иллюзия точности без реальной пользы.

Лимиты запросов. При превышении лимитов запросы начинают обрабатываться с задержкой, что делает бессмысленным использование данных в реальном времени. Например, стандартный тариф Polymarket позволяет около 1000 запросов в час — этого хватает для обновлений раз в несколько секунд, но может быть недостаточно при мониторинге большого числа рынков. Платформы вроде Kalshi и Manifold Markets предлагают более щедрые лимиты.

Нормализация данных. Вероятности, которые возвращают API, зависят от условий конкретного рынка и не всегда напрямую совпадают с критериями внутри системы. Например, контракт Kalshi на инфляцию выше 3,5% может не совпадать с внутренним определением «высокого инфляционного риска».

Сложности с авторизацией. Разные API требуют разные подходы. Например, Polymarket использует цифровые подписи EIP-712 — это стандарт из блокчейн-экосистемы, требующий инфраструктуры Web3-кошельков. В то время как Kalshi применяет HMAC-SHA256 — привычный для большинства backend-разработчиков механизм, похожий на авторизацию в AWS.

API против аналитиков: экономика прогнозирования в масштабе

Преимущество prediction API перед командами аналитиков связано не только с точностью. Речь также о том, как меняются точность, стоимость и надёжность по мере роста объёма задач. Человеческая аналитика масштабируется нелинейно. Prediction API — да.

Стоимость одного прогноза

Старший экономист в крупной финансовой организации — это не только зарплата. В полную стоимость входят бонусы, инфраструктура, подписки на данные и расходы на комплаенс. В год такой специалист выпускает примерно 150–250 значимых обновлений прогнозов. Если взять среднее значение, один прогноз обходится примерно в $1500 — без учёта времени тех, кто затем читает и интерпретирует этот анализ.

В случае API затраты несопоставимо ниже. Вызовы статистических моделей стоят доли цента при масштабировании. Обработка текста уровня аналитической записки через модели класса GPT-4 сегодня обходится примерно в $0,50–$3,00 в зависимости от длины и версии модели. Доступ к данным рынка предсказаний через API Polymarket и вовсе остаётся бесплатным для пользователей. Ранее мы уже разбирали, как устроены децентрализованные рынки и на чём строится их логика — подробнее об этом здесь.

Скорость обновлений

Рынки предсказаний агрегируют информацию от участников, у которых есть финансовая мотивация реагировать на новости мгновенно. В отличие от этого, институциональные аналитики работают в рамках квартальных циклов пересмотра прогнозов. Более того, внутренние процедуры согласования часто сдерживают резкие изменения до тех пор, пока не сформируется общий консенсус.

Консистентность, проверяемость и история результатов

Человеческие прогнозы плохо воспроизводимы. Два аналитика в одной организации, имея одинаковые данные, могут прийти к разным вероятностям. Prediction API, напротив, дают стабильный результат: одинаковые входные данные — одинаковый выход. Статистическая модель возвращает одну и ту же вероятность для одного и того же набора параметров при каждом вызове.

Доверие к вероятностным системам: дашборды, бэктесты и роль человека

Внедрение prediction API — это не только техническая задача, но и вопрос доверия. Люди принимают решения на основе вероятностей, которые они сами не считали, используя системы, которые они не разрабатывали, и в условиях, которые они не контролируют.

Сначала это может казаться непривычным. Поэтому важна архитектура, которая помогает выстроить доверие: дашборды точности, постоянное бэктестирование и прозрачная история результатов.

При этом prediction API не заменяют человека полностью. В нестандартных и быстро меняющихся ситуациях связка «человек + модель» показывает лучший результат, чем любой из них по отдельности. Лучше всего человек и API работают вместе: система строит прогнозы, а человек оценивает их и принимает решения в сложных ситуациях.