OpenAI описала Performance Factory для поиска регрессий ChatGPT
19 ноября OpenAI рассказала о системе, где Codex проходит задачу от сигнала о замедлении до предложения исправления и проверки после выката. Изменение по-прежнему проверяют инженеры.

От сигнала до проверки
19 ноября OpenAI описала Performance Factory, внутреннюю систему автоматизации расследований производительности. В процессе Regression Workflow алерт открывает задачу, агент изучает метрики и код, фиксирует гипотезу и предлагает pull request. Инженер оценивает изменение и решает, принимать ли его. После выката агент проверяет, вернулась ли система к baseline.
Компания сообщает о более чем 1 700 расследованиях и свыше 600 найденных корневых причинах за чуть более трех месяцев. Это внутренние данные OpenAI, а не независимое сравнение с обычной инженерной работой.
Из каких частей состоит система
В описании есть сервис задач с конфигурируемыми этапами, диспетчеризация готовой работы, облачный запуск Codex и подписки на события вроде ревью или deployment. Текущее состояние хранится в задаче, а не только в контексте агента. Работа может продолжиться после человеческой проверки, CI или релиза.
Для расследования агент определяет время начала замедления, затронутые запросы, релевантные метрики и изменения кода. OpenAI пишет об использовании внутренних логов, трасс, профилей CPU и инструментов наблюдаемости. Запуск выполняется под отдельной сервисной идентичностью.
Проверка диагноза
Ранние агенты иногда принимали правдоподобную причину за доказанную. OpenAI добавила отдельный сеанс, который пытается оспорить диагноз, проверяет временную связь и ищет контрпримеры. Это не просто переформулирование одного ответа: вторая сессия проверяет предположения первой.
Компания сообщает, что при ручной оценке ста предложений 70 процентов сочли точными; остальные требовали уточнения или не устанавливали причинную связь полностью. Выборка не доказывает такую точность для любых сервисов или классов регрессий, но показывает, почему авторы сохраняют ревью.
Исправление требует отдельного контроля
Верный диагноз не гарантирует хорошее изменение. Исправление может быть сложным, не устранять источник или породить другую проблему. Поэтому инженер просматривает pull request, а для предложенных исправлений добавлена отдельная критика. После выката проверяется реальное восстановление метрик.
Если результат частичный, workflow может открыть отдельную задачу на оставшееся ухудшение. Это лучше, чем считать открытый PR завершенной работой. Метрики до и после связывают диагноз с эффектом.
Что можно перенести в свою практику
Публикация описывает внутреннюю систему OpenAI, а не доступный продукт. Полезные идеи для платформенной команды: хранить состояние вне сессии, запускать оспаривание гипотез, фиксировать доказательства, оставлять слияние человеку и заранее задавать baseline.
Для подобных workflow нужны минимальные права, стоп-условия при неполном доказательстве, журнал действий и безопасная ветка для изменений. Агента не следует наделять самостоятельным production-доступом только за то, что он сформулировал причину.
Пределы заявления
OpenAI представляет свои цифры и опыт внутренней эксплуатации. В другой архитектуре отличаются сигналы, инструменты и профиль ошибок. Показатель расследований не равен числу исправленных проблем, а установленная причина не равна восстановлению. Ценность подхода определяется подтверждаемым диагнозом и фактической проверкой после релиза.
Метрики workflow
Сохраняйте временные ряды до и после релиза, версию deployment, traces затронутых запросов, гипотезы и контрпримеры. Измеряйте отдельно время расследования, подтвержденные причины, восстановление после изменения и отклоненные PR. Установленная причина не равна исправленной проблеме.
Первую автоматизацию можно ограничить сбором доказательств и созданием draft задачи. Слияние и production rollout остаются у инженера. Внутренние цифры OpenAI не дают прогноза для другой инфраструктуры.
Зачем задача хранит состояние
Сигнал, гипотеза, pull request, ревью и проверка после deployment возникают в разное время. Внешнее состояние позволяет продолжить работу после ожидания человека и служит журналом действий. Каждый вывод стоит связать с источником: метрикой, trace, версией или сравнением запросов.
Метрику скорости расследования отделяйте от фактического восстановления. Считайте долю подтвержденных диагнозов, время до baseline, повторные регрессии и изменения, отклоненные инженером. Сам факт открытого pull request не означает устранения проблемы.
Граница автономии
Первый workflow можно ограничить чтением данных и созданием draft задачи или ветки. Слияние и deployment остаются за инженером. Запишите стоп-условия для недостаточных данных, конфликтующих причин и нетипичного сервиса. Предложение агента не должно обходить обычное ревью.
Сначала проверьте процесс на сохраненных инцидентах, затем запустите его в теневом режиме. Цифры OpenAI относятся к ее внутренним сервисам, сигналам и инструментам и не дают прогноза для другого стека.
Проверка цикла на исторических инцидентах
Подготовьте набор прошлых регрессий с метриками, версиями, причиной и итоговым исправлением. Уберите сведения, появившиеся после начала расследования, иначе агент увидит ответ заранее. Оцените время до верной гипотезы, использование свидетельств, число отвергнутых альтернатив и качество draft-изменения.
Отдельно проверьте пропуски: агент может найти известные случаи, но не заметить новую разновидность деградации. Ошибочные диагнозы должны возвращаться в набор evals. Не допускайте, чтобы финальная проверка метрики использовала тот же сигнал, который послужил триггером, без независимого подтверждения восстановления.
Источник и дата события
Событие объявлено 19 ноября 2026 года. инженерная публикация OpenAI о Performance Factory: официальная публикация.