Как восстановить хронологию ИТ-инцидента с помощью ИИ
Соберите последовательность сигналов, не превращая совпадение по времени в доказанную причину сбоя.

Сформулируйте вопрос и границы
Укажите сервис, влияние, владельца разбора, версии и пояс. Начало деградации, обнаружение, эскалация и восстановление могут иметь разные отметки. Включите контекст до и после окна, чтобы увидеть фон и задержанные очереди. Сохраните ID инцидента и критерий завершения. Соседний сигнал не включайте только из-за близкого времени.
Если начало спорно, оставьте несколько кандидатов и основания. Первый алерт показывает обнаружение, не обязательно начало воздействия; вернувшийся график не доказывает восстановление каждого пользователя. Уточняйте окно по обращениям и метрикам. Не выбирайте только записи, поддерживающие уже принятую версию.
Соберите источники и их происхождение
Запросите мониторинг, поддержку, релизы, конфигурацию, заметки дежурных и зависимости. Для файла укажите систему, фильтр, период, задержку доставки, дату экспорта и владельца. Сырые копии сохраните неизменными. Каждая строка хронологии ссылается на событие или тикет, чтобы другой инженер мог повторить проверку.
Удалите секреты и персональные сведения, не нужные разбору. Сохраните ключи корреляции, связывающие запрос в шлюзе, очереди и сервисе. Уточните, разрешена ли передача модели; иначе используйте очищенную выборку. Отсутствие события в одном источнике не доказывает, что его не было: проверьте фильтр и покрытие.
Нормализуйте время, сохраняя оригинал
Система может хранить UTC, локальное время, браузерную отметку или момент приема коллектором. Храните исходную строку, пояс, пересчитанный UTC, время получения и погрешность в отдельных полях. Отметьте дрейф часов, задержку доставки и переход на летнее время. Не заменяйте исходное значение пересчетом.
Если две записи различаются на секунды, а очередь задерживает данные на минуту, их порядок неизвестен. Покажите диапазон или общий блок. Проверьте преобразование на событиях с независимыми часами. Модель меняет формат даты, но не знает, было ли исходное поле временем сервера или устройства пользователя.
Отделите сигнал от интерпретации
Размечайте наблюдение, действие, сообщение пользователя, изменение, гипотезу и подтвержденный вывод. «Ошибки выросли в 10:14» - наблюдение; «релиз вызвал рост» - гипотеза. Попросите модель указать событие, которое подтверждает категорию. Слово «возможно» в заметке нельзя превращать в факт.
Сохраните время с точностью, компонент, источник, пользовательский эффект и статус проверки. Противоречащие отметки покажите обе. Не выбирайте одну, потому что она лучше вписывается в рассказ. Причинный вывод добавьте отдельно с автором и свидетельством. Пробел назначьте на уточнение.
Покажите дорожки влияния и действий
Разведите пользовательский эффект, внутренние сигналы и действия команды. Первое обращение не равно началу сбоя, первый алерт не обязательно совпадает с началом воздействия. Отметьте обнаружение, эскалацию, изменение, откат и проверку. Для показателя укажите единицу и знаменатель: долю ошибок, регионы или сессии.
Подпишите фильтры и окна графика. Пустая линия может значить отсутствие телеметрии, а не норму. Изменение панели может менять набор событий. Если метрика пришла поздно, покажите задержку наблюдения. Так отчет различает изменение системы и момент, когда его заметили.
Проверьте версии и альтернативы
Сопоставьте окно с релизами, флагами, нагрузкой, DNS, сертификатами, внешним поставщиком и работами. Близость во времени задает направление проверки, но не доказывает причину. Исследуйте очередь, всплеск запросов, учетные данные и сам мониторинг. Сравните регионы и версии; найдите примеры, где эффект начался до релиза.
Для гипотезы запишите тест, нужный журнал, владельца и срок. Статус отражает свидетельства, не впечатление модели. Если данных мало, укажите ограничение и то, что могло бы опровергнуть версию. Это защищает от выбора одного удобного события задним числом.
Сделайте итог повторяемым
Сводка включает окно, влияние, сигналы, действия, источники, расхождения, гипотезы и неизвестное. Разделите триггер, распространение, обнаружение и восстановление. Если причина не установлена, скажите об этом. Назначьте владельцев вопросов и критерий закрытия. Второй дежурный должен пройти от вывода к журналу.
Сохраните преобразования времени и версии выгрузки. После разбора определите, каких данных не хватало и можно ли улучшить наблюдение без лишнего сбора сведений. Цель - точнее повторить анализ в следующий раз, а не заполнять каждый пробел догадкой.
Разбор примера и контроль
Допустим, обращения появились в 10:20, алерт - в 10:24, а график ошибок показывает рост с 10:13. Лог одного узла отстает на две минуты. Не пишите, что сбой начался ровно в 10:13. Зафиксируйте интервал, сравните отметки источников, проверьте выборку запросов и время поступления в коллектор. Действие команды в 10:31, откат в 10:38 и восстановление пользователей в 10:46 - разные события, каждое со своей ссылкой.
Чек-лист: сохранены исходные отметки и пояс; каждая строка ссылается на источник; факты отделены от гипотез; альтернативы проверены; итог просмотрен владельцем. Показывает ли первый алерт начало инцидента? Нет. Что делать при расходящихся часах? Сохранить оригиналы и погрешность. Может ли модель назвать причину? Только предложить версию для проверки.
Постройте проверяемый пример временной линии
Представьте рост ошибок API, в это же время идет плановая ротация сертификата, а сообщения поддержки запаздывают на пять минут. Создайте отдельные строки: начало пользовательского эффекта по метрике, поступление первого алерта, изменение конфигурации, доставка тикета и подтверждение восстановления. Для каждого укажите окно погрешности. Не называйте ротацию причиной, пока проверка не покажет ошибки проверки сертификата и совпадение затронутых запросов.
Пусть аналитик повторит выборку по другому источнику: например, сверит времена балансировщика и приложения. Если часы расходятся, рассчитайте максимальное смещение и отметьте, какие события точно предшествовали другим, а где порядок неизвестен. Такой вывод полезнее одной псевдоточной метки времени. В итог включите не только график, но и таблицу первичных ссылок, иначе смена не сможет проверить последовательность.
Критерии полноты и безопасное завершение
Проверка считается законченной, когда ключевые этапы имеют источники, временные преобразования воспроизводятся, а отсутствующие данные явно названы. Сверьте: пользовательский эффект, обнаружение, эскалацию, изменение, восстановление и повторный контроль. Убедитесь, что время алерта не подменяет время начала, а восстановление метрики не подменяет успешное действие пользователя. Для каждого спорного вывода назначьте проверяющего и срок.
Секреты вычищайте до отправки в модель; рабочие идентификаторы оставляйте только в закрытой среде и лишь если нужно связать события. Не прикладывайте полный лог к публичному отчету. Сохраняйте очищенную копию, правила фильтрации и владельца доступа. После инцидента удалите временные экспорты по установленному сроку. Качество разбора оценивайте по способности другого инженера повторить путь от исходного события до вывода, а не по гладкости резюме.
Согласуйте словарь и уровень уверенности
До разбора определите значения «начало», «обнаружение», «влияние», «смягчение» и «восстановление». Команды иногда называют восстановлением возврат метрики, хотя повторные задачи еще не обработаны. Согласованный словарь позволяет сравнивать отчеты между сменами. Для каждого события указывайте точность источника: автоматический timestamp, ручная запись, диапазон или оценка задним числом. Не превращайте оценку в точное время при сортировке.
Если две команды сообщают разные моменты, сохраните обе ссылки и назначьте владельца сверки. Проверьте синхронизацию часов, очередь доставки, фильтр панели и локальный пояс автора. В отчете можно дать интервал и объяснить, почему точку нельзя сузить. Это не слабость разбора, а граница имеющихся свидетельств. Внешнее сообщение пользователям может быть менее детальным, но внутренняя временная линия должна сохранять происхождение всех ключевых времен.