Обзор инцидентов

Инцидент — это запись о проблеме, затрагивающей один из ваших отслеживаемых объектов: монитор, который перестал отвечать, или сервер, помеченный системой обнаружения аномалий. Инциденты фиксируют, что произошло, насколько серьёзной была проблема, хронологию изменений статуса и время устранения. Это та единица, которую StatusRadar использует для отслеживания сбоев, рассылки уведомлений и информирования ваших пользователей о происходящем через status-страницы.

Управление инцидентами доступно в разделе Dashboard → Incidents (/dashboard/incidents).

Как создаются инциденты

Инциденты открываются одним из двух способов:

Автоматически (обнаруженные)

• Монитор недоступен — когда монитор не проходит проверки сверх порога отказов, конвейер мониторинга открывает инцидент автоматически. Источник обнаружения записывается как probe.
• Аномалия сервера — ML-детектор аномалий следит за метриками агента сервера (CPU, память, swap, ожидание ввода-вывода и другие) и открывает инцидент при обнаружении необычного паттерна. Источник обнаружения записывается как ml_anomaly. См. Обнаружение аномалий.

Автоматически обнаруженные инциденты привязаны к объекту, который их вызвал, получают серьёзность, назначенную триггером, и начинаются в состоянии investigating.

Вручную

Вы можете открыть инцидент самостоятельно через Dashboard → Incidents → Create — например, чтобы сообщить о проблеме, которую ваши мониторы не видят (известный сбой стороннего сервиса, заранее не запланированная проблема с данными и т. п.). Инциденты, созданные вручную, всегда привязаны к одному из ваших мониторов и записываются с источником обнаружения manual.

Вы можете фильтровать список инцидентов по источнику обнаружения, чтобы отделить инциденты, о которых сообщили люди, от обнаруженных машиной.

Структура инцидента

Серьёзность

Серьёзность отражает воздействие. Полный набор уровней:

Когда вы создаёте инцидент вручную, вы выбираете из minor, major и critical. Уровни warning и info зарезервированы для автоматически обнаруженных инцидентов и инцидентов, выявленных по аномалиям.

Статус (жизненный цикл)

Каждый инцидент проходит через четырёхстадийный жизненный цикл. Публикуемый вами статус — это то, что видят ваши пользователи на status-страницах.

Новый инцидент начинается в состоянии investigating. Вы продвигаете его, публикуя обновления (см. Управление инцидентами). Установка статуса resolved закрывает инцидент и возвращает затронутый объект в исправное состояние.

Типы объектов: монитор vs. сервер

Каждый инцидент привязан ровно к одному объекту:

• Монитор — монитор типа HTTP, SSL, TCP, Ping или DNS. Инцидент показывает имя и цель монитора и включает результаты проверок, записанные в течение окна инцидента.
• Сервер — хост, на котором запущен агент StatusRadar. Инцидент показывает имя и hostname сервера и включает снимки метрик до, во время и после срабатывания оповещения (CPU, память, диск, нагрузка, top-процессы), чтобы вы могли точно увидеть, чем был занят сервер.

Устранение инцидента монитора переводит статус монитора обратно в up и очищает его активный инцидент. Статус сервера определяется агентом, поэтому устранение инцидента сервера просто закрывает запись.

Подтверждение и устранение

Два быстрых действия продвигают инцидент без написания полноценного обновления:

• Acknowledge — помечает активный инцидент как обрабатываемый и фиксирует, кто и когда его подтвердил. Это удобно для on-call процессов, чтобы команда знала, что кто-то за ним следит. Подтверждение не меняет статус инцидента.
• Resolve — закрывает инцидент, проставляет время устранения и возвращает объект в исправное состояние.

Автоматическое восстановление: когда недоступный монитор снова начинает успешно проходить проверки, его открытый инцидент устраняется автоматически — закрывать его вручную не нужно.

Как инциденты отображаются на status-страницах

Инциденты — это связующее звено между вашим мониторингом и публичной коммуникацией. Когда у монитора, назначенного на status-страницу, есть инциденты, status-страница показывает самые свежие из них (до 10), сначала самые новые, с их заголовком и монитором, который они затрагивают.

Это означает:

• Показываются только инциденты на мониторах, назначенных на эту status-страницу.
• Каждое публикуемое вами обновление статуса становится частью публичной хронологии, поэтому формулируйте сообщения обновлений с расчётом на конечных пользователей.
• Устранение инцидента отражается на странице.

Для запланированных работ, о которых вы хотите объявить заранее (а не реагировать на сбой), используйте окно обслуживания — см. Окна обслуживания.

Статистика

Дашборд инцидентов даёт сводку по истории инцидентов с одного взгляда:

• Всего инцидентов и активных инцидентов (всё, что ещё не устранено).
• Устранено сегодня.
• Среднее время устранения и MTTR (mean time to resolution) в минутах.
• Разбивка по серьёзности и по типу объекта (монитор vs. сервер).

Используйте фильтры (статус, серьёзность, тип объекта, источник обнаружения и полнотекстовый поиск), чтобы детально изучить конкретный срез вашей истории.

Дальнейшие шаги

• Управление инцидентами — создание, обновление, подтверждение и устранение
• Окна обслуживания — планирование запланированного простоя
• Incidents API — программное чтение инцидентов
• Обзор оповещений — превращение инцидентов в уведомления
• Обнаружение аномалий — как обнаруживаются инциденты серверов