Skip to content
TheChatArchiveThe Chat Archive
gpt-4o-2024-08-06· OpenAIAi2 WildChat-4.8M (AI2)

Ты, технический писатель. Перефразируй текст правильно для документации "На дашборде…

  1. User

    Ты, технический писатель. Перефразируй текст правильно для документации "На дашборде видны статусы ответов, время, сколько хостов, сколько байтов передаётся. Более того, можно детально посмотреть, какой хост проблемный, с какой ошибкой он падает."

  2. Assistant

    На дашборде отображаются статусы ответов, время передачи данных, количество хостов и объем переданных байтов. Кроме того, доступна детальная информация о проблемных хостах и кодах ошибок, с которыми они сталкиваются.

  3. User

    "Укажите на уровне service сетку, с которой поступают данные. В настройках service параметр grid должен равняться интервалу, с которым вы делаете push. Не зная сетку, мониторинг не может рисовать дырки на графиках там, где пуш был пропущен. Более того, мониторинг не будет ставить дырки чаще, чем grid, и будет ставить, если между ними расстояние больше grid."

  4. Assistant

    Задайте на уровне сервиса сетку, с которой поступают данные. В параметрах настройки сервиса значение grid должно соответствовать интервалу, с которым вы выполняете push. Без знания сетки мониторинг не может отображать пробелы на графиках в случае пропущенных push-операций. Также мониторинг не будет добавлять пробелы чаще, чем значение grid, и будет их добавлять, если интервал между ними превышает grid.

  5. User

    "В примере в верхнем графике ситуация, когда grid не указан и мониторинг не знает, с какой сеткой должны поступать значения. У нас пуши всегда отправляет единичку, поэтому мониторинг не рисует дырки и соединяет точки друг с другом, то есть интерполирует их. Но реальная картина — на нижнем графике. Мы указали grid, и появляются дырки."

  6. Assistant

    В верхнем графике приведен пример ситуации, когда значение grid не указано, и мониторинг не может определить, с каким интервалом должны поступать данные. Поскольку push-сообщения всегда содержат единичное значение, мониторинг не отображает пробелы, а соединяет точки, то есть интерполирует их. Однако, настоящая картина представлена на нижнем графике, где задан grid и видны пробелы.

  7. User

    "Используйте связку push + pull. Это рекомендуется для всяких машин, которые живут за пределами сети Яндекса. Пушить можно в UnifiedAgent, чтобы буферизировать данные и гарантировать доставку. Пушить можно как в свое приложение, так и в UnifiedAgent."

  8. Assistant

    Применяйте комбинацию push и pull. Это рекомендовано для машин, находящихся за пределами сети Яндекса. Используйте push в UnifiedAgent для буферизации данных и обеспечения их доставки. Вы можете отправлять данные как в свое приложение, так и в UnifiedAgent.

  9. User

    "Где-то за пределами Кндекса сервисы пушат в сервер, в который есть у них доступ. Но кроме этого мониторинг приходит и забирает актуальное значение из pull."

  10. Assistant

    За пределами Яндекса сервисы отправляют данные на доступный им сервер. Помимо этого, мониторинг осуществляет вытягивание актуальных данных через pull.

  11. User

    "Делайте push чаще, чем раз в час. Даже если значение не поменялось, это нужно делать, потому что мониторинг заточен на частотные данные, которые поступают постоянно с одинаковой сеткой и достаточно часто. Почему важно пушить чаще, чем раз в час? Даунсемплинг и агрегация сдвигает точки влево по UTC, поэтому, запушив что-то в 00:00 по MSK можно удивится.

    {% note info "Пушить одинаковые точки в мониторинге супер дёшево, это ровно два бита." %}

    Добавьте содержание для примечания

    {% endnote %}"

  12. Assistant

    Отправляйте данные чаще, чем раз в час. Даже если значение не изменилось, важно делать это, поскольку мониторинг рассчитан на частые и регулярные поступления данных. Почему важно отправлять данные чаще одного раза в час? Даунсемплинг и агрегация могут сдвигать временные метки данных влево по UTC, поэтому, отправив данные в 00:00 по московскому времени, можно получить неожиданные результаты.

    {% note info "Отправка одинаковых точек в мониторинг имеет минимальную стоимость—всего два бита." %}

    Добавьте в это примечание информацию о том, что отправка одинаковых данных в мониторинг практически не влияет на использование ресурсов, так как требует всего два бита.

    {% endnote %}

  13. User

    "Не DDOS’сьте мониторинг. Используйте jitter, чтобы избежать берстовой нагрузки и как результат — потери точек. Гораздо эффективнее пушить в какой-то случайный момент времени, но с заданной частотой. Так вы сможете сгладить нагрузку, и спайков не будет. Используйте circuit breaker, чтобы дать возможность серверу прийти в себя в случае перегрузок.

    {% note warning "Нельзя в моменте писать больше десяти тысяч метрик в одном запросе. " %}

    Это лимит, чтобы побудить людей переходить на pull-схему или на схему push + pull.

    {% endnote %}"

  14. Assistant

    Избегайте перегрузки мониторинга. Применяйте jitter для предотвращения пиковых нагрузок, что поможет избежать потерь данных. Эффективнее отправлять данные в произвольные моменты времени, придерживаясь указанной частоты. Это поможет выровнять нагрузку и избежать резких скачков. Используйте circuit breaker, чтобы позволить серверу восстановиться в случае перегрузок.

    {% note warning "Недопустимо отправлять более десяти тысяч метрик в одном запросе." %}

    Этот лимит введен для поощрения перехода на схему pull или комбинирование push и pull.

    {% endnote %}

  15. User

    "Используйте push только в случае крайней необходимости. Все-таки предпочитайте pull."

  16. Assistant

    Прибегайте к использованию push только в крайнем случае. В остальном отдавайте предпочтение методу pull.

  17. User

    "# Intro

    Для чего используют алерты:

    • Позволяют не смотреть на дашборды круглосуточно,

    • Отвлекаться от задач на починку багов, только если действительно что-то произошло,

    • Узнавать о проблемах в системе до того, как о них сообщат пользователи.

    Во всех книгах по SRE говорится о том, что у любого сервиса существуют так называемые «золотые метрики», на которые нужны алерты. Имеются в виду:

    Latency — время ответа

    Traffic — количество запросов на сервис в секунду, байт в секунду

    Errors — количество ошибок в секунду, которые генерирует сервис

    Saturation/Utilization — наличие свободных ресурсов

    Давайте представим некоторый сервис. У сервиса есть фронтенд, с которым общается пользователь, и бэкенд, который обслуживает запросы из фронтенда. Сам бэкенд ходит в базу данных и еще в какие-то, может быть, сторонние сервисы. Каждое из этих взаимодействий между компонентами и сервисами необходимо мониторить. А для этого необходимы настроенные алерты."

  18. Assistant

    Введение

    Цель использования алертов:

    • Избавить от необходимости круглосуточно следить за дашбордами.
    • Переключаться на починку багов только при возникновении реальных проблем.
    • Получать информацию о системных сбоях до того, как пользователи заметят их.

    Во всех руководствах по SRE подчеркивается важность "золотых метрик", требующих настройки алертов. К ним относятся:

    • Latency: время отклика.
    • Traffic: количество запросов или объем данных в секунду.
    • Errors: количество ошибок, генерируемых сервисом в секунду.
    • Saturation/Utilization: наличие свободных ресурсов.

    Рассмотрим пример сервиса. У такого сервиса есть фронтенд, с которым взаимодействует пользователь, и бэкенд, обрабатывающий запросы от фронтенда. Бэкенд взаимодействует с базой данных и, возможно, другими сторонними сервисами. Мониторинг каждого из этих взаимодействий между компонентами и сервисами требует настроенных алертов.

  19. User

    "### Какие нужны алерты

    • на метрики сервера — с точки зрения пользователя,

    • на метрики походов в другие сервисы,

    • на метрики баз данных,

    • на метрики очередей между компонентами системы."

  20. Assistant

    Необходимые алерты

    • Алерты на метрики сервера с точки зрения пользователя.
    • Алерты на метрики взаимодействия с другими сервисами.
    • Алерты на метрики баз данных.
    • Алерты на метрики очередей между компонентами системы.
  21. User

    "# Примеры настройки алертов

    1. Настройка алерта на 500 ошибки 

    500-е ошибки — это сообщение о проблеме, которое видит пользователь при попытке получить доступ к странице или приложению. Количество таких ошибок должно быть сведено к минимуму. Если объём ошибок сильно вырос, необходимо разобраться, что произошло с сервисом.

    На скриншоте — одна из самых нагруженных ручек Solomon. Была ситуация, когда количество 500-х ошибок на этой ручке в моменте превысило порог 500 rps. Такие моменты необходимо ловить с помощью алертов, а не узнавать о них постфактум."

  22. Assistant

    Примеры настройки алертов

    1. Настройка алерта на 500 ошибки

    500-е ошибки указывают на проблему, с которой сталкивается пользователь при попытке доступа к странице или приложению. Количество таких ошибок должно быть минимальным. Если число ошибок резко увеличилось, важно быстро выяснить причину сбоя в работе сервиса.

    На скриншоте показана одна из самых загруженных конечных точек Solomon. В одной из ситуаций количество 500-х ошибок на этой точке превысило порог в 500 запросов в секунду (rps). Такие ситуации нужно выявлять с помощью алертов, а не узнавать о них задним числом.

  23. User

    "Создать алерт можно прямо на странице с графиком. Для этого достаточно нажать «Create alert from query A» в меню."

  24. Assistant

    Чтобы создать алерт, перейдите на страницу с графиком и выберите опцию «Create alert from query A» в меню.

  25. User

    "На этом шаге вы проваливаетесь в форму заполнения алерта. 

    Важно: в мониторинге встречаются пороговые алерты и алерт-выражение.

    1. Пороговые используются для большинства случаев и позволяют отслеживать простые условия. Такие алерты срабатывают при сравнении результата выбранного запроса с пороговыми значениями. Имя запроса можно использовать в качестве переменной в другом запросе.

    2. Алерт-выражения срабатывают при вычислении значений произвольного выражения. Нужны для сложных условий. Их можно использовать, если требуется несколько разных условий для статусов «ALERT», «WARN», «NO_DATA»."

  26. Assistant

    На этом этапе вы попадаете в форму настройки алерта.

    Важно: в мониторинге существуют пороговые алерты и алерт-выражения.

    1. Пороговые алерты используются в большинстве случаев и позволяют отслеживать простые условия. Такие алерты срабатывают, когда результат запроса сравнивается с заданными пороговыми значениями. Имя запроса можно использовать как переменную в другом запросе.

    2. Алерт-выражения применяются для вычисления значений произвольных выражений и подходят для более сложных условий. Их следует использовать, если требуется задать несколько различных условий для статусов «ALERT», «WARN», «NO_DATA».

  27. User

    "Старые пороговые алерты были очень простыми и поэтому любое мало-мальски сложное действие приходилось делать с помощью алерт-выражений. Но год назад ситуация изменилась. Новые пороговые алерты стали мощнее, и по нашим оценкам подходят вообще для 70% всех случаев, где раньше требовался бы алерт-выражение. Поэтому дальше говорить будем исключительно о пороговых алертах, чтобы показать, насколько сложные вещи можно в них провернуть."

  28. Assistant

    Ранее пороговые алерты были очень простыми, и для выполнения даже незначительно сложных задач приходилось обращаться к алерт-выражениям. Однако, ситуация изменилась примерно год назад. Новые пороговые алерты стали более функциональными и теперь, по нашим оценкам, подходят для 70% случаев, где раньше требовались бы алерт-выражения. Поэтому далее мы будем обсуждать исключительно пороговые алерты, чтобы продемонстрировать, насколько сложные задачи они могут решать.

  29. User

    "Сначала выбираем в мониторинге нужный вид алерта. Пороговый хорошо подойдёт для нашей задачи, поскольку нужно понять, что количество 500-х ошибок пересекло порог. Как сформулировать требования к алерту:"

  30. Assistant

    Сначала в мониторинге выберите подходящий тип алерта. Пороговый алерт отлично подойдет для нашей задачи, так как он позволяет определить, когда количество 500-х ошибок превышает заданный порог. Вот как можно сформулировать требования к такому алерту:

  31. User

    "Если за последние пять минут rps 500-х ошибок превысил порог 10, то об этом достаточно просто узнать (статус WARNING). Если превышен порог 100, значит, в сервисе что-то сломалось. Сообщить об этом необходимо со статусом ALARM.

    Окно вычислений — это окно алерта, временной промежуток, за который анализируются данные. Если в форме выставить 5 минут, то алерт будет смотреть на последние 5 минут истории ошибок ручки."

  32. Assistant

    Если в течение последних пяти минут количество 500-х ошибок превысило 10 запросов в секунду, это можно считать основанием для статуса WARNING. Если же превышен порог в 100 запросов в секунду, это указывает на серьезную проблему в сервисе, которую необходимо отметить статусом ALARM.

    Окно вычислений представляет собой временной промежуток, в котором анализируются данные для алерта. Если в форме задать окно в 5 минут, алерт будет оценивать данные за последние 5 минут активности.

  33. User

    "размер окна влияет на чувствительность"

  34. Assistant

    Размер окна вычислений влияет на чувствительность алерта. Более короткое окно делает алерт чувствительным к кратковременным изменениям, позволяя быстро реагировать на внезапные события. В то же время, более длинное окно помогает сгладить временные колебания и может предотвратить ложные срабатывания, обеспечивая более стабильное обнаружение проблем. Выбор подходящего размера окна зависит от конкретных требований и характера наблюдаемого сервиса.

  35. User

    "После сохранения алерта система перенаправляет на страницу состояния.

    Наверху белыми столбиками отображён статус алерта. Белые они по той причине, что алерт создан только что, никакой истории вычислений у него пока нет. Новые столбики будут появляться справа."

  36. Assistant

    После сохранения алерта система перенаправит вас на страницу состояния.

    Наверху отображается статус алерта в виде белых столбиков. Они белые, поскольку алерт был только что создан и у него пока отсутствует история вычислений. Новые столбики будут добавляться справа по мере накопления данных.

  37. User

    "{% note info "Повторное вычисление алерта" %}

    Для проверки работоспособности алерта нет смысла ждать момент, когда в сервисе что-то опять сломается. В мониторинге есть удобная механика: можно прокликать столбик с историей вычислений алерта и мониторинг заново вычислит этот алерт.

    {% endnote %}"

  38. Assistant

    {% note info "Повторное вычисление алерта" %}

    Для проверки работоспособности алерта необязательно дожидаться очередного сбоя в сервисе. В мониторинге предусмотрена удобная функция: вы можете щелкнуть по столбику с историей вычислений алерта, и мониторинг выполнит повторное вычисление этого алерта.

    {% endnote %}

  39. User

    "Если кликнуть по столбику, который соответствовал активному выбросу 500-х ошибок, откроется окно алерта на тот момент времени. Вы увидите фрагмент метрики, на которую смотрел алерт, а также видны пороги, которые он должен был пересечь.

    На скриншоте выше видно, как среднее значение пересекает ALARM-порог, что подтверждает повторное вычисление алерта. Система говорит, что алерт был бы в статусе ALARM, если бы существовал в тот момент времени. То есть всё прекрасно. Удалось настроить алерт, который поймает этот выброс 500-х ошибок."

  40. Assistant

    Если вы щелкнете по столбику, который соответствует активному выбросу 500-х ошибок, откроется окно с информацией о состоянии алерта в тот момент времени. Вы увидите фрагмент метрики, на который ориентировался алерт, а также пороги, которые должны были быть пересечены.

    На приведенном скриншоте показано, как среднее значение пересекает ALARM-порог, что подтверждает правильность повторного вычисления алерта. Система показывает, что алерт находился бы в статусе ALARM, если бы существовал в тот момент времени. Таким образом, удалось успешно настроить алерт, который сможет выявлять такие выбросы 500-х ошибок.

  41. User

    "Но всё ли хорошо в этом алерте? Спойлер: нет.

    Основная проблема с этим алертом в том, что сервис со временем вырастет. И через год то, что считалось аномальным количеством ошибок, вполне может стать будничной ситуацией. Поэтому нужно следить за порогами и подстраивать их под рост сервиса.

    Есть и другая сложность: алерт чувствителен к колебаниям нагрузки на сервис. Если сервис напрямую связан с живыми пользователями, то количество запросов на сервер днём может быть совершенно другим, не сопоставимым с количеством запросов, которые были ночью. 

    Решение этих проблем есть. Нужно настроить алерт не на количество 500-х ошибок, а на их долю во всех статусах ответа данной ручки. То есть создать нормированный алерт."

  42. Assistant

    Но всё ли в порядке с этим алертом? Спойлер: нет.

    Основная проблема заключается в том, что со временем сервис может измениться. Через год количество ошибок, которое ранее считалось аномальным, может стать обычной ситуацией. Поэтому важно регулярно пересматривать и корректировать пороги, чтобы они соответствовали росту сервиса.

    Существует и другая сложность: алерт чувствителен к изменениям нагрузки на сервис. Если сервис напрямую обслуживает живых пользователей, то дневное количество запросов может значительно отличаться от ночного.

    Решение этих проблем заключается в настройке алерта на долю 500-х ошибок среди всех ответов данной конечной точки, а не просто на их количество. Это приведет к созданию нормированного алерта.

  43. User

    "### Как сделать нормированный алерт на 500-е ошибки

    Был запрос, который брал из мониторинга количество 500-х ошибок по конкретной ручке. К нему нужно добавить ещё один, который будет доставать количество всех запросов в эту ручку.  Получится два временных ряда. С помощью третьего запроса один временной ряд делим на другой, а затем умножаем на 100, чтобы получить значение (ту самую долю 500-х ошибок в ручке) в процентах. На это значение настраиваем пороговый алерт."

  44. Assistant

    Как создать нормированный алерт на 500-е ошибки

    Сначала создайте запрос, получающий из мониторинга количество 500-х ошибок для конкретной конечной точки. Затем добавьте второй запрос для получения общего количества запросов к этой конечной точке. Это создаст два временных ряда.

    С помощью третьего запроса разделите первый временной ряд на второй и умножьте результат на 100, чтобы получить значение в процентах (долю 500-х ошибок в общей массе запросов к данной конечной точке). Далее настройте пороговый алерт на это процентное значение.

  45. User

    "Мониторинг показывает, что сейчас ручка генерирует 0,01% 500-х статусов, для неё это нормальная ситуация. Зададим пороги «1» для WARNING и «5» для ALARM, после чего получим нормированный алерт на 500-е ошибки. Его не нужно не нужно подстраивать каждый раз, когда сервис вырастет."

  46. Assistant

    Мониторинг указывает, что в настоящее время данная конечная точка генерирует 0,01% 500-х статусов, что является нормой. Установите пороговые значения на уровне «1» для статуса WARNING и «5» для статуса ALARM. Таким образом, вы получите нормированный алерт на 500-е ошибки, который не потребуется постоянно корректировать по мере роста сервиса.

  47. User

    "Но тут есть нюанс

    У нашего алерта оба ряда, которые он делит друг на друга, является агрегатами. В селекторе видно, что host = cluster. Обе метрики представляют собой агрегат по кластеру. А у агрегатов есть неприятная особенность: последняя точка агрегата доезжает постепенно, по мере того, как данные агрегируются со всего кластера. Из-за этого последняя точка постоянно скачет от нуля до максимального агрегированного значения. Нестабильность последней точки приводит к тому, что отношение одного делённого к другому может быть любой величиной, хоть бесконечностью."

  48. Assistant

    Но здесь есть нюанс.

    У нашего алерта оба временных ряда, которые разделяются друг на друга, являются агрегатами. В селекторе указано, что host = cluster, что означает, что обе метрики представляют собой агрегаты по кластеру. Агрегаты имеют неприятную особенность: последняя точка агрегата поступает постепенно, по мере того как данные агрегируются со всего кластера. Из-за этого последняя точка постоянно колеблется от нуля до максимального агрегированного значения. Такая нестабильность последней точки может привести к тому, что отношение одного ряда к другому окажется любой величиной, вплоть до бесконечности.

  49. User

    "{% note info "Нестабильность последней точки" %}

    Из-за этого возникает неудобная ситуация. Вы хотите посмотреть, на что алерт сработал, а он повторно в этот статус уже не вычисляется. Эффект доезжающей точки не проявляется, когда вы смотрите исторические данные. Получается, алерт сработал, вы на него смотрите, а там всё хорошо.

    {% endnote %}"

  50. Assistant

    {% note info "Нестабильность последней точки" %}

    Из-за этого возникает неудобная ситуация. Когда вы пытаетесь выяснить, почему сработал алерт, повторное вычисление уже не воспроизводится. Эффект "доезжающей" точки не проявляется при просмотре исторических данных. Получается так, что алерт сработал, вы его анализируете, а кажется, что всё в порядке.

    {% endnote %}

  51. User

    "Для решения этой проблемы используется дополнительный параметр алерта: задержка вычислений. Он позволяет отбросить неполные точки в рядах-агрегатах. На скриншоте ниже видно, как модифицируется окно алерта. Там задано само окно, а также задержка вычислений — от текущего момента окно вычисления отодвигается в прошлое. Тем самым отбрасываются самые свежие данные в метрике, которые ещё могли не доехать."

  52. Assistant

    Для решения этой проблемы используется дополнительный параметр алерта: задержка вычислений. Он позволяет исключить неполные точки в рядах-агрегатах. На скриншоте ниже показано, как изменяется окно алерта. Задано само окно и задержка вычислений — временной интервал, на который окно отодвигается в прошлое от текущего момента. Это позволяет отбросить самые свежие данные в метрике, которые ещё не успели полностью поступить.

  53. User

    "{% note info "Золотое правило для алертов на агрегаты" %}

    используйте задержку в два интервала сбора метрик для любого алерта на агрегированные данные. Ставьте задержку как минимум до интервала сбора. Если данные 15-секундные, задержка будет 30 секунд.

    {% endnote %}"

  54. Assistant

    {% note info "Золотое правило для алертов на агрегаты" %}

    Используйте задержку, равную двум интервалам сбора метрик, для любого алерта на агрегированные данные. Установите задержку как минимум до интервала сбора. Например, если данные собираются каждые 15 секунд, задержка должна составлять 30 секунд.

    {% endnote %}

  55. User

    "Теперь поговорим о том, что делать с таймингами, какие еще бывают методы агрегации."

  56. Assistant

    Теперь обсудим, как работать с таймингами и какие существуют методы агрегации данных.

    Работа с таймингами

    Тайминги — это важный аспект мониторинга, поскольку они дают представление о производительности системы. Часто анализируют следующие показатели:

    • Среднее время отклика (Average Response Time): Показывает среднюю скорость реакции системы на запросы.
    • 99-й или 95-й процентиль (Percentile): Отражает скорость, с которой система обрабатывает 99% или 95% запросов, и помогает выявить редкие, но значительные задержки.
    • Максимальное время отклика (Max Response Time): Выявляет наихудшие случаи, что может быть важно для критически важных систем.

    Методы агрегации данных

    1. Среднее (Average): Используется для сглаживания колебаний и получения общего понимания.
    2. Медиана (Median): Предоставляет центральное значение, избегая влияния экстремальных значений, что полезно в системах с высокой вариативностью.
    3. Процентили (Percentiles): Полезны для понимания распределения и выявления аномальных задержек.
    4. Сумма (Sum): Применяется для оценки общего объема или нагрузки, например, общего числа обработанных запросов.
    5. Максимум/Минимум (Max/Min): Позволяет отслеживать экстремальные значения, которые могут указывать на проблемы в системе.

    Эти методы агрегации помогают анализировать производительность, выявлять проблемные области и оптимизировать работу системы.

  57. User

    "Почему важно заводить алерты на тайминги БД? Когда база данных начинает медленно отвечать, это сильно сказывается на работе приложения. Вот пример, когда запрос к одной из табличек выполнялся сильно дольше обычного."

  58. Assistant

    Алерты на тайминги баз данных важны по нескольким причинам:

    1. Производительность приложения: База данных часто является "узким местом" в архитектуре приложения. Если она начинает медленно отвечать, это может замедлить работу приложения в целом, влияя на пользовательский опыт и эффективность бизнес-процессов.

    2. Выявление проблем: Время отклика базы данных может указывать на различные проблемы, такие как неэффективные запросы, блокировки, проблемы с индексами или недостаточные аппаратные ресурсы. Раннее обнаружение позволяет быстрее устранить эти проблемы.

    3. Предотвращение сбоев: Задержки в работе базы данных могут привести к накоплению запросов и увеличению нагрузки на сервер, что в конечном итоге может вылиться в сбои или аварии. Алерты помогают заблаговременно предпринимать меры по стабилизации системы.

    4. Оптимизация ресурсов: Мониторинг таймингов позволяет оценить потребность в ресурсах и планировать апгрейды или оптимизации, исходя из реальной нагрузки.

    Пример, когда запрос к одной из таблиц выполнялся значительно дольше обычного, показывает, как задержка может быть индикатором проблем, влияющих на производительность всей системы. Настроенные алерты на тайминги баз данных позволяют оперативно реагировать на такие ситуации и минимизировать негативные последствия.

  59. User

    Ты, технический писатель. Перефразируй текст правильно для документации "Почему важно заводить алерты на тайминги БД? Когда база данных начинает медленно отвечать, это сильно сказывается на работе приложения. Вот пример, когда запрос к одной из табличек выполнялся сильно дольше обычного."

  60. Assistant

    Почему важно настраивать алерты на тайминги базы данных? Замедленный отклик базы данных значительно влияет на производительность приложения. Например, один из запросов к таблице выполнялся гораздо дольше обычного.

  61. User

    Теперь "Это гистограмма тайминга ответа от выполнения некоторого запроса к базе. Видно, что в 12:36 случилось что-то непонятное, после чего запросы стали долго выполняться слишком долго. Если в нормальном режиме это занимало несколько десятков миллисекунд, то в какой-то период времени обработка запросов выполнялась больше минуты. О таких событиях необходимо узнавать сразу же.

    Первое, что нужно сделать: превратить гистограмму в метрику, на которую можно повесить алерт. Таким преобразованием является функция взятия гистограммы процентиля. "

  62. Assistant

    Это гистограмма, отображающая время выполнения определенного запроса к базе данных. На ней видно, что в 12:36 произошло что-то неожиданное, и запросы начали выполняться значительно дольше обычного. В нормальных условиях это занимало несколько десятков миллисекунд, но в определенный момент время выполнения увеличилось до более чем минуты. О таких событиях важно узнавать незамедлительно.

    Первый шаг — преобразовать гистограмму в метрику, на которую можно установить алерт. Для этого используется функция, вычисляющая процентиль гистограммы.

  63. User

    Теперь "{% note info "Процентиль" %}

    это обобщение понятия минимума и максимума, уровень, ниже которого находится заданное количество точек из какого-то множества. 

    {% endnote %}"

  64. Assistant

    {% note info "Процентиль" %}

    Процентиль — это обобщенное понятие минимума и максимума. Он представляет собой уровень, ниже которого располагается определенное количество точек из множества данных.

    {% endnote %}

  65. User

    "Если взять 99-ю гистограмму процентиля к этой метрике, становится видно, что на процентиле эта проблема отлично видна. В норме 99-я процентиль 125 мс, а на проблемном участке она превышает минуту."

  66. Assistant

    Если применить 99-й процентиль к этой метрике, становится очевидно, что проблема четко просматривается на процентильной гистограмме. В нормальных условиях 99-й процентиль составляет 125 мс, однако на проблемном участке он превышает минуту.

  67. User

    Теперь "Заводим алерт на метрику 99-го процентиля. Если она пересекает порог, алерт срабатывает и уведомляет о том, что что-то сломалось. Алерт создаём из графика. Вот пример:"

  68. Assistant

    Создайте алерт на метрику 99-го процентиля. Если она превышает заданный порог, алерт срабатывает и уведомляет о возможной неисправности. Алерт можно настроить непосредственно из графика. Вот пример:

  69. User

    "* Заводим алерт на результат histogram_percentile(99).

    • Пороговые значения для таймингов установим как WARNING, если база отвечает дольше 10 секунд и ALARM, если время ответа дольше 30 секунд. "
  70. Assistant
    • Настраиваем алерт на результат функции histogram_percentile(99).

    • Устанавливаем пороговые значения для таймингов: статус WARNING, если база данных отвечает более 10 секунд, и статус ALARM, если время ответа превышает 30 секунд.

  71. User

    Теперь "Какую функцию агрегации и какое окно задержки здесь использовать, чтобы настроить хороший алерт на процентиль времени ответа? Функция среднего, которая отлично подходит для 500-х ошибок, для таймингов подходит плохо.

    Среднее даёт неплохой baseline. Если вы ничего не знаете про метрику, можно настроить алерт на агрегацию средним. Но у среднего есть свои особенности. Например, алерт на среднее все выбросы равномерно распределяет по окну алерта."

  72. Assistant

    Какую функцию агрегации и какое окно задержки следует использовать для настройки качественного алерта на процентиль времени ответа? Функция среднего значения, которая хорошо подходит для мониторинга 500-х ошибок, для таймингов не является оптимальным выбором.

    Среднее значение может служить хорошей начальной точкой (baseline). Если вы не имеете полной информации о метрике, можно настроить алерт на основании среднего значения. Однако, у средней функции есть свои особенности. Например, алерт на основе среднего распределяет все выбросы равномерно по всему окну алерта.

  73. User

    "На примере видны две линии и окно алерта. Обе эти линии для алерта будут выглядеть одинаково, поскольку выброс на красной линии равномерно размажется по окну и будет выглядеть примерно так же, как и среднее от зелёной линии. На практике же эти две ситуации совершенно разные, тут есть точечный прострел и некий постоянный фон.

    Другая проблема: амплитуда прострелов сильно влияет на среднее. Если БД внезапно стала отвечать тридцать секунд или десять минут, то обе ситуации одинаково плохи. Ведь суть в том, что база была недоступна в этот момент. И значение тайминга не столь важно. Главное, что оно больше порогового значения, которое адекватно для времени ответа БД."

  74. Assistant

    На примере показаны две линии и окно алерта. Для алерта они будут выглядеть одинаково, поскольку выброс на красной линии равномерно распределится по окну, напоминая среднее значение зеленой линии. Однако, эти ситуации на практике сильно различаются: одна демонстрирует кратковременный выброс, а другая — постоянный фон.

    Еще одна проблема заключается в том, что амплитуда выбросов значительно влияет на среднее значение. Если база данных неожиданно начинает отвечать в течение тридцати секунд или десяти минут, обе ситуации одинаково негативны. Важно то, что в этот момент база была недоступна, и конкретное значение тайминга играет меньшую роль. Главное, чтобы оно превышало пороговое значение, соответствующее приемлемому времени ответа базы данных.

  75. User

    теперь это "#### Агрегация «Все значения» 

    Получается, что агрегация средним в данном случае не самая хорошая идея. Альтернативой может стать агрегация «все значения». Почему?

    • Алерт сработает, когда временной ряд метрики «сломан» на протяжении всего окна алерта.

    • Алерт не сработает, если хотя бы в одной точке временной ряд оказывается ниже порога.

    Чем хороша такая агрегация? Она игнорирует локальные выбросы. Если случится короткий локальный выброс, алерт не сработает. И неважно, насколько сильно был пробит порог ALARM. В 2 раза или в 100 раз, для агрегации «все значения» эти две ситуации будут одинаковы.

    Теперь можно настроить алерт на тайминге БД с этим типом агрегации."

  76. Assistant

    Агрегация «Все значения»

    Агрегация средним может не быть оптимальным вариантом в данном случае. Альтернативой может служить агрегация «все значения». Почему?

    • Алерт сработает, если временной ряд метрики остается «сломанным» на протяжении всего окна алерта.

    • Алерт не сработает, если хотя бы одна точка временного ряда оказывается ниже порогового значения.

    Преимущества такой агрегации заключаются в ее способности игнорировать локальные выбросы. Если произойдет кратковременный локальный выброс, алерт не сработает. И не имеет значения, насколько сильно превышен порог ALARM — в 2 раза или в 100 раз, для агрегации «все значения» эти ситуации считаются одинаковыми.

    Теперь можно настроить алерт на тайминги БД, используя этот тип агрегации.

  77. User

    "Окно вычисления — 1 минута, чтобы узнавать о длительных поломках, когда база недоступна больше 1 минуты подряд. Поскольку метрика является агрегатной по кластеру, задержку вычисления нужно поставить в два интервала сбора — 30 секунд."

  78. Assistant

    Для данного алерта окно вычисления следует установить на 1 минуту, чтобы отслеживать длительные сбои, когда база данных недоступна более 1 минуты подряд. Так как метрика агрегируется по кластеру, задержку вычисления нужно настроить на два интервала сбора, что составляет 30 секунд.

  79. User

    "Теперь можно посмотреть, сработает ли алерт на выброс тайминга, о котором шла речь ранее. Для этого необходимо сохранить алерт и кликнуть в нужное время. В нашем случае это 12:38 12.03.24. Метрика показывает, что алерт перешёл бы в WARNING, а не в ALARM. "

  80. Assistant

    Теперь можно проверить, сработает ли алерт на выявленный ранее выброс тайминга. Для этого сохраните алерт и щелкните по интересующему времени. В нашем случае это 12:38 12.03.24. Метрика указывает, что в этот момент алерт перешел бы в состояние WARNING, а не в ALARM.

  81. User

    Далее "Почему так? Потому что на протяжении минуты, за которую вычислялся алерт, был пробит порог только в 10 секунд, а не в 30 секунд. Последняя точка оказалась ниже порога, из-за чего агрегация всеми значениями не отработала. Если бы плохие тайминги продержались выше порога в 30 секунд ещё 15 секунд, алерт был бы в статусе ALARM. 

    В такой ситуации можно донастроить пороги или смириться с тем фактом, что такой прострел тайминга будет считаться не критичным, а алерты будут приходить в статусе WARNING."

  82. Assistant

    Почему так произошло? Это связано с тем, что в течение одной минуты, за которую вычислялся алерт, порог был превышен только в 10 секунд, а не в 30 секунд. Последняя точка оказалась ниже порогового значения, из-за чего агрегация по всем значениям не сработала. Если бы отрицательные тайминги оставались выше порога в 30 секунд ещё на 15 секунд, алерт перешел бы в статус ALARM.

    В такой ситуации можно либо скорректировать пороговые значения, либо принять тот факт, что подобные кратковременные выбросы таймингов не будут считаться критичными, и алерты будут поступать в статусе WARNING.

  83. User

    "{% note info "Промежуточные выводы" %}

    • Для алерта на 500-е ошибки обычно интересно, сколько ошибок насыпало. И на этот вопрос отвечает среднее.

    • Для алерта на тайминги обычно интересно, как долго была недоступна база. И тут лучше подходит агрегация «все значения».

    {% endnote %}"

  84. Assistant

    {% note info "Промежуточные выводы" %}

    • Для алерта на 500-е ошибки важно знать, сколько ошибок произошло. Здесь наиболее информативным показателем является среднее.

    • Для алерта на тайминги ключевой вопрос — как долго была недоступна база данных. В этом случае лучше всего подходит агрегация «все значения».

    {% endnote %}

  85. User

    это "### Обзор видов агрегаций в алертах

    Агрегация последним значением

    Этот реактивный метод агрегации игнорирует окно алерта и всегда смотрит на самое последнее значение метрики. Но у него есть ряд недостатков. Например, он вполне может пропускать выброс."

  86. Assistant

    Обзор видов агрегаций в алертах

    Агрегация последним значением

    Этот метод агрегации является реактивным и всегда ориентируется на самое последнее значение метрики, игнорируя окно алерта. Однако, у него есть несколько недостатков. Например, он может пропускать кратковременные выбросы значений.

  87. User

    "Вот пример, где метрика несколько раз пересекает порог. Метод пропускает выброс, если он случился между двумя вычислениями алерта. Алерты в Solomon всегда вычисляются раз в минуту вне зависимости от их окна, а метрики могут приходить чаще. Поэтому агрегация через последнее значение может пропустить выбросы, которое продолжались менее 1 минуты."

  88. Assistant

    Вот пример, где метрика пересекает порог несколько раз. Метод, основанный на последнем значении, может пропустить выброс, если он произошел между двумя вычислениями алерта. В Solomon алерты вычисляются раз в минуту, независимо от их окна, тогда как метрики могут поступать чаще. Поэтому агрегация на основе последнего значения может не уловить выбросы, которые длились менее минуты.

  89. User

    "Если метрика подбирается к пороговому значению и «дрожит» вокруг него, алерт может постоянно менять статус с ОК на ALARM и с той же частотой присылать уведомления. Поэтому для «дрожащих» метрик не стоит использовать агрегацию последним значением. Исключение — алерт на монотонно растущие ряды или ряды, которые почти всегда растут, а потом сбрасываются в ноль. А ещё метрики типа COUNTER или лага. Например, когда есть периодический процесс и нужна метрика, показывающая, сколько времени прошло с последнего запуска. Если с последнего запуска или успешной отработки прошло больше заданного интервала, об этом надо сообщить. Тогда можно завести в мониторинге метрику лага – времени с последнего вычисления и на эту метрику настроить пороговый алерт."

  90. Assistant

    Если метрика приближается к пороговому значению и «дрожит» вокруг него, алерт может постоянно менять статус с ОК на ALARM, вызывая частые уведомления. Поэтому для таких «дрожащих» метрик не следует использовать агрегацию последним значением. Исключение составляют алерты на монотонно растущие ряды или ряды, которые обычно растут, а затем внезапно сбрасываются в ноль. Это также применимо к метрикам типа COUNTER или к метрикам, отслеживающим лаг.

    Например, при наличии периодического процесса может понадобиться метрика, показывающая время, прошедшее с последнего выполнения. Если с момента последнего выполнения или успешного завершения прошло больше заданного интервала, об этом необходимо уведомить. В этом случае можно настроить в мониторинге метрику лага — времени, прошедшего с последнего вычисления, и установить на нее пороговый алерт.

  91. User

    "{% note info "Важно" %}

    не настраивайте последнее значение на агрегатную метрику, так как последнее значение агрегатной метрики всегда крайне нестабильно. У вас получится не алерт, а генератор спама.

    {% endnote %}"

  92. Assistant

    {% note info "Важно" %}

    Не настраивайте агрегацию последним значением на агрегатную метрику, поскольку последнее значение агрегатной метрики всегда крайне нестабильно. В результате вы получите не алерт, а генератор спама.

    {% endnote %}

  93. User

    "#### Агрегация «Хотя бы одно значение» 

    Другой метод агрегации противоположен методу «Все значения» и называется «Хотя бы одно значение». Отличается узким применением на разовые события. Идея этого метода в том, что алерт сработает, если хотя бы в одной точке окна что-то случилось. Алерт ловит любой выброс, поэтому его стоит использовать только для самых критичных ситуаций, когда надо срочно реагировать. Как только произойдёт какое-то событие вроде OOM (out of memory) или coredump, алерт это увидит и пришлёт ALARM. 

    Если если в окне алерта случилось несколько подряд событий, повторного уведомления не будет, так как в рамках окна они дедуплицированы."

  94. Assistant

    Агрегация «Хотя бы одно значение»

    Этот метод агрегации противоположен методу «Все значения» и называется «Хотя бы одно значение». Он характеризуется узким применением для разовых событий. Основная идея этой агрегации в том, что алерт сработает, если хотя бы в одной точке окна произошло какое-либо событие. Алерт таким образом улавливает любой выброс, поэтому его стоит использовать только в самых критичных ситуациях, требующих немедленного реагирования. Например, при возникновении таких событий, как OOM (out of memory) или coredump, алерт сразу же зафиксирует это и отправит сигнал ALARM.

    Если в течение окна алерта произошло несколько последовательных событий, повторное уведомление не будет отправлено, так как в рамках окна они будут дедуплицированы.

  95. User

    "Загруженность тредпула

    Изучим более кастомные агрегации на примере утилизации тредпула. Когда в тредпулах заканчиваются ресурсы, выглядит это примерно так:"

  96. Assistant

    Загруженность тредпула

    Рассмотрим более специфичные агрегации на примере утилизации тредпула. Когда в тредпуле заканчиваются ресурсы, это проявляется следующим образом:

  97. User

    "Тредпул почти всегда загружен работой, утилизация близка к 100%. Но иногда происходит какая-то разгрузка и утилизация ненадолго падает. Агрегация «все значения» тут не сработает, потому что все значения в данном случае не пересекают WARNING-порог. В одной-единственной точке загрузка упала, а потом опять всё хорошо.

    Как научиться ловить такие ситуации тредпула, который загружен практически всегда? Сформулируем условия срабатывания следующим образом: узнавать, если 80% времени тредпул был загружен более чем на 7,5 активных потоков из 8.

    Здесь не подойдёт метод агрегации «все значения», не подойдёт среднее, поскольку непонятно, как переформулировать это условие в «среднее». Как сделать такую агрегацию средствами, которые предоставляет мониторинг? Выручит процентиль."

  98. Assistant

    Тредпул почти всегда загружен работой, и его утилизация близка к 100%. Однако иногда происходит временная разгрузка, и утилизация на короткий период снижается. В данной ситуации агрегация «все значения» не сработает, так как не все значения пересекают порог WARNING. Может быть, загрузка немного упала в одном-единственном моменте, а затем ситуация нормализовалась.

    Как можно выявлять такие ситуации для тредпула, который практически всегда загружен? Формулируем условия срабатывания следующим образом: получать уведомления, если 80% времени тредпул был загружен более чем на 7,5 активных потоков из 8.

    Метод агрегации «все значения» здесь не подходит, как и среднее, поскольку сложно выразить это условие в терминах «среднего». Как реализовать такую агрегацию, используя средства мониторинга? В данной ситуации поможет процентиль.

  99. User

    это "Нулевая процентиля — это то же самое, что минимум. Ниже минимума лежит 0% точек. Пятидесятая процентиля — это медиана, когда ниже лежит ровно половина множества точек. Сотая, или максимум — когда ниже максимума лежат 100% точек.

    Мы можем построить агрегацию через процентиль. Для нашей задачи подойдёт двадцатая процентиля, когда ниже лежит 20% точек, а выше — 80%. По условию это 7,5. Значит, в алерте будет сказано p20(x)>7,5, что в метрике означает «почти все точки временного ряда выше, чем 7,5».

    Если бы в пороговом алерте была агрегация вида p20(x), ею можно было бы воспользоваться. Но набор агрегаций в пороговом алерте узковат, поэтому реализовывать p20(x) придётся самостоятельно. Это можно сделать с помощью запросов в пороговом алерте."

  100. Assistant

    Нулевая процентиль — это минимум, ниже которого лежит 0% точек множества. Пятидесятая процентиль соответствует медиане, когда ниже её оказывается ровно половина точек. Сотая процентиль, или максимум, означает, что ниже неё расположены 100% точек.

    Мы можем использовать агрегацию через процентиль для решения этой задачи. Для нашего случая подойдет двадцатая процентиль, когда ниже неё находится 20% точек, а выше — 80%. Согласно условиям, это значение равно 7,5. Таким образом, в алерте будет указано условие p20(x) > 7,5, что в метрике указывает на то, что почти все точки временного ряда выше 7,5.

    Если бы в пороговом алерте была возможность использовать агрегацию вроде p20(x), её можно было бы применить. Однако возможности агрегаций в пороговом алерте достаточно ограничены, поэтому придется реализовать p20(x) самостоятельно. Это можно сделать с помощью запросов, настроенных в пороговом алерте.

  101. User

    "#### Агрегация через двадцатую процентиль

    Берём изначальный запрос, который выгружает метрику загруженности тредпула. Составляем второй запрос, который вычисляет двадцатую процентиля от этого количества. В силу технических ограничений нужно, чтобы запрос возвращал временной ряд, поэтому число оборачивается в constant_line. И на это значение можно настроить обычный пороговый алерт, который будет срабатывать, если двадцатая процентиля больше 7,5."

  102. Assistant

    Агрегация через двадцатую процентиль

    Начнем с исходного запроса, который извлекает метрику загруженности тредпула. Затем составим второй запрос, который вычисляет двадцатую процентиль для этого значения. Из-за технических ограничений, запрос должен возвращать временной ряд, поэтому число оборачивается в функцию constant_line. На это значение можно настроить обычный пороговый алерт, который будет срабатывать, если двадцатая процентиль превышает 7,5.

  103. User

    "Настроенный таким образом алерт умеет ловить закончившийся тредпул, даже если тот иногда ненадолго разгружается. "

  104. Assistant

    Таким образом настроенный алерт способен выявлять ситуации, когда ресурсы тредпула исчерпываются, даже если в некоторых случаях происходит кратковременная разгрузка.

  105. User

    "{% note info "Заголовок примечания" %}

    Процентиль — очень мощный механизм. Если вы настроили алерт, посмотрели на него и поняли, что он не очень хорошо срабатывает с дефолтными методами агрегации, попробуйте процентиль.

    {% endnote %}"

  106. Assistant

    {% note info "Рекомендация использования процентиля" %}

    Процентиль — это чрезвычайно мощный инструмент. Если вы настроили алерт и обнаружили, что он неэффективно работает с дефолтными методами агрегации, попробуйте использовать процентиль.

    {% endnote %}

  107. User

    Теперь "## Однотипные сущности

    Как мониторить однотипные сущности

    В мониторинге часто плодятся сущности. Например, у сервиса может быть много хостов, разных ручек, а на каждую ручку — по алерту на 500-е ошибки. Приходится заводить одинаковый алерт на большое количество разных сущностей: хосты, ручки, клиенты, DAO. Здесь есть несколько подходов.

    1. Сделать убер-алерт, который проверяет несколько сущностей сразу (не рекомендуется)

      • высока вероятность упереться в лимиты алерта на чтение данных,

      • сложнее искать причину срабатывания алерта.

    2. Использовать jinja-шаблонизацию или Terraform

      • важно не забывать после релиза функциональности создавать новые алерты.
    3. Использовать мультиалерты (рекомендуется)

      • будет работать, если метрики однотипных сущностей отличаются какими-то метками (например, меткой host, DAO)."
  108. Assistant

    Однотипные сущности

    Как мониторить однотипные сущности

    В мониторинге часто возникает множество однотипных сущностей. Например, у сервиса может быть множество хостов или различных конечных точек, и для каждой из них требуется отдельный алерт на 500-е ошибки. Это приводит к необходимости настраивать одинаковые алерты для различных сущностей, таких как хосты, конечные точки, клиенты или DAO. Существуют несколько подходов к решению этой задачи:

    1. Создать универсальный алерт, который проверяет несколько сущностей одновременно (не рекомендуется):

      • Высока вероятность столкнуться с ограничениями на чтение данных для алерта.

      • Труднее определить причину срабатывания алерта.

    2. Использовать jinja-шаблоны или Terraform:

      • Важно помнить о необходимости создания новых алертов после выпуска новой функциональности.
    3. Использовать мультиалерты (рекомендуется):

      • Этот подход хорошо работает, если метрики однотипных сущностей отличаются по определенным меткам (например, метка host или DAO).
  109. User

    "### Как сделать мультиалерт

    Ранее мы настроили алерт на тредпул одного хоста. Теперь настроим его на все хосты кластера сразу.

    Поскольку у каждого хоста свой тредпул, какие-то хосты могут быть перегружены, а какие-то — нет. Поэтому на кластере ничего интересного увидеть не получится. А хочется видеть, когда какой-то хост выходит из строя. Для этого разложим алерт на набор подалертов для каждой существующей комбинации метрик host + cluster. Для этого заменим в запросе селектора хост и кластер. Раньше они имели конкретные значения, а теперь там звёздочки."

  110. Assistant

    Как создать мультиалерт

    Ранее мы настроили алерт на тредпул одного хоста. Теперь сделаем так, чтобы он применялся ко всем хостам в кластере одновременно.

    У каждого хоста есть свой отдельный тредпул, и нагрузка на них может различаться: некоторые хосты могут быть перегружены, а некоторые нет. Таким образом, анализировать кластер в целом не всегда информативно. Нам важно знать, когда отдельный хост выходит из строя. Для этого мы разберем алерт на набор подалертов для каждой сочетания меток host и cluster.

    В запросе заменим селекторы для меток хост и кластер. Раньше они имели конкретные значения, а теперь заменим их на звёздочки (*) для охвата всех возможных значений.

  111. User

    "{% note info "Заголовок примечания" %}

    Обратите внимание, в host указана звёздочка минус звёздочка. Это такой селектор, который в данном случае поматчит каждый хост сервиса, но не агрегаты типа cluster, SAS, VLA и так далее. 

    {% endnote %}"

  112. Assistant

    {% note info "Исключение агрегатов из селектора" %}

    Обратите внимание, что в поле host используется запись звёздочка минус звёздочка (* - *). Этот селектор подбирает каждый отдельный хост сервиса, но исключает агрегаты, такие как cluster, SAS, VLA и другие.

    {% endnote %}

  113. User

    "Ещё выполняется разложение по меткам. Так мы говорим, что для каждой пары host и cluster нужно получить отдельный алерт, который проверяет именно эту пару. "

  114. Assistant

    Дополнительно выполняется разложение по меткам. Это означает, что для каждой пары значений host и cluster создается отдельный алерт, который проверяет именно эту комбинацию.

  115. User

    "После сохранения алерта открывается страница статуса. Алерт стал мультиалертом, у которого есть подалерты, генерируемые для каждой пары host и cluster."

  116. Assistant

    После сохранения алерта система переходит на страницу статуса. Теперь алерт является мультиалертом, и у него есть подалерты, которые генерируются для каждой комбинации значений host и cluster.

  117. User

    Это "На странице мультиалерта видно, на какие подалерты он разложился. Столбики показывают агрегированный статус по всем подалертам. Как видно на скриншоте, почти все они зелёные, и есть несколько подалертов, которые горят ALARM и WARNING. Также здесь есть фильтры, позволяющие оставить только подалерты со статусом ALARM или WARNING. В каждый подалерт можно провалиться. В этом случае откроется страница статуса, аналогичная обычному алерту."

  118. Assistant

    На странице мультиалерта отображаются подалерты, на которые он разбивается. Столбики показывают агрегированный статус по всем подалертам. Как видно на скриншоте, большинство из них зеленые, однако есть несколько подалертов со статусами ALARM и WARNING. Также доступны фильтры, позволяющие выделить только подалерты со статусами ALARM или WARNING. Для детального просмотра каждого подалерта можно перейти на его страничку, где откроется страница статуса, аналогичная обычному алерту.

  119. User

    "Каждый подалерт:

    • задаётся набором меток разложения,

    • имеет собственный статус,

    • вычисляется независимо.

    Например, сейчас перегружен sas-631. C ним и будем разбираться. Для этого нужно кликнуть по соответствующей строке таблицы. Откроется окошко статуса подалерта. От обычного окна оно отличается наличием меток, то есть конкретными значениями метки host и метки cluster, для которого он был сгенерирован."

  120. Assistant

    Каждый подалерт:

    • Определяется набором меток разложения.
    • Имеет собственный статус.
    • Вычисляется независимо.

    Например, в данный момент перегружен хост sas-631. Чтобы разобраться с этой ситуацией, необходимо щелкнуть по соответствующей строке в таблице. Это откроет окно статуса подалерта. В отличие от обычного окна, здесь будут отображаться метки, то есть конкретные значения меток host и cluster, для которых подалерт был создан.

  121. User

    "{% note info "Важно" %}

    мультиалерты работают исключительно с метриками. Все подалерты, которые генерируются, фактически появляются из метрик. Есть метрика — есть подалерт. Источником истины для разложения мультиалерта всегда являются временные ряды. Также мультиалерты эффективны, когда сущностей много, но их количество разумно ограничено (условно, миллионы).

    {% endnote %}"

  122. Assistant

    {% note info "Важно" %}

    Мультиалерты работают исключительно с метриками. Все генерируемые подалерты фактически базируются на метриках. Если есть метрика, то существует и подалерт. Источником истины для разложения мультиалерта всегда являются временные ряды. Мультиалерты особенно эффективны, когда количество сущностей велико, но остается в разумных пределах (например, до миллиона).

    {% endnote %}

  123. User

    "## Аннотации

    Важно снабдить алерт дополнительной информацией, которая потом поможет дежурному понять, что с этим алертом делать. Если дежурный опытный, ему можно сказать, что нужно делать. Но проще, когда алерт снабжён дополнительной информацией о том, какую документацию читать, какую инструкцию или дашборд смотреть, где логи и админка, в которой можно увидеть, что сломалось. Всё это можно добавить к алерту с помощью механизма аннотации. Аннотации помогают дебажить проблему, показывают всё на одном графике."

  124. Assistant

    Аннотации

    Снабжение алерта дополнительной информацией критически важно для того, чтобы дежурный мог быстро понять, какие действия предпринять при его срабатывании. Опытному дежурному может быть достаточно общих указаний, однако наличие дополнительных сведений значительно упрощает задачу. Алерт можно дополнить информацией о соответствующей документации, инструкции, специфических дашбордах, местоположении логов и административной панели, где можно выяснить, что именно вышло из строя. Все эти сведения можно добавить к алерту с помощью механизма аннотаций. Аннотации упрощают процесс отладки проблемы, объединяя всю нужную информацию на одном графике.

  125. User

    "Это простой набор пар ключ-значение, но в значениях можно использовать шаблонизацию. Брать значения переменных из запросов, подставлять значения меток подалертов. Если вспомнить алерт на тредпул, то он разложен по каждому хосту. Если тредпул заканчивается на каком-то хосте, можно прикрепить аннотацию, которая ведёт в админку, где есть тред дамп.

    Чтобы сформировать правильную ссылку, нужно знать, на каком хосте проблема. Этот хост берётся из меток подалерта. И в результате на странице подалерта появляется аннотация, содержащая ссылку на конкретный хост. По ней можно кликнуть, чтобы узнать, чем заняты треды и из-за чего возникла проблема."

  126. Assistant

    Аннотации представляют собой простой набор пар ключ-значение, но значения могут поддерживать шаблонизацию. Это позволяет использовать значения переменных из запросов и подставлять значения меток подалертов. Например, если рассмотреть алерт на тредпул, который разбивается по каждому хосту — в случае истощения ресурсов тредпула на конкретном хосте, аннотацию можно настроить так, чтобы она вела в административную панель с доступом к тред дампу.

    Для создания корректной ссылки необходимо знать, на каком именно хосте возникла проблема. Это значение можно извлечь из меток подалерта. В результате, на странице подалерта появится аннотация, содержащая ссылку на проблемный хост. Щелкнув по ней, можно узнать, чем заняты треды и что стало причиной проблемы.

  127. User

    "В разделе с аннотациями есть и раздел с переменными. Если используется алерт выражение и есть какие-то промежуточные переменные, которые участвовали в вычислениях, то эти переменные будут перечислены в списке вместе с их значениями. 

    Для пороговых алертов есть результат величины, которая сравнивается с порогом. Это средняя от синей линии. Но так как мы использовали constant_line, то по факту это то значение, которое обернули в constant_line."

  128. Assistant

    В разделе аннотаций также присутствует раздел с переменными. Если используется алерт-выражение и в вычислениях задействованы какие-либо промежуточные переменные, они будут перечислены в списке с указанием их значений.

    Для пороговых алертов отображается результат величины, которая сравнивается с пороговым значением. Это представляет собой среднее значение синей линии. Однако, если используется constant_line, фактически это то значение, которое было обернуто в constant_line.

  129. User

    "## Аналитика по алертам

    Вы завели алерт. Не надо сразу вешать на него эскалации с заведением инцедентных тикетов. Лучше дать ему неделю постоять, а потом проанализировать: хороший ли алерт получился? Когда алерт один, можно пойти и посмотреть его историю срабатываний. Но удобнее это делать с помощью инструмента аналитики уведомлений и алертов. "

  130. Assistant

    Аналитика по алертам

    После создания алерта не стоит сразу настраивать эскалации с заведением инцидентных тикетов. Лучше дать ему возможность поработать в течение недели, а затем оценить его эффективность: насколько хорошо он работает? Если алерт лишь один, можно вручную проверить его историю срабатываний. Однако гораздо удобнее использовать инструмент аналитики уведомлений и алертов для анализа его работы.

  131. User

    "Этот инструмент есть на странице каждого проекта: ссылка на дашборд «Аналитика уведомлений». С помощью дашборда можно увидеть, когда и как часто срабатывал алерт, как часто он меняет статусы (флапает). И если видно, что алерт слишком часто срабатывает, то стоит его донастроить, изменив метод агрегации, пороги и что-нибудь ещё."

  132. Assistant

    Данный инструмент доступен на странице каждого проекта в виде ссылки на дашборд «Аналитика уведомлений». С помощью этого дашборда можно оценить, когда и как часто срабатывал алерт, а также как часто он меняет статусы (флапает). Если выясняется, что алерт срабатывает слишком часто, это сигнал о необходимости его донастройки. Это может включать изменение метода агрегации, корректировку порогов или другие настройки.