Ты, технический писатель. Перефразируй текст правильно для документации "С ростом…
- User
Ты, технический писатель. Перефразируй текст правильно для документации "С ростом бизнеса один проект может превратиться в коммуналку. Если бизнес небольшой, то может показаться, что одного проекта на всю работу достаточно. Но с ростом он становится всё более неудобен и превращается в какую-то коммуналку. Никто не знает, кто за что отвечает. Все стараются придумать костыли, чтобы облегчить себе жизнь."
- Assistant
С увеличением масштаба бизнеса один проект может стать неэффективным. На начальном этапе, когда бизнес небольшой, может казаться, что один проект справляется со всей работой. Однако по мере роста он теряет свою эффективность и превращается в хаотичную структуру, где нет ясности в распределении ответственности. Это приводит к созданию временных решений, которые призваны облегчить рабочие процессы.
- User
"У нас большой сервис и количество сотрудников, работающих с сервисом, более сорока пяти человек. Управлять таким количеством в плоском виде практически невозможно — нужно фокусировать на задачах, определять приоритеты. Поэтому мы всех сотрудников поделили на команды, у каждой из которых своя зона ответственности."
- Assistant
Наш сервис имеет значительные масштабы, и в его работе задействовано более сорока пяти сотрудников. Управлять таким числом людей без четкой структуры практически невозможно, поскольку необходимо распределять задачи и устанавливать приоритеты. Поэтому всех сотрудников мы объединили в команды, каждая из которых отвечает за определенные области.
- User
"Например, команда UI ответственна за работу мониторинга, чтобы у пользователей не возникали проблемы, когда они смотрят графики. Есть команда Solomon, её зона ответственности — бэкенд мониторинга, метрик и так далее.
У каждой команды один или больше проектов. Обычно один проект — это одна зона ответственности. Но со временем зоны ответственности расширяются. Например, в команде Solomon сначала работало 2-3 человека. А сейчас количество существенно выросло, и команда занимается еще и Graphit, и Yasm.
У каждой команды свой релизный цикл, свои дежурства и так далее."
- Assistant
Команда UI, например, отвечает за функциональность мониторинга, чтобы пользователи могли просматривать графики без проблем. В то же время команда Solomon занимается бэкенд-частью мониторинга, метриками и другими связанными задачами.
Каждая команда ведет один или более проектов, где обычно один проект соответствует одной зоне ответственности. Со временем эти зоны могут расширяться. Например, команда Solomon изначально состояла из 2-3 человек, но сейчас их количество значительно увеличилось, и они также занимаются проектами Graphit и Yasm.
Все команды работают по своим релизным циклам и имеют собственные дежурные графики.
- User
"У каждой команды должен быть проект, который включает в себя всю зону ответственности команды. Признак, что проект выбран неправильно, — после открытия мониторинга нужно скакать между разными проектами, чтобы проследить за всеми метриками. Скорее всего, все такие сущности имеет смысл поместить в один проект. Так каждый участник команды будет видеть один и тот же проект, который полностью покрывает зону ответственности команды на главном экране мониторинга.
Другой признак, который указывает на правильность выбора размера проекта, — любой член команды должен знать все сущности в проекте — алерты, шарды, метрики, дашборды."
- Assistant
Каждая команда должна иметь проект, который encompasses all their responsibilities. Неправильный выбор проекта можно определить, если после открытия мониторинга требуется переключаться между разными проектами для отслеживания всех метрик. В таких случаях стоит объединить все эти сущности в один проект. Это обеспечивает всем членам команды доступ к единому проекту, охватывающему всю их зону ответственности, видимому на главном экране мониторинга.
Правильно выбранный размер проекта также предполагает, что любой член команды должен быть знаком со всеми его элементами — такими как алерты, шарды, метрики и дашборды.
- User
еще
- Assistant
Каждая команда должна иметь проект, охватывающий всю её зону ответственности. Проблемы с выбором проекта можно заметить, если для отслеживания метрик приходится постоянно переключаться между несколькими проектами. В таких случаях рекомендуется объединить все необходимые элементы в один проект, чтобы каждый член команды имел доступ к полному набору данных в едином интерфейсе мониторинга.
Верный показатель правильного размера проекта — это когда каждый участник команды знаком со всеми элементами, такими как алерты, шарды, метрики и дашборды.
- User
"Не стоит класть каждый микросервис в отдельный проект. Есть две крайности — каждому микросервису присваивать проект или все микросервисы класть в один проект. В первом случае системой неудобно будет пользоваться, потому что для навигации между проектами приходится выходить на главную страницу. Более того, если вам нужен будет дашборд, чтобы следить за взаимодействием двух микросервисов, неясно, в какой проект его отнести. Если проектов много, то постоянно будет возникать потребность в агрегированной статистике по всем. Сущности нужно укрупнять."
- Assistant
Размещать каждый микросервис в отдельном проекте нецелесообразно. Существует две крайности: присваивать каждому микросервису отдельный проект или объединять все микросервисы в один проект. В первом случае использование системы становится неудобным, так как для перехода между проектами необходимо возвращаться на главную страницу. Кроме того, если потребуется дашборд для отслеживания взаимодействия двух микросервисов, возникает неясность, в какой проект его включить. При большом количестве проектов часто возникает необходимость в агрегированной статистике по всем микросервисам. Поэтому следует укрупнять сущности.
- User
"Не стоит класть метрики всех пользователей в один проект. Это другая крайность. Но совет, скорее всего, больше касается провайдеров, которые предоставляют какой-то сервис или бинарный файл для разных пользователей. Иногда такие провайдеры складывают все сущности своих пользователей в один проект. В этой куче метрик каждый пользователь может найти свои и на них смотреть. Мы не рекомендуем так делать и активно боремся с подобным подходом.
Например, когда в Yandex Cloud появились внешние пользователи, то мы поняли, что нельзя им давать все метрики, чтобы они искали там свои. Или когда был продан Дзен, то сотрудники VK могли видеть трафик на главную страницу и делать из этого какие-то выводы. Чтобы такого не происходило, сервис-провайдеры должны отдавать данные в проекты пользователя.
Плюсов разделения проектов по пользователям много. Во-первых, у них не возникает вопроса, где можно найти метрики по их ресурсам. Во-вторых, пользователь может настроить разные доступы своим сотрудникам, например, внешним консультантам. В-третьих, пользователь начинает относиться к метрикам как к чему-то личному и настраивает для себя удобные дашборды и алерты."
- Assistant
Не рекомендуется объединять метрики всех пользователей в один проект. Это крайний подход, который чаще касается провайдеров, предоставляющих сервис или программное обеспечение множеству пользователей. Иногда такие провайдеры помещают все пользовательские метрики в один проект, позволяя каждому пользователю самостоятельно находить свои данные. Мы не рекомендуем этот метод и активно противодействуем ему.
Например, когда в Yandex Cloud появились внешние пользователи, стало очевидно, что нельзя предоставлять им доступ ко всем метрикам для самостоятельного поиска своих данных. Аналогично, после продажи Дзен сотрудники VK могли мониторить трафик на главную страницу, что было нежелательно. Чтобы такие ситуации не возникали, сервис-провайдеры должны размещать данные в индивидуальных проектах пользователей.
Преимущества разделения проектов по пользователям многочисленны. Во-первых, пользователи легко находят метрики своих ресурсов. Во-вторых, они могут управлять доступом для своих сотрудников, включая внешних консультантов. В-третьих, пользователи начинают относиться к метрикам как к персональным данным и могут настраивать их, создавая удобные дашборды и алерты.
- User
"Не связанные друг с другом сущности лучше раскладывать по разным проектам, чтобы не смешивать зоны ответственности. Например, у нас в команде отдельными проектами живут Solomon, Graphite и Yasm. Они все связаны с мониторингом и ими занимается одна команда, но всё же это про разные вещи.
Есть несколько признаков, что сущности стоит разделить по разным проектам:
-
у сущностей разные релизные циклы,
-
между системами нет никаких зависимостей: падение одной никак не влияет на другую,
-
зона ответственности за часть сущностей можно передать другой команде.
К чему приводят все эти рекомендации:
-
у команды появляются гранулярные права доступа,
-
в проекте будет удобная аналитика,
-
всегда легко найти ответственного за тот или иной ресурс, плюс команда более ответственно подходит к проекту,
-
легко управлять квотами,
-
легко менеджерить аллерты, дашборды, быстрые ссылки — у команды все под рукой."
-
- Assistant
Несвязанные сущности разумнее распределять по различным проектам, чтобы не смешивать зоны ответственности. Например, в нашей команде проекты Solomon, Graphite и Yasm существуют отдельно. Хотя все они связаны с мониторингом и находятся в ведении одной команды, каждая из них отвечает за разные аспекты.
Есть несколько критериев, по которым стоит разделить сущности по разным проектам:
- У сущностей разные релизные циклы.
- Между системами отсутствуют зависимости: выход из строя одной системы никак не влияет на другую.
- Зону ответственности за определённые сущности можно передать другой команде.
Эти рекомендации способствуют следующим улучшениям:
- Команда приобретает точечные права доступа.
- Проект содержит удобные инструменты для аналитики.
- Легко определить ответственного за конкретный ресурс, что повышает ответственность команды за проект.
- Упрощается управление квотами.
- Облегчается управление алертами, дашбордами и быстрыми ссылками — все необходимые инструменты находятся под рукой.
- User
"### Почему важно делить данные на шарды
Здесь может прежде всего возникнуть вопрос: проекты — понятно, нужны пользователю. А зачем ему думать про шарды? Не всё ли равно, как работает система на низком уровне?
Кто работал в других компаниях, скорее всего, использовал Prometheus для мониторинга. В нём нет шардов и проектов. Когда компания маленькая все ходят в один инстанс, и нет никаких проблем. Но по мере роста случается такое, что кто-нибудь начинает отправлять слишком гранулярные метрики либо отправляет в инстанс много запросов на чтение, из-за чего система падает. Тогда администраторы выделяют один инстанс для каждой команды. Потом оказывается, что у команды куча окружений, поэтому для разных окружений начинают поднимать разные инстансы.
В отличие от инстанса Prometheus, который нужно поднимать руками, шард представляет собой некую кубышку с данными, которая целиком обособлена.
Проблема с шардом затрагивает все данные, которые в нём лежат. Проблемы бывают разные — например, сломался мониторинг и его надо перезапустить, закончилась квота на поток или он перегружен из-за большого количества запросов на чтение. Поэтому данные лучше делить на разные «кубышки», не стоит складывать все яйца в одну корзину.
У шардов могут быть разные настройки. Данные, которые лежат в шарде, — логи, метрики, трейсеры — достаточно гранулярные. Выписывать на каждую метрику или строчку лога разные настройки — неэффективно. Мы можем сгруппировать данные по важности по разным «кубышкам» и выставить общие настройки для каждого шарда — например, с какой периодичностью запрашивать данные, когда их можно удалять и другие.
Благодаря разделению на шарды поиск работает быстрее. Если у нас вся огромная таблица с данными лежит в одном месте, то сканировать всю базу может быть долго. А если мы разделили таблицу на части, то искать данные легче.
Деление данных на шарды позволяет быстрее найти проблему в случае сбоя. Например, мы отправили сервис в прод, но что-то сбоит. Мы смотрим в мониторинг и видим, какой сервис страдает. Дальше открываем метрики, связанные с этим шардом, и пытаемся понять, что произошло. Благодаря тому, что мы уменьшили объем данных, нам нужно анализировать меньше метрик, чтобы найти причину сбоя. Более того, логически проще находить полезные сигналы."
- Assistant
Важность разделения данных на шарды
Почему стоит задуматься о шардинге данных? Ведь проекты понятны: они нужны пользователю. Но зачем ему знать о шардировании? Разве не всё равно, как система работает на низком уровне?
Тем, кто работал в других компаниях, вероятно, знаком Prometheus для мониторинга, где нет распределения на шарды и проекты. В небольшой компании все используют один экземпляр Prometheus, и особых проблем не возникает. Однако с ростом компании случается так, что кто-то начинает отправлять слишком детализированные метрики или генерирует большое количество запросов на чтение, что может привести к сбоям системы. В таких случаях администраторы выделяют по одному экземпляру Prometheus для каждой команды. Затем выясняется, что у команды много окружений, и для каждого принимают решение запускать отдельные экземпляры.
В отличие от экземпляров Prometheus, которые нужно создавать вручную, шард представляет собой отдельный контейнер данных, полностью изолированный.
Проблема в одном шарде затрагивает все данные внутри него. Проблемы могут быть разнообразными — от необходимости перезапуска сломанного мониторинга до исчерпания квоты на поток или перегрузки из-за большого числа запросов на чтение. Поэтому лучше распределять данные между разными "кубышками", а не хранить всё в одном месте.
Шарды могут иметь разные настройки. Данные внутри шарда, будь то логи, метрики или трейсеры, зачастую очень детализированы. Применять уникальные настройки к каждой метрике или записи лога неэффективно. Вместо этого данные можно группировать по значимости в различные "кубышки" и назначать общие настройки для каждого шарда, например, частоту запроса данных, время их хранения и другие параметры.
Разделение на шарды ускоряет процесс поиска. Если данные находятся в одной большой таблице, её сканирование может занять много времени. При разделении таблицы на части поиск становится более эффективным.
Шардинг упрощает выявление проблем при сбоях. Например, если сервис в продакшене начинает сбоить, мониторинг позволяет определить, какой именно сервис испытывает трудности. Далее, анализируя метрики, связанные с конкретным шардом, можно быстрее понять причину сбоя. Это позволяет анализировать меньше данных и логически упрощает поиск необходимых сигналов.
- User
"### Рекомендации
Для каждого окружения важно заводить свой кластер. Это очевидный совет, который спасет вас от того, что код с багом, выкаченный в prestable, не затронет мониторинг продакшена. Данные prestable можно хранить меньше, собирать реже, и в целом тратить на них меньше квоты.
Если нужно посмотреть картинку по всем окружениям, можно воспользоваться стеком или функцией
series_sum. Данные из разных шардов можно объединить.Для живущих друг с другом сервисов, общающихся через localhost, нужно заводить разные кластеры. Когда возникнет необходимость расселить такие сервисы, не нужно будет перекладывать данные в шардах. Это можно сделать, но делать это трудозатратно, поэтому лучше заранее предусмотреть такую ситуацию.
{% note tip "Если ваши сервисы — это инстансы одного и того же процесса и выполняют общее дело, разделять их не нужно." %}
Добавьте содержание для примечания
{% endnote %}"
- Assistant
Рекомендации
Создавайте отдельный кластер для каждого окружения. Этот простой шаг убережет ваш продакшн мониторинг от влияния багов в коде, размещенном в prestable. Данные из prestable могут иметь более короткий срок хранения, собираться реже, и на них можно выделять меньшую квоту.
Для получения данных по всем окружениям вы можете воспользоваться стеком или функцией
series_sumдля объединения данных из разных шардов.Для сервисов, взаимодействующих через localhost, следует создавать отдельные кластеры. Это позволит проще расселить такие сервисы при необходимости без переноса данных между шардами. Хотя это возможно, процесс трудоемкий, и лучше предусмотреть такую ситуацию заранее.
{% note tip "Если ваши сервисы являются инстансами одного и того же процесса и выполняют одну задачу, разделять их не нужно." %}
Добавьте содержание для примечания
{% endnote %}
- User
"Для каждого микросервиса или бинаря лучше завести свой
service. Например, у вас есть какой-нибудь фоновый процесс, который обрабатывает ночью некоторые данные. А есть сервис, который работает в реальном времени, и в случае его сбоя пользователи будут страдать. Для фонового процесса и сервиса реалтайма можно завести разные квоты и запросить разные гарантии доступа. С первым ничего страшного не произойдет, если вы будете собирать для него данные раз в 15 секунд, а вот для второго важно собирать, информацию, раз в секунду. Если будут проблемы с фоновым процессом, это не взорвёт наш основной сервис.Для одного микросервиса или бинаря может быть больше одного
service. Например, в монобинаре есть разные подсистемы, которые взаимодействуют друг с другом. Или в микросервисе есть метрики рантайма и бизнесовые. В таком случае мы можем разводить эти данные по разным сервисам. Можно начинать с одного шарда, но постепенно разносить на разные сервисы. Это дает возможность использовать разные настройки — например, бизнесовые метрики важно хранить очень долго, а рантайм дольше двух недель никто не будет смотреть" - Assistant
Для каждого микросервиса или бинарного файла рекомендуется создать отдельный
service. Например, у вас может быть фоновый процесс, обрабатывающий данные ночью, и сервис, работающий в реальном времени, от которого зависит пользовательский опыт. Для этих процессов можно установить разные квоты и запросить различные гарантии доступа. Фоновый процесс не пострадает, если данные будут собираться каждые 15 секунд, тогда как для сервиса в реальном времени критически важно собирать данные каждую секунду. Если возникнут проблемы с фоновым процессом, это не повлияет на основной сервис.Для одного микросервиса или бинарного файла может быть установлено несколько
service. Например, монобинар может содержать различные подсистемы, взаимодействующие друг с другом. Или микросервис может иметь метрики, связанные с рантаймом и бизнесом. В таких случаях данные можно разделять по разным сервисам. Начав с одного шарда, можно постепенно распределять данные в разные сервисы, что позволяет применять разные настройки. Бизнесовые метрики могут требовать длительного хранения, тогда как метрики рантайма могут быть актуальны не дольше двух недель. - User
"Что дают эти рекомендации:
-
ускорение поиска за счёт того, что пропускается большой массив несвязанных данных,
-
уменьшение blast radius: проблемы с одним шардом (с квотами, перегрузом, недоступностью) не затрагивают другие,
-
возможность менять настройки независимо, например собирать метрики с другой гранулярностью, настроить другой ttl или retention для данных,
-
упрощение навигации за счёт логической группировки данных — не надо перелопачивать всё."
-
- Assistant
Следование этим рекомендациям приводит к следующим преимуществам:
-
Ускорение поиска за счет исключения большого объема несвязанных данных, что делает процесс более эффективным.
-
Снижение масштаба влияния проблем (blast radius): неисправности, такие как проблемы с квотами, перегруженность или недоступность одного шарда, не затрагивают остальные, обеспечивая стабильность системы.
-
Возможность независимой настройки параметров, например, изменение гранулярности сбора метрик, а также настройка различных параметров времени жизни (TTL) или хранения данных (retention).
-
Упрощение навигации благодаря логическому группированию данных, что избавляет от необходимости обрабатывать все данные сразу и облегчает доступ к необходимой информации.
-
- User
"### Как данные на шарды делим мы
Посмотрим наш проект Solomon:

В проекте есть несколько бинарников. Рассмотрим два из них:
-
Stockpile — база данных, которая хранит временные ряды,
-
Gateway — он работает как API, делает auth и дальше проксирует в нужный микросервис. В этом бинаре бизнес-логики как таковой нет.
В бинаре Stockpile два сервиса — Stockpile и Stockpile resources. В первом хранятся основные метрики приложения — тайминги, jvm и так далее, а во втором — бизнесовые метрики: сколько какой пользователь потребляет ресурсов. Так как бизнесовые метрики не связаны с метриками микросервиса, мы вынесли их в отдельный шард. Плюс нам не важна метка host на этом шарде, и чтобы уменьшить объём хранимых метрик, мы включили store-only-aggregates.
Приложение запущено в огромном количестве окружений, и у нас для них разные кластера. Здесь приведены только два — Prestable и Production. То есть в сумме на два бинаря у нас получилось шесть шардов.
Чем ещё отличаются Stockpile и Stockpile resources?
 
В одном случае у нас интервал сбора 60 секунд, а в другом — всего 15. Таким образом мы экономим свою квоту. В Stockpile resources хранятся только агрегаты, но не информация по хостам, потому что она бессмысленна, мы никогда ее не смотрим в разрезе бизнесовых метрик. Поэтому агрегаты отключены. А в метриках для Stockpile, наоборот – мы всегда смотрим по хостам."
-
- Assistant
Как мы разделяем данные на шарды
Рассмотрим проект Solomon:

В проекте используется несколько бинарных приложений. Рассмотрим два из них:
- Stockpile — база данных, которая хранит временные ряды.
- Gateway — служит API, обрабатывает авторизацию и проксирует запросы к нужному микросервису, не содержащему бизнес-логики.
В Stockpile мы выделили два сервиса: Stockpile и Stockpile resources. В первом хранятся основные метрики приложения, такие как тайминги и JVM, а во втором — бизнесовые метрики, например, сколько ресурсов потребляет каждый пользователь. Поскольку бизнесовые метрики не связаны с метриками микросервиса, мы вынесли их в отдельный шард. Кроме того, нам не требуется метка host на этом шарде, и чтобы сократить объем хранимых данных, используется параметр store-only-aggregates.
Приложение деплоится в большое количество окружений, для которых у нас настроены отдельные кластеры. На диаграмме представлены только два кластера — Prestable и Production. Итого получаем шесть шардов для двух бинарников.
Чем еще отличаются Stockpile и Stockpile resources?
 
В одном из шардов интервал сбора данных составляет 60 секунд, а в другом — всего 15 секунд. Это позволяет экономить квоту. В Stockpile resources хранятся только агрегаты без данных о хостах, поскольку она не имеет смысла для бизнесовых метрик и никогда не используется. Поэтому детализация по хостам отключена. В случае Stockpile, наоборот, метрики всегда просматриваются по хостам.
- User
"## Нейминг
Почему важно называть одинаковые вещи одинаково
Мы разрабатываем свои сервисы и живём в инфраструктуре Яндекса. При этом пользуемся разными сервис-провайдерами, например, мониторингом, деплоем и другими. В каждом провайдере есть либо проекты, либо их аналоги. И важно, чтобы одинаковые вещи назывались одинаково.
Одинаковое наименование облегчает переход между логами и между системами. Если аккаунт в разных сервисах называется по-разному, это добавляет когнитивную нагрузку на разработчиков — им сначала нужно понять, что они это один и тот же продукт. Проекты в деплое и в мониторинге тоже должны именоваться одинаково, это поможет сотрудникам не спотыкаться и не задумываться каждый раз, отвечая на вопрос, где лежат метрики, логи, трейсы.
Одинаковое наименование избавляет от необходимости настраивать в системе Х, в какой проект в Y отгружать телеметрию. Например, в проекте деплоя в параметрах можно указывать проект в мониторинге. Но переходить в параметры и искать проект в конечном итоге не удобно."
- Assistant
Нейминг
Почему важно называть одинаковые вещи одинаково
В разрабатываемых нами сервисах, функционирующих в инфраструктуре Яндекса, мы пользуемся разными сервис-провайдерами, такими как мониторинг и деплой. В каждом из них есть проекты или их аналоги, поэтому важно, чтобы одинаковые вещи имели единые наименования.
Единое наименование облегчает переход между логами и системами. Если один аккаунт в различных сервисах называется по-разному, это создает когнитивную нагрузку на разработчиков, которым сначала нужно понять, что речь идет об одном и том же продукте. Проекты в деплое и мониторинге также должны иметь одинаковые имена, это поможет сотрудникам легко ориентироваться и не задаваться вопросом, где находятся метрики, логи и трейсы.
Единое наименование устраняет необходимость настройки, в какой проект в системе Y направлять телеметрию из системы X. Например, в параметрах деплоя можно указывать проект в мониторинге. Однако постоянное обращение к параметрам и поиск нужного проекта в конечном итоге не удобны.