Skip to content
TheChatArchiveThe Chat Archive
o1-preview-2024-09-12· OpenAIAi2 WildChat-4.8M (AI2)

I need to solve the following Architectural Kata Going Green A large electronics store…

  1. User

    I need to solve the following Architectural Kata

    Going Green

    A large electronics store wants to get into the electronics recycling business and needs a new system to support it. Customers can send in their small personal electronic equipment (or use local kiosks at the mall) and possibly get money for their used equipment if it is in working condition.

    Users:

    Hundreds, hopefully thousands to millions

    Requirements:

    • Customers can get a quote for used personal electronic equipment (phones, cameras, etc.) either through the web or a kiosk at a mall.
    • Customers will receive a box in the mail, send in their electronic, and if it is in good working order receive a check.
    • Once the equipment is received, it is assessed (inspected) to determine if it can be either recycled (destroyed safely) or sold (eBay, etc.).
    • The company anticipates adding 5-10 new types of electronic that they will accept each month.
    • Each type of electronic has its own set of rules for quoting and assessment.

    Additional Context:

    • This is a highly competitive business and is a new line of business for us
    • If we haven’t received a type of electronic equipment in a year we will remove it from our system
    • We need to maintain a list of electronic equipment we are willing to accept as it changes often
    • Each piece of equipment has it’s own assessment (inspection) rules
    • We have the right to change the original quote to the customer if the product isn’t in the condition they said it was

    Решение

    Бизнес-цель

    Реализовать информационную систему, которая позволить работать с б/у техникой пользователей эффективным с точки зрения бизнеса способом (принимать старую электронику от пользователей и утилизировать/перепродавать ёё с прибылью). Эффективность будет достигаться за счёт:

    • внутренней информационной системы - позволит максимально оптимизировать обработку пользовательких заявок
    • внешнего клиентского приложения - позволит максимально расширить охват пользователей

    Бизнес-драйверы

    1. Зайти в новую для нас область и занять долю высококонкурентного рынка
    2. Получить прибыльный бизнес
    3. Быть очень гибкими - постоянное добавление/удаление доступных категорий техники
    4. Озеленить планету

    Стейкхолдеры

    1. Пользователи - сдают электронику и получают вознаграждение.
    2. Эксперты - проверяют электронику и дают заключение (продать или сдать в переработку)
    3. Менеджеры - принимают заказы от Пользователей в офисе, направляют технику после заключения от Экспертов, отправляет вознаграждения Пользователям
    4. Оператор - принимает заказы от Пользователей в киоске

    Базовые сценарии

    Далее ВИС - это наша реализуемая внутренняя информационная система. С ней работают Эксперты, Менеджеры и Операторы. Далее КП - это клиентское мобильное приложение или клиентский раздел сайта системы.

    UC_1: Регистрация Пользователя через КП

    1. Пользователь открывает КП
    2. Пользователь регистрирует в ИС свой почтовый адрес и карточку (для получения оплаты)

    UC_2: Регистрация Пользователя через киоск

    1. Пользователь обращается в киоск
    2. Оператор регистрирует пользователя и заносит его адрес/платёжные реквизиты для отправки чека

    UC_3: Пользователь запрашивает оценку через КП

    1. Пользователь отправляет запрос на оценку техники через КП
    2. Пользователь получает предварительную оценку

    UC_4: Пользователь запрашивает оценку через киоск

    1. Пользователь запрашивает у оператора предварительную оценку
    2. Оператор делает запрос в ВИС и озвучивает итог пользователю

    UC_5: ВИС делает предварительную оценку техники

    1. В ВИС поступает запрос на оценку техники (указаны тип техники и важные характеристики в зависимости от типа)
    2. ВИС на основе каталого оценок отвечает предварительной оценкой

    UC_6: Пользователь запрашивает коробку через КП

    1. Пользователь отправляет запрос на отправку техники через КП
    2. В ВИС создаётся заявка со статусом "Отправка коробки пользователю"

    UC_7: Пользователь запрашивает коробку через киоск

    1. Пользователь заявляет оператору о своём желании отправить технику
    2. Оператор в ВИС создаёт заявку со статусом "Отправка коробки пользователю"

    UC_8: Менеджер отправляет коробку пользователю

    1. Менеджер берёт самую старую заявку в очереди со статусом "Отправка коробки пользователю"
    2. Менеджер получает из ВИС адрес пользователя
    3. Менеджер отправляет коробку по адресу
    4. Менеджер меняет статус заявки на "Получение от пользователя"

    UC_9: Пользователь отправляет технику по почте

    1. Пользователь укладывает технику в полученную коробку
    2. Пользователь отправляет коробку с техникой Менеджеру

    UC_10: Менеджер принимает технику по почте

    1. Менеджер получает технику на почте
    2. Менеджер помечает заявку как "Готово к проверке"

    UC_11: Эксперт проверяет технику

    1. Эксперт берёт самую старую заявку в очереди со статусом "Готово к проверке"
    2. Эксперт проверяет и оценивает технику пользуясь внутренними регламентами
    3. Эксперт выставялет оценку техники - сумму, которая будет отправлена пользователю
    4. Эксперт выставляет статус заявки - "Продать/Утилизировать"

    UC_12: Менеджер отправляет технику на утилизацию

    1. Менеджер берёт самую старую заявку в очереди со статусом "Утилизировать"
    2. Менеджер отправляет технику партнеру-утилизатору
    3. Менеджер меняет статус заявки на "Готово к выплате"

    UC_13: Менеджер выставляет технику на перепродажу

    1. Менеджер берёт самую старую заявку в очереди со статусом "Продать"
    2. Менеджер продаёт технику на eBay
    3. Менеджер меняет статус заявки на "Готово к выплате"

    UC_14: Менеджер отправляет пользователю оплату

    1. Менеджер берёт самую старую заявку в очереди со статусом "Готово к выплате"
    2. Менеджер отправляет клиенту сумму указанную в заявке Экспертом
    3. Менеджер меняет статус заявки на "Закрыто"

    UC_15: Пользователь просматривает список своей техники

    1. Пользователь заходит в КП
    2. Пользователь видит список отправленной техники с актуальными статусами

    UC_16: Менеджер выводит из обращения неиспользуемые категории электроники

    1. Менеджер регулярно (раз в месяц) делает выборку в ВИС по категориям принимаемой электроники
    2. Те категории, которые не были использованы - удаляются (после ручной модерации)

    UC_17: Менеджер добавляет в систему новые категории электроники

    1. Менеджер (на основании анализа рынка) находит востребованные, но не представленные в ВИС, категории электроники
    2. Менеджер обеспечивает наличие экспертов по данному виду техники
    3. Менеджер вместе с Экспертами готовят и загружают в ВИС регламенты работы с новой категорией техники
    4. Менеджер добавляет новые категории в ВИС

    Базовые атрибуты качества

    • ВИС и КП должны быть готовы с масштабированию до миллинов пользователей (и десятком миллионов заявок)
    • КП должно быть высокодоступным, чтобы клиент всегда мого оформить новую заявку и узнать статус текущих,
    • ВИС должна быть высокодоступной, чтобы не было простоев бизнеса
    • время отклика КП < 2c при открытии страницы
    • время поиска в регламентах в ВИС - несколько секунд
    • время обновления заявки Пользователя < 2c
    • удаление/добавление новых категорий не должно занимать много времени
    • скорость запуска - мы хотим как можно быстрее зайти на рынок
    • стоимость запуска - мы хотим минимизировать первоначальные вложения

    Критические сценарии

    1. Регистрация Пользователя через КП
    2. Пользователь запрашивает оценку через КП
    3. ВИС делает предварительную оценку техники
    4. Пользователь запрашивает коробку через КП
    5. Менеджер отправляет коробку пользователю
    6. Пользователь отправляет технику по почте
    7. Менеджер принимает технику по почте
    8. Эксперт проверяет технику
    9. Менеджер отправляет технику на утилизацию
    10. Менеджер выставляет технику на перепродажу
    11. Менеджер отправляет пользователю оплату

    Критические характеристики

    1. ВИС и КП должны быть готовы с масштабированию до миллинов пользователей (и десятком миллионов заявок)
    2. скорость запуска - мы хотим как можно быстрее зайти на рынок
    3. стоимость запуска - мы хотим минимизировать первоначальные вложения

    Примечание. Я включаю первый пункт в критичные характеристики, поскольку бизнес ожидает взрывного роста пользователей - у каждого ведь есть старая/ненужная техника и если провести удачный маркетинг - идея должна "выстрелить".

    Контекстная схема системы

    [image: Изображение связей ИС со стейкхолдерами и внешними системами]

    Архитектурные альтернативы

    1. Использовать одну из представленных на рынке CRM систем (Bitrix24, Мегаплан). При этом:
      1. Существующие системы обойдутся компании дешевле (как минимум на старте), чем разработка собственной (Преимущество 1)
      2. Настройка готового решения займёт меньше времени, так как будет работать поддержка вендора (П2)
      3. Нанять и обучить сотрудников под существующее популярное решение будет проще (П3)
      4. Система может быть неприспособленной к нашим UC5 и UC6. Требуется дополнительный анализ (Риск 1)
      5. Система может быть неготовой к нашим нагрузкам и к дальнейшему масштабированию. Требуется дополнительный анализ (Р2)
    2. Реализовать собственную информационную систему. При этом:
      1. Разработка системы займёт больше времени (Р3)
      2. Разработка системы потребует больших вложения на старте бизнеса (Р4)
      3. Собственная система позволит гибко и относительно быстро подстраиваться под требования бизнеса (П4)

    Принятие архитектурного решения

    Исходя из целей бизнеса и критических характеристик, было принято решение двигаться по второму сценарию (реализация собственной информациооной системы). Выполнение 2й критичной характеристики будет достигаться за счёт реализации только критичных сценариев. Выполнение 3й критичной характеристики будет достигаться за счёт отсутствия киосков в моллах на первом этапе и отсутствия Операторов. Их роль в офисах будут выполнять Менеджеры.

    Идеи реализации

    Реализовывал бы по SOA/микросервисам. Пользовался бы облаками с их Managed Service-ами. Разбивал мы сервисы по subdomains. Разбиение вижу следующее:

    1. Сервис пользователей
      1. Хранит информацию о пользователях
      2. Карточки храним не у себя (чтобы не заморачиваться с PCI DSS), а используем сторонние сервисы, например Stripe
      3. Нагрузка по запросам - средняя (преимущественно чтение). Сервис будет принимать запросы на запись при регистрации пользователя и на чтение при работе с заявками пользователей.
      4. Объем данных - средний. Миллионы карточек пользователей.
      5. Хранилище - выбрал бы MongoDB, поскольку требований к строгой consistency нет, достаточно eventual и внутри сервиса не требуется большое количество JOIN-ов
    2. Сервис предварительной оценки
      1. Хранит разные каталоги и справочники по технике для оценки.
      2. Нагрузка по запросам - высокая (преимущественно чтение) - вызывается при каждой заявке и не только (не все оценки приводят к заявкам).
      3. Объем данных - небольшой. Ожидаю в 10-ки ГБ (максимум и с запасом).
      4. Хранилище - в виду специфики хранимых данных, я бы выбрал что-нибудь релиацинное с быстрыми JOIN-ами и индексацией. Типа PostgreSQL.
    3. Сервис заявок пользователей
      1. Самый нагруженный сервис. Хранит заявки пользователей и переключает их состояния.
      2. Нагрузка по запросам - высокая (чтение и запись).
      3. Объём данных - высокий. Это основное хранилище системы и ожидаю объём данных 10ки (со временем) ПБ (10_000_000 пользователей * 100 единиц техники * 100 КБ - верхняя оценка пользователй * сколько за всю жизнь отдадут техники * размер заявки в базе)
      4. Хранилище - смотрел бы в сторону strong consistency c гарантиями ACID. Например, CockroachDB или YDB у Яндекса
    4. Сервис категорий техники
      1. Хранит категории техники.
      2. Нагрузка по запросам - высокая (преимущественно чтение).
      3. Объем данных - небольшой
      4. Выбрал бы что удобно команде. Если начнём тормозить - выкинем и перепишем исходя из новых вводных.
    5. Сервис экспертных регламентов
      1. Хранит в себе правила, инструкции и регламенты работы с техникой для экспертов. Используется полнотекстовый поиск.
      2. Использовал бы что-нибудь стандартное для внутренних knowledge base.
    6. Сервис аналитики
      1. Должен научиться автоматически строить отчёты/аналитику по используемым категориям техники и заявкам
      2. В начале может пользоваться существующими сервисами, но в будущем возможно потребуется делать свой data-lake / dwh
    7. ВFF + фронт для КП
      1. Что-нибудь стандартное вида - NestJS + NextJs + React.
    8. Админка
      1. Содержит в себе BFF для фронта
      2. Релизует в себе различные внутренние use cases, при исполнении которых потребуется работа с остальными сервисами
  2. Assistant

    Здравствуйте!

    Спасибо, что поделились своим подробным решением для задания "Going Green". Вы проделали отличную работу, тщательно проанализировав требования бизнеса и разработав комплексный подход к созданию информационной системы для приема и переработки электронных устройств.

    Краткое резюме вашего решения:

    • Бизнес-цели и драйверы: Вы четко определили основные цели проекта: создание эффективной информационной системы (как внутренней, так и внешней) для работы с б/у техникой, выход на новый рынок, повышение гибкости в добавлении и удалении категорий техники и вклад в экологию.

    • Стейкхолдеры: Вы идентифицировали ключевых участников процесса: Пользователи, Эксперты, Менеджеры и Операторы.

    • Основные сценарии использования (Use Cases): Вы подробно описали все основные сценарии взаимодействия пользователей с системой, включая регистрацию, получение предварительной оценки, отправку техники, проверку устройства экспертами, перепродажу или утилизацию, а также выплату вознаграждений.

    • Критичные сценарии и характеристики: Вы выделили наиболее важные сценарии и характеристики, включая масштабируемость системы для миллионов пользователей, скорость запуска на рынок и минимизацию первоначальных затрат.

    • Архитектурные альтернативы и принятие решения: Вы рассмотрели два варианта развития системы: использование готовой CRM-системы и разработка собственной информационной системы. На основании критических характеристик вы выбрали разработку собственной системы, чтобы обеспечить гибкость и соответствие специфическим требованиям бизнеса.

    • Идеи реализации: Вы предложили микросервисную архитектуру с использованием облачных технологий и Managed Services. Разделение на сервисы по предметным областям поможет в масштабируемости и поддерживаемости системы.

    Рекомендации и предложения по улучшению:

    1. Уточнение объема данных:

      • Ваши предположения о размере данных (десятки петабайт) могут быть завышенными. При 10 млн пользователей, каждый из которых отправит 100 устройств по 100 КБ, общий объем данных составит около 100 Терабайт. Рекомендуется пересмотреть оценки, чтобы более точно спланировать инфраструктуру и затраты.
    2. Выбор технологий:

      • Сервис пользователей: Возможно, стоит рассмотреть использование реляционной базы данных для хранения данных пользователей, чтобы обеспечить целостность и согласованность данных, особенно если требуется strong consistency.
      • Сервис заявок пользователей: Для хранения большого объема данных с высокой нагрузкой на запись и чтение можно рассмотреть распределенные базы данных типа Apache Cassandra или NewSQL решения, которые обеспечивают баланс между масштабируемостью и согласованностью данных.
    3. Масштабируемость и производительность:

      • Кэширование: Внедрение механизмов кэширования (например, Redis) для часто запрашиваемых данных может значительно снизить нагрузку на базу данных и повысить скорость отклика.
      • Автоматическое масштабирование: Использование облачных сервисов, поддерживающих автоматическое масштабирование (AWS, Azure, Google Cloud), поможет справиться с внезапным ростом нагрузки.
    4. Безопасность и соответствие регуляциям:

      • Защита персональных данных: Необходимо обеспечить соответствие системы требованиям GDPR и другим нормативам по защите данных, особенно в части хранения и обработки персональной информации пользователей.
      • Обработка платежей: Вы правильно отметили необходимость использования сторонних платежных сервисов для обработки выплат и избегания необходимости соответствия стандартам PCI DSS.
    5. Гибкость и расширяемость:

      • API Gateway: Внедрение API Gateway облегчит управление и маршрутизацию запросов между клиентами и микросервисами.
      • Документация API: Тщательная документация внутренних и внешних API облегчит поддержку системы и интеграцию новых компонентов.
    6. DevOps и CI/CD:

      • Настройка процессов непрерывной интеграции и доставки (CI/CD) ускорит развертывание новых версий и позволит быстро реагировать на изменения требований бизнеса.
    7. Мониторинг и логирование:

      • Внедрение комплексной системы мониторинга (например, Prometheus, Grafana) и централизованного логирования (ELK Stack) поможет отслеживать состояние системы и быстро выявлять и устранять проблемы.
    8. Пользовательский опыт (UX):

      • Интерфейс клиента (КП): Уделите внимание удобству и интуитивности клиентского приложения, что повысит удовлетворенность пользователей и удержание аудитории.
      • Обратная связь: Реализуйте механизм обратной связи от пользователей для постоянного улучшения сервиса.
    9. Планирование масштабирования:

      • Этапность внедрения: Вы правильно отметили возможность запуска без киосков на первом этапе. Рекомендуется разработать поэтапный план развития функциональности с учетом приоритетов бизнеса.
    10. Юридические аспекты:

      • Лицензии и разрешения: Убедитесь в наличии всех необходимых лицензий и разрешений на сбор, утилизацию и перепродажу электронных устройств в соответствии с местным законодательством.
      • Соглашения с партнерами: Заключите договоры с партнерами по утилизации и продажам (eBay и пр.) на выгодных для компании условиях.

    Заключение:

    Ваше решение демонстрирует глубокое понимание бизнес-требований и технических аспектов проекта. Предложенный подход с микросервисной архитектурой и использованием облачных технологий соответствует современным практикам разработки масштабируемых и гибких систем.

    Рекомендую продолжить детализацию архитектуры, уделяя внимание перечисленным аспектам, и приступить к разработке прототипа, который позволит протестировать основные гипотезы и ускорить выход на рынок.

    Если у вас есть дополнительные вопросы или нужна помощь в проработке отдельных частей проекта, буду рад помочь!