Skip to content
TheChatArchiveThe Chat Archive
gpt-4o-mini-2024-07-18· OpenAIAi2 WildChat-4.8M (AI2)

package qaas import ( "context" "errors" "fmt" "log/slog" "strings"…

  1. User

    package qaas

    import ( "context" "errors" "fmt" "log/slog" "strings"

    "go.avito.ru/gl/metrics/v3"
    "go.avito.ru/gl/observability/v2"
    
    "go.avito.ru/bill/service-fiscal-tool/cmd"
    qaasgen "go.avito.ru/bill/service-fiscal-tool/internal/generated/qaas"
    "go.avito.ru/bill/service-fiscal-tool/pkg/logformatter"
    "go.avito.ru/bill/service-fiscal-tool/pkg/utils"
    

    )

    const ( DefaultRetryLimit = 5000 StagingRetryLimit = 50 )

    var ( // ErrToRetry ошибка для механизма повторной обработки сообщений ErrToRetry = errors.New("retrying message") // ErrToInstantRetry ошибка для механизма незамедлительной повторной обработки сообщений ErrToInstantRetry = errors.New("retrying message instantly") // ErrCantConvertMessage не получилось конвертировать сообщение в нужный тип топика ErrCantConvertMessage = errors.New("can't convert message") // ErrInvalidMessage сообщение не прошло валидацию ErrInvalidMessage = errors.New("invalid message") )

    type SubscriberStrategy interface { // GetConfig возвращает конфиг топика GetConfig() SubscriberConfig // ProcessMessage реализует бизнес логику обработки сообщения ProcessMessage(ctx context.Context, message any, meta qaasgen.Meta) error // Subscribe подписывается на топик Subscribe(ctx context.Context) error // SubscribeDeferred подписывается на топик отложенных сообщений SubscribeDeferred(ctx context.Context) error }

    type SubscriberConfig struct { // Topic название QaaS топика Topic string // RetryLimit лимит количества повторных обработок, 0 - без лимита RetryLimit int64 }

    type SubscriberHandler func(messages []any, metas []qaasgen.Meta) (acks int, deferred bool, err error)

    func GetSubscriberHandler(subscriber SubscriberStrategy, metric *metrics.Metrics) SubscriberHandler { return func(messages []any, metas []qaasgen.Meta) (acks int, deferred bool, err error) { observer := observability.New()

    	if len(messages) == 0 {
    		return 0, false, nil
    	}
    
    	cfg := subscriber.GetConfig()
    	subscriberMetric := getMetrics(cfg.Topic)
    
    	if utils.IsStaging() {
    		cfg.RetryLimit = StagingRetryLimit
    	}
    
    	for i, message := range messages {
    		meta := metas[i]
    		ctx := meta.Context()
    		ctx = logformatter.WithField(ctx, "context.requestId", observer.RequestID(ctx))
    
    		// сервис выключается и не сможет обработать эти сообщения - даем nack
    		// новые поды подхватят сообщения и обработают их
    		if cmd.IsShuttingDown {
    			metric.Count(subscriberMetric.Deferred, len(messages)-acks)
    
    			// "If deferred flag is false, then all messages after acks will be threatened as nacked."
    			return acks, false, nil
    		}
    
    		if utils.IsNil(message) {
    			ctx = logformatter.WithField(ctx, "payload.meta", string(meta.Payload()))
    			slog.WarnContext(ctx, fmt.Sprintf("[QaaS %s] empty message", cfg.Topic))
    			metric.Increment(subscriberMetric.EmptyMessage)
    
    			acks++
    			continue
    		}
    
    		ctx = logformatter.LogSubscribedMessage(ctx, cfg.Topic, message)
    
    		err = subscriber.ProcessMessage(ctx, message, meta)
    		if err != nil {
    			// ошибка валидации полей
    			// нет смысла повторно обрабатывать -> пропускаем сообщение
    			if errors.Is(err, ErrInvalidMessage) {
    				metric.Increment(subscriberMetric.InvalidMessage)
    
    				acks++
    				continue
    			}
    
    			// не получилось конвертировать в структуру сообщения
    			// скорее всего проблема на нашей стороне, поэтому не игнорируем даже по лимиту
    			if errors.Is(err, ErrCantConvertMessage) {
    				metric.Increment(subscriberMetric.BadConvert)
    			}
    
    			// механизм лимита повторных обработок
    			// при достижении лимита перестаем обрабатывать повторно, просто пропускаем
    			if !errors.Is(err, ErrCantConvertMessage) &&
    				(cfg.RetryLimit > 0 && meta.DeferCount() > cfg.RetryLimit) {
    				logformatter.LogWithError(ctx, fmt.Sprintf("[QaaS %s] retry limit exceeded", cfg.Topic), err)
    				metric.Increment(subscriberMetric.Failed)
    
    				acks++
    				continue
    			}
    
    			if !errors.Is(err, ErrToRetry) && !errors.Is(err, context.Canceled) {
    				logProcessMessageError(ctx, err, cfg.Topic)
    				metric.Increment(subscriberMetric.DeferredByError)
    			}
    
    			metric.Increment(subscriberMetric.Deferred)
    
    			// принудительно вызвали моментальный ретрай
    			if errors.Is(err, ErrToInstantRetry) {
    				metric.Increment(subscriberMetric.DeferredInstantly)
    				return acks, false, nil
    			}
    
    			return acks, true, nil
    		}
    
    		metric.Increment(subscriberMetric.Success)
    		acks++
    	}
    
    	return acks, false, nil
    }
    

    }

    func InvalidMessage(ctx context.Context, msg string, args ...any) error { slog.WarnContext(ctx, msg, args...) return ErrInvalidMessage }

    func logProcessMessageError(ctx context.Context, err error, topic string) { // remove ErrToInstantRetry from source error if errors.Is(err, ErrToInstantRetry) { replaced := strings.Replace(err.Error(), ErrToInstantRetry.Error(), "", 1) replaced = strings.ReplaceAll(replaced, "\n", "") err = errors.New(replaced) }

    logformatter.LogWithError(ctx, fmt.Sprintf("[QaaS %s] process message error", topic), err)
    

    }

    type SubscriberMetric struct { // Success метрика кол-ва успешно обработанных сообщении Success string // Failed метрика кол-ва сообщений с ошибками Failed string // Deferred метрика кол-ва сообщений ушедших в повторную обработку Deferred string // DeferredByError метрика кол-ва сообщений ушедших в повторную обработку из-за ошибки DeferredByError string // DeferredInstantly метрика кол-ва сообщений ушедших в моментальную обработку DeferredInstantly string // BadConvert метрика кол-ва сообщений с неправильным типом сообщения BadConvert string // InvalidMessage метрика кол-ва сообщений с ошибками валидации InvalidMessage string // EmptyMessage метрика кол-ва пустых сообщений (nil) EmptyMessage string }

    func getMetrics(topic string) SubscriberMetric { const prefix = "qaas." topic = strings.ReplaceAll(topic, ".", "_")

    return SubscriberMetric{
    	Success:           prefix + topic + ".success",
    	Failed:            prefix + topic + ".failed",
    	Deferred:          prefix + topic + ".deferred",
    	DeferredByError:   prefix + topic + ".deferred_by_error",
    	DeferredInstantly: prefix + topic + ".deferred_instantly",
    	BadConvert:        prefix + topic + ".bad_convert",
    	InvalidMessage:    prefix + topic + ".invalid_message",
    	EmptyMessage:      prefix + topic + ".empty_message",
    }
    

    }

    объясни мне этот код

  2. Assistant

    Этот код на языке Go реализует обработчик подписчиков для получаемых сообщений из системы, называемой QaaS (Quality as a Service). В основном, он содержит интерфейсы и методы для обработки сообщений и управления retry логикой (повторной обработкой) в случае ошибок. Давайте разберем ключевые элементы кода:

    Константы и переменные ошибок

    • Consistency Constants: В коде определены два лимита повторной обработки сообщений: DefaultRetryLimit и StagingRetryLimit. Первый используется в производственной среде, а второй — в тестовой или промежуточной ("stage") среде.

    • Errors: Определяются специфические ошибки для обработки:

      • ErrToRetry: ошибка для повторной обработки сообщений.
      • ErrToInstantRetry: ошибка для немедленной повторной обработки.
      • ErrCantConvertMessage: ошибка, возникающая, если сообщение не может быть преобразовано в нужный формат.
      • ErrInvalidMessage: ошибка в случае, если сообщение не прошло валидацию.

    Интерфейсы

    • SubscriberStrategy: Это интерфейс, который должен реализовывать любой обработчик подписчика:

      • GetConfig: возвращает конфигурацию подписчика.
      • ProcessMessage: выполняет бизнес-логику обработки сообщения.
      • Subscribe: подписывается на топик.
      • SubscribeDeferred: подписывается на отложенные сообщения.
    • SubscriberConfig: Структура, в которой хранится настройка подписчика, включающая имя топика и лимит повторной обработки.

    Обработчик подписчика

    • SubscriberHandler: Определяется тип для функции, которая принимает массив сообщений и метаданных и обрабатывает их, возвращая количество успешно обработанных сообщений, флаг для отложенной обработки и ошибку.

    • GetSubscriberHandler: Функция, которая создает обработчик подписчика. Она выполняет следующие общие задачи:

      1. Проверяет, есть ли сообщения для обработки.
      2. Определяет конфигурацию и устанавливает лимит повторной обработки в зависимости от среды (стажа или продакшн).
      3. Обрабатывает каждое сообщение в цикле:
        • Если сообщение пустое (nil), обрабатывает это как "пустое сообщение".
        • Если возникает ошибка при обработке сообщения, различает типы ошибок (например, валидность сообщения или проблемы с конвертацией) и принимает соответствующие меры, включая увеличение счетчика метрик и проверку лимитов повторной обработки.
        • Если сообщение успешно обработано, увеличивает счетчик успешно обработанных сообщений.

    Логирование и Метрики

    • InvalidMessage: Функция для логирования предупреждений при недопустимых сообщениях.

    • logProcessMessageError: Функция, которая обрабатывает и логирует ошибки обработки сообщения, удаляя специфические ошибки из логов для ясности.

    • SubscriberMetric: Структура для хранения метрик, таких как количество успешно обработанных сообщений, количество сообщений с ошибками и т.д.

    • getMetrics: Функция для создания метрик в зависимости от имени топика. Она форматирует название, добавляя префикс qaas.

    Заключение

    В целом, этот код обеспечивает функциональность для обработки сообщений, ретро-логики и метрик в контексте подписки на топики сообщений в определенной системе. Он активно использует современные подходы к логированию и обработке ошибок, обеспечивая поддержку надежности и отслеживания состояния системы.