Skip to content
TheChatArchiveThe Chat Archive
gpt-4.1-mini-2025-04-14· OpenAIAi2 WildChat-4.8M (AI2)

Из чего состоит протокол http/HTTPS и как его анализирует waf. Подробно и в деталях

  1. User

    Из чего состоит протокол http/HTTPS и как его анализирует waf. Подробно и в деталях

  2. Assistant

    Конечно! Давайте подробно разберём, из чего состоит протокол HTTP/HTTPS и как веб-аппликационный фаервол (WAF) анализирует эти протоколы.


    1. Протокол HTTP/HTTPS — структура и компоненты

    HTTP (HyperText Transfer Protocol)

    HTTP — это протокол прикладного уровня, который описывает передачу гипертекстовых документов (например, веб-страниц) между клиентом (браузером) и сервером.

    Основные компоненты HTTP-запроса:

    1. Стартовая строка (Request line):
      Формат: <метод> <URL> <версия протокола>
      Пример: GET /index.html HTTP/1.1

      • Метод: определяет действие (GET, POST, PUT, DELETE, HEAD, OPTIONS и др.)
      • URL: путь к ресурсу на сервере
      • Версия протокола: например, HTTP/1.1 или HTTP/2
    2. Заголовки запроса (Headers):
      Ключ-значение, описывающие параметры запроса (Content-Type, User-Agent, Accept, Cookie, Authorization и др.)

    3. Тело запроса (Body):
      Используется в методах типа POST, PUT, PATCH — содержит данные, отправляемые на сервер (например, данные формы).

    HTTP-ответ (Response) состоит из:

    1. Стартовой строки ответа:
      Формат: <версия протокола> <код состояния> <текст статуса>
      Пример: HTTP/1.1 200 OK

    2. Заголовков ответа:
      Параметры, описывающие ответ (Content-Type, Content-Length, Set-Cookie, Cache-Control и др.)

    3. Тело ответа:
      Содержит передаваемые данные (html, json, файлы и т.п.)


    HTTPS (HTTP Secure)

    HTTPS — это HTTP поверх протокола TLS (Transport Layer Security), который обеспечивает:

    • Шифрование данных между клиентом и сервером
    • Аутентификацию сервера (и по желанию клиента)
    • Целостность данных (предотвращение подмены/изменения)

    Структура HTTP-сообщений при HTTPS такая же, но передача идет по зашифрованному каналу TLS.


    2. Анализ HTTP/HTTPS протокола WAF (Web Application Firewall)

    WAF — это среда безопасности, которая контролирует и фильтрует HTTP/HTTPS трафик к веб-приложениям для предотвращения атак (SQL-инъекции, XSS, CSRF, RCE и др.).


    2.1 Анализ HTTP протокола WAF

    Основные этапы анализа запроса в WAF:

    1. Приём и парсинг HTTP-запроса:
    • WAF принимает полный HTTP-запрос от клиента.
    • Парсит стартовую строку, чтобы узнать метод, URI и версию протокола.
    • Разбирает заголовки, определяет Content-Type, длину, куки, авторизацию.
    • При наличии тела — извлекает и декодирует его (например, URL-декодирование, base64, multipart и др.).
    • Разделяет и анализирует параметры из URL и тела (GET/POST параметры, JSON, XML, cookie, заголовки).
    1. Нормализация и декодирование:
    • Все входящие данные нормализуются для минимизации обходов фильтров (например, декодирование URL-кодирования, Unicode, HTML сущностей, повторных инъекций).
    1. Анализ сигнатур и эвристик:
    • Поиск известных шаблонов атак — сигнатуры SQL-инъекций, XSS-полей, вредоносных payload’ов.
    • Использование правил и паттернов (например, ModSecurity rule sets).
    • В некоторых случаях применяются эвристические алгоритмы: обнаружение аномальных параметров, подозрительных последовательностей символов, частоты запросов и т.п.
    1. Поведенческий анализ (анализ сессий и частоты):
    • Проверка количества и частоты запросов от одного клиента.
    • Отслеживание сессий и аномалий в поведении пользователя.
    1. Реакция WAF:
    • При обнаружении вредоносного запроса — блокировка, замена, вызов скриптов или логирование.
    • В противном случае запрос передается веб-серверу.

    2.2 Анализ HTTPS протокола WAF

    • Так как трафик зашифрован TLS, возможности WAF зависят от точки, где он расположен.
    1. Промежуточный SSL-терминатор (SSL-Offloading WAF):
    • WAF располагается между клиентом и сервером, принимает HTTPS-запрос, расшифровывает TLS.
    • После расшифровки WAF анализирует нормальный HTTP как описано выше.
    • Затем он снова шифрует запрос (если нужно) и пересылает дальше серверу.
    • Для этого WAF должен иметь доступ к SSL-сертификату и ключу веб-сервера.
    1. WAF без возможности расшифровки:
    • Некоторые WAF расположены «за шифрованным туннелем» и видят только зашифрованный трафик — их возможности анализировать сами HTTP запросы ограничены.
    • В таком варианте WAF может анализировать метаданные трафика (IP, количество запросов, длина трафика), но не содержимое.

    3. Внутренние компоненты WAF для анализа HTTP/HTTPS

    • HTTP Parser (Парсер HTTP): разбивает поток на компоненты (метод, URI, заголовки, тело).
    • Декодер (Normalizer): преобразует кодировки, декодирует вложенные представления (URL-encoded, html-entities).
    • Модуль сигнатур / правил: содержит базы известных атакующих паттернов (например, OWASP CRS).
    • Модуль эвристик: поведенческий и статистический анализ.
    • Модуль управления сессиями и stateful-логика: для отслеживания взаимодействий.
    • Логирование и алертинг.

    Итог

    Компонент протоколаОписаниеКак анализирует WAF
    HTTP МетодДействие запроса (GET/POST)Проверяет, разрешён ли метод, вредоносные паттерны
    URL и параметрыПуть и передаваемые данныеАнализ инъекций, экранирование, длина
    ЗаголовкиМетаданные запросаПроверка авторизации, куки, подозрительные заголовки
    Тело запросаПередаваемые данные формы/JSONАнализ payload на SQLi, XSS, RCE, нормализация
    HTTPS (TLS)Шифрование каналаWAF либо терминирует TLS и анализирует содержимое, либо ограничен в анализе

    Если нужно, могу дополнить информацию конкретными примерами правил WAF, методами обхода или техническими деталями парсинга!

  3. User

    Как кодируется протокол при передаче в бинарном виде? ASCII?

  4. Assistant

    Отличный вопрос! Давайте разберёмся, как именно кодируется протокол HTTP/HTTPS при передаче, и что значит «передача в бинарном виде» в этом контексте.


    1. Кодирование HTTP-протокола

    HTTP — текстовый протокол

    HTTP — это текстовый протокол, то есть все его поля и структура передаются в форме ASCII-символов (или расширенной ASCII-таблицы, в части заголовков могут быть и другие кодировки, но базис — ASCII).

    Пример типичного HTTP-запроса:

    GET /index.html HTTP/1.1\r\n
    Host: example.com\r\n
    User-Agent: curl/7.68.0\r\n
    Accept: */*\r\n
    \r\n
    
    • Каждая строка — это последовательность ASCII-символов.
    • Конец строки обозначается CRLF — символы \r\n (Carriage Return + Line Feed).
    • Заголовки состоят из пар «ключ: значение», разделённых двоеточием и пробелом.
    • Тело запроса (POST и т.д.) может быть как ASCII, так и бинарными данными (например, файл или изображение), при условии что это указано в заголовках (Content-Type, Content-Length).

    HTTPS — HTTP поверх TLS

    • В HTTPS сообщение HTTP сначала формируется в текстовом виде, как выше, в ASCII.
    • Затем весь этот текст HTTP (со всеми заголовками и телом) шифруется в тоннеле TLS.
    • TLS обеспечивает преобразование оригинальных данных HTTP в бинарный поток для передачи по сети, включающий:
      • Заголовки TLS,
      • Зашифрованный блок данных,
      • Коды аутентификации,
      • И другие служебные поля TLS.

    То есть:

    HTTP (текстовый ASCII) ---> TLS (шифрование + упаковка) ---> бинарный поток по TCP/IP
    

    2. Что значит «передача в бинарном виде»?

    • HTTP — по умолчанию — текстовый протокол (ASCII-строки)
    • TLS — протокол транспортного уровня, который оборачивает HTTP-поток в зашифрованный бинарный поток.

    Значит, «передача HTTP в бинарном виде» — это как раз передача HTTP через TLS, где после формирования ASCII-сообщения HTTP, оно шифруется, и по сети идёт именно бинарный канал данных.


    3. Другие особенности передачи HTTP

    • Content-Encoding: данные в теле могут иметь дополнительные кодировки (gzip, deflate), это влияет на содержимое тела (оно становится бинарным), но сами заголовки и структура HTTP остаются в ASCII.
    • HTTP/2 и HTTP/3: новые версии протокола HTTP используют бинарные форматы:
      • HTTP/2 — бинарный протокол (фреймы) поверх TLS
      • HTTP/3 — базируется на QUIC (UDP), тоже бинарный протокол

    То есть начиная с HTTP/2 — протокол формально перестал быть просто ASCII-текстом и стал бинарным.


    Выводы

    Тип протоколаИтог по кодировкеПередача по сети
    HTTP/1.0 и HTTP/1.1Текстовый ASCII (CRLF-разметка строк)Прямо ASCII-сообщения по TCP
    HTTPS (HTTP/1.1 + TLS)Текстовый ASCII внутри зашифрованного TLS потокаБинарный поток TLS поверх TCP
    HTTP/2Бинарный протоколБинарные фреймы поверх TLS
    HTTP/3Бинарный протоколБинарные фреймы поверх QUIC (UDP)

    Если коротко:

    • HTTP/1.x — это ASCII-текст, передающийся по TCP.
    • HTTPS — это HTTP/1.x, завернутый в TLS, и по сети передаётся бинарный зашифрованный поток.
    • HTTP/2 и HTTP/3 — новые версии, которые используют бинарные протоколы.

    Если нужно, могу рассказать подробности по TLS-кодированию, структуре HTTP/2 или форматам бинарных кадров.

  5. User

    Давай расскажи

  6. Assistant

    С удовольствием! Расскажу подробнее про кодирование и структуру протоколов TLS, HTTP/2 и HTTP/3 — как именно происходит передача данных и в каком виде данные «лежат» в сети.


    1. TLS — шифрование и упаковка данных (основа HTTPS)

    Что такое TLS?

    TLS (Transport Layer Security) — криптографический протокол, обеспечивающий:

    • Аутентификацию (сертификаты серверов/клиентов)
    • Конфиденциальность (шифрование трафика)
    • Целостность данных (проверка, что данные не изменены в пути)

    TLS работает поверх транспортного протокола TCP.


    Формат передачи данных в TLS

    • TLS разбивает поток данных (например, HTTP-сообщения) на небольшие блоки — записи (records).
    • Каждая запись содержит заголовок и полезную нагрузку.

    Структура TLS-записи:

    ПолеРазмер (байт)Описание
    Content Type1Тип сообщения (например, application_data для HTTP)
    Версия TLS2Версия TLS протокола
    Длина записи2Длина зашифрованной полезной нагрузки
    Полезная нагрузкаПеременнаяЗашифрованные данные (HTTP)
    • Content Type = 23 (application_data) — это как раз данные приложения (HTTP запросы/ответы).
    • Перед передачей полезная нагрузка проходит шифрование и добавление MAC (код аутентификации сообщения).

    Процесс передачи:

    1. Клиент формирует HTTP-запрос в виде ASCII-текста.
    2. Этот текст разбивается на TLS-записи.
    3. Каждая запись шифруется.
    4. TLS-записи передаются по TCP как бинарные данные.
    5. Сервер принимает, расшифровывает, собирает HTTP-запрос и обрабатывает.

    2. HTTP/2 — бинарный протокол поверх TLS (или чистого TCP)

    Почему появился HTTP/2?

    HTTP/1.x — текстовый протокол, проблема — неэффективное использование соединений, задержки, невозможность мультиплексирования.

    HTTP/2 решает это, вводя бинарный протокол для увеличения скорости и оптимизации передачи.


    Как устроен HTTP/2?

    • HTTP/2 передаёт данные в виде бинарных кадров (frames).
    • В рамках одного TCP-соединения может одновременно идти несколько HTTP-запросов (мультиплексирование).
    • Кадры организованы в потоки (streams) — каждому запросу/ответу соответствует поток с уникальным идентификатором.

    Формат HTTP/2 кадра

    Каждый кадр имеет заголовок фиксированного размера 9 байт, и тело переменной длины:

    ПолеРазмер (байт)Описание
    Length3Длина тела кадра (макс 16,777,215 байт)
    Type1Тип кадра (DATA, HEADERS, SETTINGS и др.)
    Flags1Флаги, зависящие от типа кадра
    Reserved + Stream Identifier4Идентификатор потока (31 бит)
    PayloadПеременнаяПолезная нагрузка кадра

    Типы кадров HTTP/2 (коротко)

    • DATA: несёт тело данных ответа/запроса
    • HEADERS: заголовки HTTP (заголовки теперь не строковые, а сжатые)
    • SETTINGS: параметры связи, настройки клиента/сервера
    • PING: служебные пакеты для проверки живости соединения
    • RST_STREAM: сброс потока
    • и др.

    Сжатие заголовков — HPACK

    HTTP/2 использует механизм HPACK для эффективного сжатия HTTP-заголовков (иначе в протоколе много «шумных» текстовых заголовков).

    HPACK:

    • хранит таблицу ранее переданных заголовков (динамический словарь)
    • кодирует повторяющиеся заголовки короткой ссылкой
    • уменьшает объём передаваемых заголовков

    Пример передачи

    • Клиент открывает TLS-соединение с сервером.
    • Внутри TLS-туннеля идут бинарные HTTP/2 кадры.
    • Клиент отправляет HEADERS кадр с заголовками запроса, а затем DATA кадры с телом.
    • Сервер отвечает аналогично.

    3. HTTP/3 — бинарный протокол поверх QUIC (UDP)

    Зачем HTTP/3?

    HTTP/3 построен на базе протокола QUIC:

    • QUIC работает поверх UDP (не TCP).
    • Обеспечивает мультиплексирование, шифрование TLS 1.3, восстановление потерянных пакетов и низкие задержки.
    • Улучшает производительность в плохих сетях.

    Особенности HTTP/3 и QUIC:

    • QUIC включает TLS 1.3 прямо в свой протокол — шифрование и транспорт тесно связаны.
    • HTTP/3 кадры похожи на HTTP/2, но реализованы внутри QUIC-потоков.
    • QUIC сам обеспечивает надежную доставку, мультиплексирование и шифрование.

    Формат передачи HTTP/3

    • HTTP/3 передаёт данные в потоках QUIC.
    • Каждый поток независим и имеет идентификатор.
    • HTTP/3 кадры похожи на кадры HTTP/2 — бинарные, с типами и длиной.
    • Вся коммуникация зашифрована на уровне QUIC.

    Итоговая схема

    ПротоколУровень передачиФормат сообщенияОсобенности
    HTTP/1.xTCPASCII-текстЧитаемый текст, простая структура
    HTTPSTCP + TLSTCP отправляет зашифрованный бинарный поток TLS-записейШифрование HTTP/1.x
    HTTP/2TCP + TLSБинарные кадры внутри TLSМультиплексирование, сжатие заголовков
    HTTP/3UDP + QUIC (встроенный TLS 1.3)Бинарные кадры в потоках QUICУлучшенная производительность и шифрование

    Если хотите, могу показать конкретный пример бинарного кадра HTTP/2 или TLS-записи, или рассказать о технологиях сжатия заголовков HPACK. Также могу объяснить, как WAF работает с этими форматами — например, разбирает TLS перед анализом HTTP/2.