Из чего состоит протокол http/HTTPS и как его анализирует waf. Подробно и в деталях
- User
Из чего состоит протокол http/HTTPS и как его анализирует waf. Подробно и в деталях
- Assistant
Конечно! Давайте подробно разберём, из чего состоит протокол HTTP/HTTPS и как веб-аппликационный фаервол (WAF) анализирует эти протоколы.
1. Протокол HTTP/HTTPS — структура и компоненты
HTTP (HyperText Transfer Protocol)
HTTP — это протокол прикладного уровня, который описывает передачу гипертекстовых документов (например, веб-страниц) между клиентом (браузером) и сервером.
Основные компоненты HTTP-запроса:
-
Стартовая строка (Request line):
Формат:<метод> <URL> <версия протокола>
Пример:GET /index.html HTTP/1.1- Метод: определяет действие (GET, POST, PUT, DELETE, HEAD, OPTIONS и др.)
- URL: путь к ресурсу на сервере
- Версия протокола: например, HTTP/1.1 или HTTP/2
-
Заголовки запроса (Headers):
Ключ-значение, описывающие параметры запроса (Content-Type, User-Agent, Accept, Cookie, Authorization и др.) -
Тело запроса (Body):
Используется в методах типа POST, PUT, PATCH — содержит данные, отправляемые на сервер (например, данные формы).
HTTP-ответ (Response) состоит из:
-
Стартовой строки ответа:
Формат:<версия протокола> <код состояния> <текст статуса>
Пример:HTTP/1.1 200 OK -
Заголовков ответа:
Параметры, описывающие ответ (Content-Type, Content-Length, Set-Cookie, Cache-Control и др.) -
Тело ответа:
Содержит передаваемые данные (html, json, файлы и т.п.)
HTTPS (HTTP Secure)
HTTPS — это HTTP поверх протокола TLS (Transport Layer Security), который обеспечивает:
- Шифрование данных между клиентом и сервером
- Аутентификацию сервера (и по желанию клиента)
- Целостность данных (предотвращение подмены/изменения)
Структура HTTP-сообщений при HTTPS такая же, но передача идет по зашифрованному каналу TLS.
2. Анализ HTTP/HTTPS протокола WAF (Web Application Firewall)
WAF — это среда безопасности, которая контролирует и фильтрует HTTP/HTTPS трафик к веб-приложениям для предотвращения атак (SQL-инъекции, XSS, CSRF, RCE и др.).
2.1 Анализ HTTP протокола WAF
Основные этапы анализа запроса в WAF:
- Приём и парсинг HTTP-запроса:
- WAF принимает полный HTTP-запрос от клиента.
- Парсит стартовую строку, чтобы узнать метод, URI и версию протокола.
- Разбирает заголовки, определяет Content-Type, длину, куки, авторизацию.
- При наличии тела — извлекает и декодирует его (например, URL-декодирование, base64, multipart и др.).
- Разделяет и анализирует параметры из URL и тела (GET/POST параметры, JSON, XML, cookie, заголовки).
- Нормализация и декодирование:
- Все входящие данные нормализуются для минимизации обходов фильтров (например, декодирование URL-кодирования, Unicode, HTML сущностей, повторных инъекций).
- Анализ сигнатур и эвристик:
- Поиск известных шаблонов атак — сигнатуры SQL-инъекций, XSS-полей, вредоносных payload’ов.
- Использование правил и паттернов (например, ModSecurity rule sets).
- В некоторых случаях применяются эвристические алгоритмы: обнаружение аномальных параметров, подозрительных последовательностей символов, частоты запросов и т.п.
- Поведенческий анализ (анализ сессий и частоты):
- Проверка количества и частоты запросов от одного клиента.
- Отслеживание сессий и аномалий в поведении пользователя.
- Реакция WAF:
- При обнаружении вредоносного запроса — блокировка, замена, вызов скриптов или логирование.
- В противном случае запрос передается веб-серверу.
2.2 Анализ HTTPS протокола WAF
- Так как трафик зашифрован TLS, возможности WAF зависят от точки, где он расположен.
- Промежуточный SSL-терминатор (SSL-Offloading WAF):
- WAF располагается между клиентом и сервером, принимает HTTPS-запрос, расшифровывает TLS.
- После расшифровки WAF анализирует нормальный HTTP как описано выше.
- Затем он снова шифрует запрос (если нужно) и пересылает дальше серверу.
- Для этого WAF должен иметь доступ к SSL-сертификату и ключу веб-сервера.
- WAF без возможности расшифровки:
- Некоторые WAF расположены «за шифрованным туннелем» и видят только зашифрованный трафик — их возможности анализировать сами HTTP запросы ограничены.
- В таком варианте WAF может анализировать метаданные трафика (IP, количество запросов, длина трафика), но не содержимое.
3. Внутренние компоненты WAF для анализа HTTP/HTTPS
- HTTP Parser (Парсер HTTP): разбивает поток на компоненты (метод, URI, заголовки, тело).
- Декодер (Normalizer): преобразует кодировки, декодирует вложенные представления (URL-encoded, html-entities).
- Модуль сигнатур / правил: содержит базы известных атакующих паттернов (например, OWASP CRS).
- Модуль эвристик: поведенческий и статистический анализ.
- Модуль управления сессиями и stateful-логика: для отслеживания взаимодействий.
- Логирование и алертинг.
Итог
Компонент протокола Описание Как анализирует WAF HTTP Метод Действие запроса (GET/POST) Проверяет, разрешён ли метод, вредоносные паттерны URL и параметры Путь и передаваемые данные Анализ инъекций, экранирование, длина Заголовки Метаданные запроса Проверка авторизации, куки, подозрительные заголовки Тело запроса Передаваемые данные формы/JSON Анализ payload на SQLi, XSS, RCE, нормализация HTTPS (TLS) Шифрование канала WAF либо терминирует TLS и анализирует содержимое, либо ограничен в анализе
Если нужно, могу дополнить информацию конкретными примерами правил WAF, методами обхода или техническими деталями парсинга!
-
- User
Как кодируется протокол при передаче в бинарном виде? ASCII?
- Assistant
Отличный вопрос! Давайте разберёмся, как именно кодируется протокол HTTP/HTTPS при передаче, и что значит «передача в бинарном виде» в этом контексте.
1. Кодирование HTTP-протокола
HTTP — текстовый протокол
HTTP — это текстовый протокол, то есть все его поля и структура передаются в форме ASCII-символов (или расширенной ASCII-таблицы, в части заголовков могут быть и другие кодировки, но базис — ASCII).
Пример типичного HTTP-запроса:
GET /index.html HTTP/1.1\r\n Host: example.com\r\n User-Agent: curl/7.68.0\r\n Accept: */*\r\n \r\n- Каждая строка — это последовательность ASCII-символов.
- Конец строки обозначается CRLF — символы
\r\n(Carriage Return + Line Feed). - Заголовки состоят из пар «ключ: значение», разделённых двоеточием и пробелом.
- Тело запроса (POST и т.д.) может быть как ASCII, так и бинарными данными (например, файл или изображение), при условии что это указано в заголовках (Content-Type, Content-Length).
HTTPS — HTTP поверх TLS
- В HTTPS сообщение HTTP сначала формируется в текстовом виде, как выше, в ASCII.
- Затем весь этот текст HTTP (со всеми заголовками и телом) шифруется в тоннеле TLS.
- TLS обеспечивает преобразование оригинальных данных HTTP в бинарный поток для передачи по сети, включающий:
- Заголовки TLS,
- Зашифрованный блок данных,
- Коды аутентификации,
- И другие служебные поля TLS.
То есть:
HTTP (текстовый ASCII) ---> TLS (шифрование + упаковка) ---> бинарный поток по TCP/IP
2. Что значит «передача в бинарном виде»?
- HTTP — по умолчанию — текстовый протокол (ASCII-строки)
- TLS — протокол транспортного уровня, который оборачивает HTTP-поток в зашифрованный бинарный поток.
Значит, «передача HTTP в бинарном виде» — это как раз передача HTTP через TLS, где после формирования ASCII-сообщения HTTP, оно шифруется, и по сети идёт именно бинарный канал данных.
3. Другие особенности передачи HTTP
- Content-Encoding: данные в теле могут иметь дополнительные кодировки (gzip, deflate), это влияет на содержимое тела (оно становится бинарным), но сами заголовки и структура HTTP остаются в ASCII.
- HTTP/2 и HTTP/3: новые версии протокола HTTP используют бинарные форматы:
- HTTP/2 — бинарный протокол (фреймы) поверх TLS
- HTTP/3 — базируется на QUIC (UDP), тоже бинарный протокол
То есть начиная с HTTP/2 — протокол формально перестал быть просто ASCII-текстом и стал бинарным.
Выводы
Тип протокола Итог по кодировке Передача по сети HTTP/1.0 и HTTP/1.1 Текстовый ASCII (CRLF-разметка строк) Прямо ASCII-сообщения по TCP HTTPS (HTTP/1.1 + TLS) Текстовый ASCII внутри зашифрованного TLS потока Бинарный поток TLS поверх TCP HTTP/2 Бинарный протокол Бинарные фреймы поверх TLS HTTP/3 Бинарный протокол Бинарные фреймы поверх QUIC (UDP)
Если коротко:
- HTTP/1.x — это ASCII-текст, передающийся по TCP.
- HTTPS — это HTTP/1.x, завернутый в TLS, и по сети передаётся бинарный зашифрованный поток.
- HTTP/2 и HTTP/3 — новые версии, которые используют бинарные протоколы.
Если нужно, могу рассказать подробности по TLS-кодированию, структуре HTTP/2 или форматам бинарных кадров.
- User
Давай расскажи
- Assistant
С удовольствием! Расскажу подробнее про кодирование и структуру протоколов TLS, HTTP/2 и HTTP/3 — как именно происходит передача данных и в каком виде данные «лежат» в сети.
1. TLS — шифрование и упаковка данных (основа HTTPS)
Что такое TLS?
TLS (Transport Layer Security) — криптографический протокол, обеспечивающий:
- Аутентификацию (сертификаты серверов/клиентов)
- Конфиденциальность (шифрование трафика)
- Целостность данных (проверка, что данные не изменены в пути)
TLS работает поверх транспортного протокола TCP.
Формат передачи данных в TLS
- TLS разбивает поток данных (например, HTTP-сообщения) на небольшие блоки — записи (records).
- Каждая запись содержит заголовок и полезную нагрузку.
Структура TLS-записи:
Поле Размер (байт) Описание Content Type 1 Тип сообщения (например, application_data для HTTP) Версия TLS 2 Версия TLS протокола Длина записи 2 Длина зашифрованной полезной нагрузки Полезная нагрузка Переменная Зашифрованные данные (HTTP) - Content Type = 23 (application_data) — это как раз данные приложения (HTTP запросы/ответы).
- Перед передачей полезная нагрузка проходит шифрование и добавление MAC (код аутентификации сообщения).
Процесс передачи:
- Клиент формирует HTTP-запрос в виде ASCII-текста.
- Этот текст разбивается на TLS-записи.
- Каждая запись шифруется.
- TLS-записи передаются по TCP как бинарные данные.
- Сервер принимает, расшифровывает, собирает HTTP-запрос и обрабатывает.
2. HTTP/2 — бинарный протокол поверх TLS (или чистого TCP)
Почему появился HTTP/2?
HTTP/1.x — текстовый протокол, проблема — неэффективное использование соединений, задержки, невозможность мультиплексирования.
HTTP/2 решает это, вводя бинарный протокол для увеличения скорости и оптимизации передачи.
Как устроен HTTP/2?
- HTTP/2 передаёт данные в виде бинарных кадров (frames).
- В рамках одного TCP-соединения может одновременно идти несколько HTTP-запросов (мультиплексирование).
- Кадры организованы в потоки (streams) — каждому запросу/ответу соответствует поток с уникальным идентификатором.
Формат HTTP/2 кадра
Каждый кадр имеет заголовок фиксированного размера 9 байт, и тело переменной длины:
Поле Размер (байт) Описание Length 3 Длина тела кадра (макс 16,777,215 байт) Type 1 Тип кадра (DATA, HEADERS, SETTINGS и др.) Flags 1 Флаги, зависящие от типа кадра Reserved + Stream Identifier 4 Идентификатор потока (31 бит) Payload Переменная Полезная нагрузка кадра
Типы кадров HTTP/2 (коротко)
- DATA: несёт тело данных ответа/запроса
- HEADERS: заголовки HTTP (заголовки теперь не строковые, а сжатые)
- SETTINGS: параметры связи, настройки клиента/сервера
- PING: служебные пакеты для проверки живости соединения
- RST_STREAM: сброс потока
- и др.
Сжатие заголовков — HPACK
HTTP/2 использует механизм HPACK для эффективного сжатия HTTP-заголовков (иначе в протоколе много «шумных» текстовых заголовков).
HPACK:
- хранит таблицу ранее переданных заголовков (динамический словарь)
- кодирует повторяющиеся заголовки короткой ссылкой
- уменьшает объём передаваемых заголовков
Пример передачи
- Клиент открывает TLS-соединение с сервером.
- Внутри TLS-туннеля идут бинарные HTTP/2 кадры.
- Клиент отправляет HEADERS кадр с заголовками запроса, а затем DATA кадры с телом.
- Сервер отвечает аналогично.
3. HTTP/3 — бинарный протокол поверх QUIC (UDP)
Зачем HTTP/3?
HTTP/3 построен на базе протокола QUIC:
- QUIC работает поверх UDP (не TCP).
- Обеспечивает мультиплексирование, шифрование TLS 1.3, восстановление потерянных пакетов и низкие задержки.
- Улучшает производительность в плохих сетях.
Особенности HTTP/3 и QUIC:
- QUIC включает TLS 1.3 прямо в свой протокол — шифрование и транспорт тесно связаны.
- HTTP/3 кадры похожи на HTTP/2, но реализованы внутри QUIC-потоков.
- QUIC сам обеспечивает надежную доставку, мультиплексирование и шифрование.
Формат передачи HTTP/3
- HTTP/3 передаёт данные в потоках QUIC.
- Каждый поток независим и имеет идентификатор.
- HTTP/3 кадры похожи на кадры HTTP/2 — бинарные, с типами и длиной.
- Вся коммуникация зашифрована на уровне QUIC.
Итоговая схема
Протокол Уровень передачи Формат сообщения Особенности HTTP/1.x TCP ASCII-текст Читаемый текст, простая структура HTTPS TCP + TLS TCP отправляет зашифрованный бинарный поток TLS-записей Шифрование HTTP/1.x HTTP/2 TCP + TLS Бинарные кадры внутри TLS Мультиплексирование, сжатие заголовков HTTP/3 UDP + QUIC (встроенный TLS 1.3) Бинарные кадры в потоках QUIC Улучшенная производительность и шифрование
Если хотите, могу показать конкретный пример бинарного кадра HTTP/2 или TLS-записи, или рассказать о технологиях сжатия заголовков HPACK. Также могу объяснить, как WAF работает с этими форматами — например, разбирает TLS перед анализом HTTP/2.