Представь что ты разработчик bash напиши скрипт согласно ТЗ ниже: В разрабатываемой…
- User
Представь что ты разработчик bash напиши скрипт согласно ТЗ ниже: В разрабатываемой системе данные собираются из различных источников. Все источники имеют различный формат данных. Первым этапом интеграции с источником данных является автоматизированное получение набора данных и приведение их к формату JSON. Разрабатываемый скрипт должен решать обе эти задачи. Общие требования
- Все скрипты пишутся для ОС Linux на языке интерпретатора bash.
- Все скрипты должны корректно работать, будучи запущенными cron-ом.
- При реализации скриптов допускается обоснованное применение нештатных программ и пакетов. Однако, при наличии возможности реализовать соответствующий функционал с использованием базовых средств Linux, выбор способов реализации должен быть сделан в пользу таких средств.
- Нагрузка, создаваемая скриптами на операционную и файловую системы должна быть минимизирована.
- Скрипты должны быть написаны максимально понятно. При возможности реализовать один и тот же функционал разными способами выбор должен делаться в пользу более простых и понятных.
- Скрипты должны нормально (штатно) завершаться при посылке им сигналов SIGINT и SIGTERM, не оставляя после себя "мусора". Технические требования
- Скрипт должен выполняться для двух разделов открытых данных Федеральной службы по аккредитации (ФСА): 1.1. https://pub.fsa.gov.ru/rss/certificate – сертификаты соответствия; 1.2. https://pub.fsa.gov.ru/rds/declaration – декларации соответствия.
- При каждом запуске без параметров скрипт должен получать получать с сайта источника информацию о декларациях и сертификатах, зарегистрированных за последние трое суток.
- Для каждой полученной записи выполнить следующие действия: a. Проверить наличие данной записи в директории хранения. Пропустить последующие пункты в случае, если запись была обработана в предыдущие запуски. b. Сохранить информацию о записи в виде JSON-файла, добавив поле "type" с именем раздела данных ("certificate" или "declaration");c. JSON-файлы именовать в формате: {раздел}{дата регистрации записи}{id записи}.json; пример имени JSON-файла: certificate_20240115_12345678.json; d. JSON-файлы упаковать в zip-архивы, именованные в формате: {раздел}{дата регистрации записи}_{id записи}.zip; пример имени zip-архива: certificate_20240115_12345678.zip.
- Время выполнения скрипта не должно превышать 40 минут (в совокупности для обоих разделов). Структура каталогов /torgbox/ftp_data/FSA_data исходные данные Федеральной службы по аккредитации (ФСА) /torgbox/ftp_data/FSA_data/certificate исходные данные ФСА, раздел "Сертификаты соответствия" /torgbox/ftp_data/FSA_data/certificate/2024 архивы с JSON-файлами за 2024 год /torgbox/ftp_data/FSA_data/declaration исходные данные ФСА, раздел "Декларации соответствия" /torgbox/ftp_data/FSA_data/declaration/2024 архивы с JSON-файлами за 2024 год
- Assistant
Для реализации данного технического задания (ТЗ), будем использовать
bash, а также стандартные утилиты Linux, такие какcurl,jqиzip. Предполагается, что данные с ФСА предоставляются в формате XML или RSS, который требуется конвертировать в JSON. Директории/torgbox/ftp_data/FSA_dataтакже должны существовать.#!/bin/bash # Устанавливаем базовые переменные CERTIFICATE_URL="https://pub.fsa.gov.ru/rss/certificate" DECLARATION_URL="https://pub.fsa.gov.ru/rds/declaration" BASE_DIR="/torgbox/ftp_data/FSA_data" CERTIFICATE_DIR="${BASE_DIR}/certificate" DECLARATION_DIR="${BASE_DIR}/declaration" TODAY=$(date +"%Y%m%d") FILTER_DATE=$(date -d "3 days ago" +"%Y-%m-%dT00:00:00") # Создаем массивы для URLs и директорий хранения URLS=("$CERTIFICATE_URL" "$DECLARATION_URL") DIRS=("$CERTIFICATE_DIR" "$DECLARATION_DIR") TYPES=("certificate" "declaration") # Функция для обработки записи process_entry() { local type=$1 local date=$2 local id=$3 local content=$4 local year=$(echo "$date" | cut -d'-' -f1) local output_dir="${BASE_DIR}/${type}/${year}" mkdir -p "$output_dir" local json_file="${type}_${date}_${id}.json" local zip_file="${type}_${date}_${id}.zip" # Создаем JSON файл echo "$content" | jq '. + {"_type": "'$type'"}' > "${output_dir}/${json_file}" # Архивируем JSON файл zip -j "${output_dir}/${zip_file}" "${output_dir}/${json_file}" # Удаляем JSON файл rm "${output_dir}/${json_file}" } # Функция для обработки URL fetch_and_process() { local url=$1 local dir=$2 local type=$3 # Загружаем данные local data=$(curl -s "$url") # Преобразуем в JSON local json_data=$(echo "$data" | xml2json) # Фильтруем записи за последние 3 дня local entries=$(echo "$json_data" | jq -c --arg filter_date "$FILTER_DATE" '.channel.item[] | select(.pubDate >= $filter_date)') # Обрабатываем записи echo "$entries" | while IFS= read -r entry; do local date=$(echo "$entry" | jq -r '.pubDate' | cut -d'T' -f1) local id=$(echo "$entry" | jq -r '.guid') # Проверяем наличие записи local year=$(echo "$date" | cut -d'-' -f1) local zip_file="${dir}/${year}/${type}_${date}_${id}.zip" if [ ! -f "$zip_file" ]; then # Процессируем запись process_entry "$type" "$date" "$id" "$entry" fi done } # Перебираем URLs и обрабатываем каждую for i in ${!URLS[@]}; do fetch_and_process "${URLS[$i]}" "${DIRS[$i]}" "${TYPES[$i]}" done # Обработка сигналов SIGINT и SIGTERM trap "exit" INT TERM trap "kill 0" EXIT exit 0Объяснение
- Переменные: Задаем URL источников данных, базовую директорию для хранения и фильтрацию по дате (последние 3 дня).
- Массивы: Используем массивы для URL и директорий, чтобы удобно обрабатывать оба источника данных.
- process_entry: Функция для обработки каждой записи:
- Проверка существования JSON файла.
- Создание JSON файла и добавление поля
_type. - Упаковка архива и удаление JSON файла.
- fetch_and_process: Функция для получения данных с URL и обработки записей:
- Загружаем данные с помощью
curl. - Конвертируем XML в JSON с помощью
xml2json. - Фильтруем записи за последние 3 дня и обрабатываем каждую запись, вызывая
process_entry.
- Загружаем данные с помощью
- Основной цикл: Перебираем массивы URL и директорий и обрабатываем каждую пару.
- Обработка сигналов: Корректная обработка сигналов
SIGINTиSIGTERM, завершение всех процессов.
Зависимости
curlдля загрузки данных.jqдля работы с JSON.zipдля архивирования файлов.xml2jsonдля конвертации XML в JSON. Убедитесь, что она установлена. Установка:sudo apt-get install xml2json.
Примечания
- Скрипт предполагает, что данные в RSS или XML формате. Если формат иной, соответствующий парсинг нужно изменить.
- Скрипту стоит запускаться по крону ежедневно:
0 0 * * * /путь/до/скрипта.shЭтот скрипт завершится корректно при получении сигналов и минимизирует нагрузку на систему.
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.