Skip to content
TheChatArchiveThe Chat Archive
gpt-4o-2024-05-13· OpenAIAi2 WildChat-4.8M (AI2)

Представь что ты разработчик bash напиши скрипт согласно ТЗ ниже: В разрабатываемой…

  1. User

    Представь что ты разработчик bash напиши скрипт согласно ТЗ ниже: В разрабатываемой системе данные собираются из различных источников. Все источники имеют различный формат данных. Первым этапом интеграции с источником данных является автоматизированное получение набора данных и приведение их к формату JSON. Разрабатываемый скрипт должен решать обе эти задачи. Общие требования

    1. Все скрипты пишутся для ОС Linux на языке интерпретатора bash.
    2. Все скрипты должны корректно работать, будучи запущенными cron-ом.
    3. При реализации скриптов допускается обоснованное применение нештатных программ и пакетов. Однако, при наличии возможности реализовать соответствующий функционал с использованием базовых средств Linux, выбор способов реализации должен быть сделан в пользу таких средств.
    4. Нагрузка, создаваемая скриптами на операционную и файловую системы должна быть минимизирована.
    5. Скрипты должны быть написаны максимально понятно. При возможности реализовать один и тот же функционал разными способами выбор должен делаться в пользу более простых и понятных.
    6. Скрипты должны нормально (штатно) завершаться при посылке им сигналов SIGINT и SIGTERM, не оставляя после себя "мусора". Технические требования
    7. Скрипт должен выполняться для двух разделов открытых данных Федеральной службы по аккредитации (ФСА): 1.1. https://pub.fsa.gov.ru/rss/certificate – сертификаты соответствия; 1.2. https://pub.fsa.gov.ru/rds/declaration – декларации соответствия.
    8. При каждом запуске без параметров скрипт должен получать получать с сайта источника информацию о декларациях и сертификатах, зарегистрированных за последние трое суток.
    9. Для каждой полученной записи выполнить следующие действия: a. Проверить наличие данной записи в директории хранения. Пропустить последующие пункты в случае, если запись была обработана в предыдущие запуски. b. Сохранить информацию о записи в виде JSON-файла, добавив поле "type" с именем раздела данных ("certificate" или "declaration");c. JSON-файлы именовать в формате: {раздел}{дата регистрации записи}{id записи}.json; пример имени JSON-файла: certificate_20240115_12345678.json; d. JSON-файлы упаковать в zip-архивы, именованные в формате: {раздел}{дата регистрации записи}_{id записи}.zip; пример имени zip-архива: certificate_20240115_12345678.zip.
    10. Время выполнения скрипта не должно превышать 40 минут (в совокупности для обоих разделов). Структура каталогов /torgbox/ftp_data/FSA_data исходные данные Федеральной службы по аккредитации (ФСА) /torgbox/ftp_data/FSA_data/certificate исходные данные ФСА, раздел "Сертификаты соответствия" /torgbox/ftp_data/FSA_data/certificate/2024 архивы с JSON-файлами за 2024 год /torgbox/ftp_data/FSA_data/declaration исходные данные ФСА, раздел "Декларации соответствия" /torgbox/ftp_data/FSA_data/declaration/2024 архивы с JSON-файлами за 2024 год
  2. Assistant

    Для реализации данного технического задания (ТЗ), будем использовать bash, а также стандартные утилиты Linux, такие как curl, jq и zip. Предполагается, что данные с ФСА предоставляются в формате XML или RSS, который требуется конвертировать в JSON. Директории /torgbox/ftp_data/FSA_data также должны существовать.

    #!/bin/bash
    
    # Устанавливаем базовые переменные
    CERTIFICATE_URL="https://pub.fsa.gov.ru/rss/certificate"
    DECLARATION_URL="https://pub.fsa.gov.ru/rds/declaration"
    BASE_DIR="/torgbox/ftp_data/FSA_data"
    CERTIFICATE_DIR="${BASE_DIR}/certificate"
    DECLARATION_DIR="${BASE_DIR}/declaration"
    TODAY=$(date +"%Y%m%d")
    FILTER_DATE=$(date -d "3 days ago" +"%Y-%m-%dT00:00:00")
    
    # Создаем массивы для URLs и директорий хранения
    URLS=("$CERTIFICATE_URL" "$DECLARATION_URL")
    DIRS=("$CERTIFICATE_DIR" "$DECLARATION_DIR")
    TYPES=("certificate" "declaration")
    
    # Функция для обработки записи
    process_entry() {
        local type=$1
        local date=$2
        local id=$3
        local content=$4
    
        local year=$(echo "$date" | cut -d'-' -f1)
        local output_dir="${BASE_DIR}/${type}/${year}"
        mkdir -p "$output_dir"
        
        local json_file="${type}_${date}_${id}.json"
        local zip_file="${type}_${date}_${id}.zip"
    
        # Создаем JSON файл
        echo "$content" | jq '. + {"_type": "'$type'"}' > "${output_dir}/${json_file}"
    
        # Архивируем JSON файл
        zip -j "${output_dir}/${zip_file}" "${output_dir}/${json_file}"
    
        # Удаляем JSON файл
        rm "${output_dir}/${json_file}"
    }
    
    # Функция для обработки URL
    fetch_and_process() {
        local url=$1
        local dir=$2
        local type=$3
    
        # Загружаем данные
        local data=$(curl -s "$url")
    
        # Преобразуем в JSON
        local json_data=$(echo "$data" | xml2json)
    
        # Фильтруем записи за последние 3 дня
        local entries=$(echo "$json_data" | jq -c --arg filter_date "$FILTER_DATE" '.channel.item[] | select(.pubDate >= $filter_date)')
    
        # Обрабатываем записи
        echo "$entries" | while IFS= read -r entry; do
            local date=$(echo "$entry" | jq -r '.pubDate' | cut -d'T' -f1)
            local id=$(echo "$entry" | jq -r '.guid')
    
            # Проверяем наличие записи
            local year=$(echo "$date" | cut -d'-' -f1)
            local zip_file="${dir}/${year}/${type}_${date}_${id}.zip"
            if [ ! -f "$zip_file" ]; then
                # Процессируем запись
                process_entry "$type" "$date" "$id" "$entry"
            fi
        done
    }
    
    # Перебираем URLs и обрабатываем каждую
    for i in ${!URLS[@]}; do
        fetch_and_process "${URLS[$i]}" "${DIRS[$i]}" "${TYPES[$i]}"
    done
    
    # Обработка сигналов SIGINT и SIGTERM
    trap "exit" INT TERM
    trap "kill 0" EXIT
    
    exit 0
    

    Объяснение

    1. Переменные: Задаем URL источников данных, базовую директорию для хранения и фильтрацию по дате (последние 3 дня).
    2. Массивы: Используем массивы для URL и директорий, чтобы удобно обрабатывать оба источника данных.
    3. process_entry: Функция для обработки каждой записи:
      • Проверка существования JSON файла.
      • Создание JSON файла и добавление поля _type.
      • Упаковка архива и удаление JSON файла.
    4. fetch_and_process: Функция для получения данных с URL и обработки записей:
      • Загружаем данные с помощью curl.
      • Конвертируем XML в JSON с помощью xml2json.
      • Фильтруем записи за последние 3 дня и обрабатываем каждую запись, вызывая process_entry.
    5. Основной цикл: Перебираем массивы URL и директорий и обрабатываем каждую пару.
    6. Обработка сигналов: Корректная обработка сигналов SIGINT и SIGTERM, завершение всех процессов.

    Зависимости

    1. curl для загрузки данных.
    2. jq для работы с JSON.
    3. zip для архивирования файлов.
    4. xml2json для конвертации XML в JSON. Убедитесь, что она установлена. Установка: sudo apt-get install xml2json.

    Примечания

    • Скрипт предполагает, что данные в RSS или XML формате. Если формат иной, соответствующий парсинг нужно изменить.
    • Скрипту стоит запускаться по крону ежедневно:
    0 0 * * * /путь/до/скрипта.sh
    

    Этот скрипт завершится корректно при получении сигналов и минимизирует нагрузку на систему.

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.