Skip to content
TheChatArchiveThe Chat Archive
Geminigemini-2.5-flash· GoogleHugging Face LMArena Human Preference 140K

nodejs. typescript. прогргамма, которая запускает ffmpeg как job в k8s дожидается…

From a Chatbot Arena battleThe same person sent this prompt to two anonymous models at once. Compare it with Claudeclaude-opus-4-20250514-thinking-16k’s answer.
  1. User

    nodejs. typescript. прогргамма, которая запускает ffmpeg как job в k8s дожидается окончания и выводит в консоль, то что вывел ffmpeg

  2. Gemini Assistant

    Конечно! Давайте создадим Node.js/TypeScript программу, которая будет создавать Kubernetes Job для запуска ffmpeg, дожидаться его завершения и выводить логи.

    Этот пример будет использовать официальную библиотеку @kubernetes/client-node.

    Шаг 1: Подготовка окружения и Kubernetes

    1. Убедитесь, что у вас установлен Node.js и npm.

    2. Установите kubectl и настройте доступ к вашему Kubernetes-кластеру. Программа будет использовать ваш текущий kubeconfig.

    3. Создайте ServiceAccount и RoleBinding для вашего приложения в Kubernetes. Это необходимо, чтобы ваше приложение имело разрешения на создание Job'ов, просмотр их статуса и чтение логов подов.

      Создайте файл ffmpeg-rbac.yaml:

      apiVersion: v1
      kind: ServiceAccount
      metadata:
        name: ffmpeg-job-runner-sa
        namespace: default # Измените, если используете другой namespace
      ---
      apiVersion: rbac.authorization.k8s.io/v1
      kind: Role
      metadata:
        name: ffmpeg-job-runner-role
        namespace: default # Измените, если используете другой namespace
      rules:
      - apiGroups: ["batch"]
        resources: ["jobs"]
        verbs: ["create", "get", "watch", "list", "delete"]
      - apiGroups: [""]
        resources: ["pods", "pods/log"]
        verbs: ["get", "list", "watch"]
      ---
      apiVersion: rbac.authorization.k8s.io/v1
      kind: RoleBinding
      metadata:
        name: ffmpeg-job-runner-rb
        namespace: default # Измените, если используете другой namespace
      subjects:
      - kind: ServiceAccount
        name: ffmpeg-job-runner-sa
        namespace: default # Измените, если используете другой namespace
      roleRef:
        kind: Role
        name: ffmpeg-job-runner-role
        apiGroup: rbac.authorization.k8s.io
      

      Примените его:

      kubectl apply -f ffmpeg-rbac.yaml
      

      (Если вы запускаете это приложение внутри кластера, вы настроите ваш Pod на использование этого ServiceAccount. Для запуска снаружи кластера, как в этом примере, разрешения должны быть у пользователя kubeconfig.)

    Шаг 2: Создание проекта Node.js/TypeScript

    1. Создайте новую директорию для проекта и инициализируйте npm:

      mkdir k8s-ffmpeg-job
      cd k8s-ffmpeg-job
      npm init -y
      
    2. Установите необходимые пакеты:

      npm install @kubernetes/client-node typescript ts-node dotenv
      npm install --save-dev @types/node
      
    3. Создайте tsconfig.json:

      {
        "compilerOptions": {
          "target": "es2019",
          "module": "commonjs",
          "outDir": "./dist",
          "rootDir": "./src",
          "strict": true,
          "esModuleInterop": true,
          "skipLibCheck": true,
          "forceConsistentCasingInFileNames": true
        },
        "include": ["src/**/*.ts"],
        "exclude": ["node_modules"]
      }
      
    4. Создайте файл .env (для конфигурации):

      K8S_NAMESPACE=default
      # K8S_KUBECONFIG_PATH=/path/to/your/kubeconfig # Раскомментируйте, если kubeconfig не в стандартном месте
      
    5. Создайте директорию src и основной файл index.ts:

      mkdir src
      touch src/index.ts
      

    Шаг 3: Написание кода (src/index.ts)

    import * as k8s from '@kubernetes/client-node';
    import * as dotenv from 'dotenv';
    
    dotenv.config();
    
    // Настройка KubeConfig
    const kc = new k8s.KubeConfig();
    if (process.env.K8S_KUBECONFIG_PATH) {
        kc.loadFromFile(process.env.K8S_KUBECONFIG_PATH);
    } else {
        kc.loadFromDefault(); // Загружает из ~/.kube/config или переменной KUBECONFIG
    }
    
    const batchV1Api = kc.makeApiClient(k8s.BatchV1Api);
    const coreV1Api = kc.makeApiClient(k8s.CoreV1Api);
    
    const NAMESPACE = process.env.K8S_NAMESPACE || 'default';
    
    /**
     * Создает Kubernetes Job для запуска FFmpeg.
     * @param jobName Имя для Job.
     * @param command Массив строк для команды (например, ['ffmpeg']).
     * @param args Массив строк для аргументов команды (например, ['-version']).
     * @returns Созданный Job.
     */
    async function createFfmpegJob(jobName: string, command: string[], args: string[]): Promise<k8s.V1Job> {
        const jobBody: k8s.V1Job = {
            apiVersion: 'batch/v1',
            kind: 'Job',
            metadata: {
                name: jobName,
                namespace: NAMESPACE,
                labels: {
                    'app': 'ffmpeg-job-runner',
                    'job-name': jobName // Добавляем метку для удобного поиска пода
                }
            },
            spec: {
                // Удаляет Job через 5 минут после завершения (успешно или с ошибкой)
                ttlSecondsAfterFinished: 300,
                template: {
                    spec: {
                        containers: [
                            {
                                name: 'ffmpeg-container',
                                image: 'jrottenberg/ffmpeg:6.0-alpine', // Используем образ FFmpeg
                                command: command,
                                args: args,
                                // Для реальных задач здесь могут быть volumeMounts для входных/выходных файлов
                                // или envVars для конфигурации.
                            }
                        ],
                        restartPolicy: 'Never', // Важно для Job'ов: не перезапускать под после завершения
                        // serviceAccountName: 'ffmpeg-job-runner-sa', // Раскомментируйте, если запускаете из кластера с SA
                    }
                },
                backoffLimit: 0, // Не пытаться перезапустить Job в случае ошибки для этого примера
            }
        };
    
        console.log(`Creating Job ${jobName} in namespace ${NAMESPACE}...`);
        try {
            const response = await batchV1Api.createNamespacedJob(NAMESPACE, jobBody);
            console.log(`Job ${jobName} created.`);
            return response.body;
        } catch (error: any) {
            console.error(`Error creating job ${jobName}:`, error.body || error);
            throw error;
        }
    }
    
    /**
     * Ожидает завершения Kubernetes Job.
     * @param jobName Имя Job для отслеживания.
     * @param intervalMs Интервал проверки статуса в миллисекундах.
     * @returns Промис, который разрешается при успехе или отклоняется при неудаче/ошибке.
     */
    async function waitForJobCompletion(jobName: string, intervalMs: number = 5000): Promise<'succeeded' | 'failed'> {
        console.log(`Waiting for job ${jobName} to complete...`);
        return new Promise((resolve, reject) => {
            const checkStatus = async () => {
                try {
                    const { body: job } = await batchV1Api.readNamespacedJobStatus(jobName, NAMESPACE);
    
                    if (job.status?.succeeded) {
                        console.log(`Job ${jobName} succeeded.`);
                        clearInterval(intervalId);
                        resolve('succeeded');
                    } else if (job.status?.failed) {
                        const message = job.status.conditions?.[0]?.message || 'Job failed for unknown reason.';
                        console.error(`Job ${jobName} failed. Reason: ${message}`);
                        clearInterval(intervalId);
                        reject(new Error(`Job ${jobName} failed. ${message}`));
                    } else {
                        console.log(`Job ${jobName} is still running or pending. Succeeded: ${job.status?.succeeded || 0}, Failed: ${job.status?.failed || 0}`);
                    }
                } catch (error: any) {
                    console.error(`Error checking job status for ${jobName}:`, error.body || error);
                    clearInterval(intervalId);
                    reject(error);
                }
            };
    
            const intervalId = setInterval(checkStatus, intervalMs);
    
            // Добавляем таймаут на случай, если Job завис или K8s API недоступен
            setTimeout(() => {
                clearInterval(intervalId);
                reject(new Error(`Timed out waiting for job ${jobName} after 10 minutes.`));
            }, 10 * 60 * 1000); // 10 минут
        });
    }
    
    /**
     * Получает логи из пода, связанного с Job.
     * @param jobName Имя Job.
     * @returns Логи пода в виде строки.
     */
    async function getPodLogs(jobName: string): Promise<string> {
        console.log(`Fetching logs for job ${jobName}...`);
        try {
            // Ищем под, который был создан этим Job.
            // Используем метку 'job-name', которую мы добавили при создании Job.
            const { body: pods } = await coreV1Api.listNamespacedPod(
                NAMESPACE,
                undefined, undefined, undefined, undefined,
                `job-name=${jobName}`
            );
    
            const jobPod = pods.items[0]; // Обычно Job создает один под
    
            if (!jobPod || !jobPod.metadata?.name) {
                throw new Error(`No pod found for job ${jobName}.`);
            }
    
            console.log(`Found pod ${jobPod.metadata.name} for job ${jobName}.`);
    
            // Ждем небольшую задержку, чтобы K8s гарантированно собрал все логи после завершения пода
            await new Promise(resolve => setTimeout(resolve, 3000));
    
            // Получаем логи пода
            const { body: logs } = await coreV1Api.readNamespacedPodLog(jobPod.metadata.name, NAMESPACE);
            return logs;
        } catch (error: any) {
            console.error(`Error getting logs for job ${jobName}:`, error.body || error);
            throw error;
        }
    }
    
    /**
     * Удаляет Kubernetes Job.
     * @param jobName Имя Job для удаления.
     */
    async function deleteJob(jobName: string) {
        console.log(`Deleting Job ${jobName}...`);
        try {
            // 'Foreground' означает, что под будет удален до того, как Job будет помечен как удаленный
            await batchV1Api.deleteNamespacedJob(jobName, NAMESPACE, undefined, undefined, undefined, undefined, 'Foreground');
            console.log(`Job ${jobName} deleted.`);
        } catch (error: any) {
            console.warn(`Could not delete job ${jobName}:`, error.body?.message || error.message || error);
        }
    }
    
    // Главная функция, запускающая весь процесс
    async function main() {
        const JOB_NAME = `ffmpeg-runner-${Date.now()}`; // Уникальное имя Job
        // FFmpeg команда для получения версии - быстро и с выводом
        const FFMPEG_COMMAND = ['ffmpeg'];
        const FFMPEG_ARGS = ['-version'];
    
        // Пример более сложной команды (если у вас есть PV/PVC)
        // const FFMPEG_COMMAND = ['ffmpeg', '-i', '/data/input.mp4', '-vf', 'scale=1280:-1', '/data/output.mp4'];
        // const FFMPEG_ARGS: string[] = [];
    
        try {
            await createFfmpegJob(JOB_NAME, FFMPEG_COMMAND, FFMPEG_ARGS);
            await waitForJobCompletion(JOB_NAME);
            const logs = await getPodLogs(JOB_NAME);
    
            console.log('\n--- FFmpeg Output (stdout/stderr) ---');
            console.log(logs);
            console.log('--- End FFmpeg Output ---\n');
    
        } catch (error) {
            console.error('An error occurred during the FFmpeg job execution:', error);
        } finally {
            // Гарантируем удаление Job, даже если произошла ошибка
            await deleteJob(JOB_NAME);
        }
    }
    
    // Запуск главной функции
    main().catch(console.error);
    

    Шаг 4: Скрипты в package.json

    Добавьте или обновите секцию scripts в вашем package.json:

    {
      "name": "k8s-ffmpeg-job",
      "version": "1.0.0",
      "description": "",
      "main": "dist/index.js",
      "scripts": {
        "build": "tsc",
        "start": "node dist/index.js",
        "dev": "ts-node src/index.ts"
      },
      "keywords": [],
      "author": "",
      "license": "ISC",
      "dependencies": {
        "@kubernetes/client-node": "^0.21.1",
        "dotenv": "^16.4.5",
        "typescript": "^5.4.5"
      },
      "devDependencies": {
        "@types/node": "^20.12.12",
        "ts-node": "^10.9.2"
      }
    }
    

    Шаг 5: Запуск программы

    1. Скомпилируйте TypeScript код:
      npm run build
      
    2. Запустите программу:
      npm start
      
      Или, если вы предпочитаете использовать ts-node без компиляции:
      npm run dev
      

    Что происходит при запуске:

    1. Программа инициализирует клиент Kubernetes, используя ваш текущий kubeconfig.
    2. Генерирует уникальное имя для Job (например, ffmpeg-runner-1678888888888).
    3. Создает Kubernetes Job с именем ffmpeg-runner-X в указанном namespace. Этот Job запускает контейнер с образом jrottenberg/ffmpeg:6.0-alpine и выполняет команду ffmpeg -version.
    4. Программа начинает опрашивать Kubernetes API каждые 5 секунд, чтобы проверить статус Job.
    5. Когда Job завершается (успешно или с ошибкой), программа прекращает опрос.
    6. Если Job успешен, программа находит под, связанный с этим Job (по метке job-name), и извлекает логи этого пода.
    7. Логи ffmpeg выводятся в вашу консоль.
    8. В конце, независимо от исхода, программа пытается удалить созданный Job, чтобы очистить кластер.

    Дальнейшие улучшения:

    • Обработка файлов: Для реальной работы с ffmpeg вам потребуется монтировать PersistentVolumeClaim в под Job'а, чтобы ffmpeg мог читать входные файлы и записывать выходные. Или использовать S3/MinIO/другое объектное хранилище, доступ к которому ffmpeg мог бы получить по сети.
    • Параметризация: Можно добавить возможность передачи команды ffmpeg и аргументов через аргументы командной строки или переменные окружения в Node.js приложении.
    • Мониторинг прогресса: Для долгих задач ffmpeg вы можете захотеть получать логи не только по завершении, но и стримить их, чтобы отслеживать прогресс. Это сложнее, так как требуется постоянное соединение с логами пода.
    • Обработка ошибок ffmpeg: Если ffmpeg завершится с ошибкой (ненулевой код выхода), Job будет помечен как Failed. Ваша программа уже обрабатывает это, но вы можете добавить более детальный анализ логов для определения причины ошибки ffmpeg.

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.