nodejs. typescript. прогргамма, которая запускает ffmpeg как job в k8s дожидается…
- User
nodejs. typescript. прогргамма, которая запускает ffmpeg как job в k8s дожидается окончания и выводит в консоль, то что вывел ffmpeg
Assistant
Конечно! Давайте создадим Node.js/TypeScript программу, которая будет создавать Kubernetes Job для запуска
ffmpeg, дожидаться его завершения и выводить логи.Этот пример будет использовать официальную библиотеку
@kubernetes/client-node.Шаг 1: Подготовка окружения и Kubernetes
-
Убедитесь, что у вас установлен Node.js и npm.
-
Установите
kubectlи настройте доступ к вашему Kubernetes-кластеру. Программа будет использовать ваш текущийkubeconfig. -
Создайте
ServiceAccountиRoleBindingдля вашего приложения в Kubernetes. Это необходимо, чтобы ваше приложение имело разрешения на создание Job'ов, просмотр их статуса и чтение логов подов.Создайте файл
ffmpeg-rbac.yaml:apiVersion: v1 kind: ServiceAccount metadata: name: ffmpeg-job-runner-sa namespace: default # Измените, если используете другой namespace --- apiVersion: rbac.authorization.k8s.io/v1 kind: Role metadata: name: ffmpeg-job-runner-role namespace: default # Измените, если используете другой namespace rules: - apiGroups: ["batch"] resources: ["jobs"] verbs: ["create", "get", "watch", "list", "delete"] - apiGroups: [""] resources: ["pods", "pods/log"] verbs: ["get", "list", "watch"] --- apiVersion: rbac.authorization.k8s.io/v1 kind: RoleBinding metadata: name: ffmpeg-job-runner-rb namespace: default # Измените, если используете другой namespace subjects: - kind: ServiceAccount name: ffmpeg-job-runner-sa namespace: default # Измените, если используете другой namespace roleRef: kind: Role name: ffmpeg-job-runner-role apiGroup: rbac.authorization.k8s.ioПримените его:
kubectl apply -f ffmpeg-rbac.yaml(Если вы запускаете это приложение внутри кластера, вы настроите ваш Pod на использование этого
ServiceAccount. Для запуска снаружи кластера, как в этом примере, разрешения должны быть у пользователяkubeconfig.)
Шаг 2: Создание проекта Node.js/TypeScript
-
Создайте новую директорию для проекта и инициализируйте npm:
mkdir k8s-ffmpeg-job cd k8s-ffmpeg-job npm init -y -
Установите необходимые пакеты:
npm install @kubernetes/client-node typescript ts-node dotenv npm install --save-dev @types/node -
Создайте
tsconfig.json:{ "compilerOptions": { "target": "es2019", "module": "commonjs", "outDir": "./dist", "rootDir": "./src", "strict": true, "esModuleInterop": true, "skipLibCheck": true, "forceConsistentCasingInFileNames": true }, "include": ["src/**/*.ts"], "exclude": ["node_modules"] } -
Создайте файл
.env(для конфигурации):K8S_NAMESPACE=default # K8S_KUBECONFIG_PATH=/path/to/your/kubeconfig # Раскомментируйте, если kubeconfig не в стандартном месте -
Создайте директорию
srcи основной файлindex.ts:mkdir src touch src/index.ts
Шаг 3: Написание кода (
src/index.ts)import * as k8s from '@kubernetes/client-node'; import * as dotenv from 'dotenv'; dotenv.config(); // Настройка KubeConfig const kc = new k8s.KubeConfig(); if (process.env.K8S_KUBECONFIG_PATH) { kc.loadFromFile(process.env.K8S_KUBECONFIG_PATH); } else { kc.loadFromDefault(); // Загружает из ~/.kube/config или переменной KUBECONFIG } const batchV1Api = kc.makeApiClient(k8s.BatchV1Api); const coreV1Api = kc.makeApiClient(k8s.CoreV1Api); const NAMESPACE = process.env.K8S_NAMESPACE || 'default'; /** * Создает Kubernetes Job для запуска FFmpeg. * @param jobName Имя для Job. * @param command Массив строк для команды (например, ['ffmpeg']). * @param args Массив строк для аргументов команды (например, ['-version']). * @returns Созданный Job. */ async function createFfmpegJob(jobName: string, command: string[], args: string[]): Promise<k8s.V1Job> { const jobBody: k8s.V1Job = { apiVersion: 'batch/v1', kind: 'Job', metadata: { name: jobName, namespace: NAMESPACE, labels: { 'app': 'ffmpeg-job-runner', 'job-name': jobName // Добавляем метку для удобного поиска пода } }, spec: { // Удаляет Job через 5 минут после завершения (успешно или с ошибкой) ttlSecondsAfterFinished: 300, template: { spec: { containers: [ { name: 'ffmpeg-container', image: 'jrottenberg/ffmpeg:6.0-alpine', // Используем образ FFmpeg command: command, args: args, // Для реальных задач здесь могут быть volumeMounts для входных/выходных файлов // или envVars для конфигурации. } ], restartPolicy: 'Never', // Важно для Job'ов: не перезапускать под после завершения // serviceAccountName: 'ffmpeg-job-runner-sa', // Раскомментируйте, если запускаете из кластера с SA } }, backoffLimit: 0, // Не пытаться перезапустить Job в случае ошибки для этого примера } }; console.log(`Creating Job ${jobName} in namespace ${NAMESPACE}...`); try { const response = await batchV1Api.createNamespacedJob(NAMESPACE, jobBody); console.log(`Job ${jobName} created.`); return response.body; } catch (error: any) { console.error(`Error creating job ${jobName}:`, error.body || error); throw error; } } /** * Ожидает завершения Kubernetes Job. * @param jobName Имя Job для отслеживания. * @param intervalMs Интервал проверки статуса в миллисекундах. * @returns Промис, который разрешается при успехе или отклоняется при неудаче/ошибке. */ async function waitForJobCompletion(jobName: string, intervalMs: number = 5000): Promise<'succeeded' | 'failed'> { console.log(`Waiting for job ${jobName} to complete...`); return new Promise((resolve, reject) => { const checkStatus = async () => { try { const { body: job } = await batchV1Api.readNamespacedJobStatus(jobName, NAMESPACE); if (job.status?.succeeded) { console.log(`Job ${jobName} succeeded.`); clearInterval(intervalId); resolve('succeeded'); } else if (job.status?.failed) { const message = job.status.conditions?.[0]?.message || 'Job failed for unknown reason.'; console.error(`Job ${jobName} failed. Reason: ${message}`); clearInterval(intervalId); reject(new Error(`Job ${jobName} failed. ${message}`)); } else { console.log(`Job ${jobName} is still running or pending. Succeeded: ${job.status?.succeeded || 0}, Failed: ${job.status?.failed || 0}`); } } catch (error: any) { console.error(`Error checking job status for ${jobName}:`, error.body || error); clearInterval(intervalId); reject(error); } }; const intervalId = setInterval(checkStatus, intervalMs); // Добавляем таймаут на случай, если Job завис или K8s API недоступен setTimeout(() => { clearInterval(intervalId); reject(new Error(`Timed out waiting for job ${jobName} after 10 minutes.`)); }, 10 * 60 * 1000); // 10 минут }); } /** * Получает логи из пода, связанного с Job. * @param jobName Имя Job. * @returns Логи пода в виде строки. */ async function getPodLogs(jobName: string): Promise<string> { console.log(`Fetching logs for job ${jobName}...`); try { // Ищем под, который был создан этим Job. // Используем метку 'job-name', которую мы добавили при создании Job. const { body: pods } = await coreV1Api.listNamespacedPod( NAMESPACE, undefined, undefined, undefined, undefined, `job-name=${jobName}` ); const jobPod = pods.items[0]; // Обычно Job создает один под if (!jobPod || !jobPod.metadata?.name) { throw new Error(`No pod found for job ${jobName}.`); } console.log(`Found pod ${jobPod.metadata.name} for job ${jobName}.`); // Ждем небольшую задержку, чтобы K8s гарантированно собрал все логи после завершения пода await new Promise(resolve => setTimeout(resolve, 3000)); // Получаем логи пода const { body: logs } = await coreV1Api.readNamespacedPodLog(jobPod.metadata.name, NAMESPACE); return logs; } catch (error: any) { console.error(`Error getting logs for job ${jobName}:`, error.body || error); throw error; } } /** * Удаляет Kubernetes Job. * @param jobName Имя Job для удаления. */ async function deleteJob(jobName: string) { console.log(`Deleting Job ${jobName}...`); try { // 'Foreground' означает, что под будет удален до того, как Job будет помечен как удаленный await batchV1Api.deleteNamespacedJob(jobName, NAMESPACE, undefined, undefined, undefined, undefined, 'Foreground'); console.log(`Job ${jobName} deleted.`); } catch (error: any) { console.warn(`Could not delete job ${jobName}:`, error.body?.message || error.message || error); } } // Главная функция, запускающая весь процесс async function main() { const JOB_NAME = `ffmpeg-runner-${Date.now()}`; // Уникальное имя Job // FFmpeg команда для получения версии - быстро и с выводом const FFMPEG_COMMAND = ['ffmpeg']; const FFMPEG_ARGS = ['-version']; // Пример более сложной команды (если у вас есть PV/PVC) // const FFMPEG_COMMAND = ['ffmpeg', '-i', '/data/input.mp4', '-vf', 'scale=1280:-1', '/data/output.mp4']; // const FFMPEG_ARGS: string[] = []; try { await createFfmpegJob(JOB_NAME, FFMPEG_COMMAND, FFMPEG_ARGS); await waitForJobCompletion(JOB_NAME); const logs = await getPodLogs(JOB_NAME); console.log('\n--- FFmpeg Output (stdout/stderr) ---'); console.log(logs); console.log('--- End FFmpeg Output ---\n'); } catch (error) { console.error('An error occurred during the FFmpeg job execution:', error); } finally { // Гарантируем удаление Job, даже если произошла ошибка await deleteJob(JOB_NAME); } } // Запуск главной функции main().catch(console.error);Шаг 4: Скрипты в
package.jsonДобавьте или обновите секцию
scriptsв вашемpackage.json:{ "name": "k8s-ffmpeg-job", "version": "1.0.0", "description": "", "main": "dist/index.js", "scripts": { "build": "tsc", "start": "node dist/index.js", "dev": "ts-node src/index.ts" }, "keywords": [], "author": "", "license": "ISC", "dependencies": { "@kubernetes/client-node": "^0.21.1", "dotenv": "^16.4.5", "typescript": "^5.4.5" }, "devDependencies": { "@types/node": "^20.12.12", "ts-node": "^10.9.2" } }Шаг 5: Запуск программы
- Скомпилируйте TypeScript код:
npm run build - Запустите программу:
Или, если вы предпочитаете использоватьnpm startts-nodeбез компиляции:npm run dev
Что происходит при запуске:
- Программа инициализирует клиент Kubernetes, используя ваш текущий
kubeconfig. - Генерирует уникальное имя для Job (например,
ffmpeg-runner-1678888888888). - Создает Kubernetes Job с именем
ffmpeg-runner-Xв указанномnamespace. Этот Job запускает контейнер с образомjrottenberg/ffmpeg:6.0-alpineи выполняет командуffmpeg -version. - Программа начинает опрашивать Kubernetes API каждые 5 секунд, чтобы проверить статус Job.
- Когда Job завершается (успешно или с ошибкой), программа прекращает опрос.
- Если Job успешен, программа находит под, связанный с этим Job (по метке
job-name), и извлекает логи этого пода. - Логи
ffmpegвыводятся в вашу консоль. - В конце, независимо от исхода, программа пытается удалить созданный Job, чтобы очистить кластер.
Дальнейшие улучшения:
- Обработка файлов: Для реальной работы с
ffmpegвам потребуется монтироватьPersistentVolumeClaimв под Job'а, чтобыffmpegмог читать входные файлы и записывать выходные. Или использовать S3/MinIO/другое объектное хранилище, доступ к которомуffmpegмог бы получить по сети. - Параметризация: Можно добавить возможность передачи команды
ffmpegи аргументов через аргументы командной строки или переменные окружения в Node.js приложении. - Мониторинг прогресса: Для долгих задач
ffmpegвы можете захотеть получать логи не только по завершении, но и стримить их, чтобы отслеживать прогресс. Это сложнее, так как требуется постоянное соединение с логами пода. - Обработка ошибок
ffmpeg: Еслиffmpegзавершится с ошибкой (ненулевой код выхода), Job будет помечен какFailed. Ваша программа уже обрабатывает это, но вы можете добавить более детальный анализ логов для определения причины ошибкиffmpeg.
-
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.