как задать seed в pipeline?, docs:…
- User
Assistant
Чтобы задать начальное число (seed) для воспроизводимости результатов в
diffuserspipeline, включаяStableDiffusionXLInpaintPipeline, вам нужно использовать параметрgenerator.[[1]]Вот как это сделать:
- Импортируйте
torch: Вам понадобится библиотека PyTorch для создания генератора.[[2]] - Создайте объект
torch.Generator: Создайте экземплярtorch.Generator.[[2]] Укажите устройство ("cuda"или"cpu"), на котором будет выполняться генерация. - Установите seed: Используйте метод
.manual_seed()для установки конкретного числового значения seed на созданном генераторе.[[1]] - Передайте генератор в pipeline: При вызове вашего pipeline (например,
pipeline()), передайте созданный и "засидированный" генератор через аргументgenerator.[[2]]
Пример кода:
import torch from diffusers import StableDiffusionXLInpaintPipeline[[3]] # Загрузите ваш pipeline (пример для XL Inpaint) # Замените на ваш реальный код загрузки модели # pipe = StableDiffusionXLInpaintPipeline.from_pretrained(...)[[3]] # pipe.to("cuda") # Переместите на GPU, если используете # Определите ваш seed seed = 42 # Вы можете выбрать любое целое число[[2]] # Создайте генератор и установите seed[[1]][[4]][[5]] # Укажите "cuda", если используете GPU, иначе "cpu" generator = torch.Generator(device="cuda").manual_seed(seed) # Пример вызова pipeline с генератором # Замените ... на ваши реальные параметры (prompt, image, mask_image и т.д.) # image = pipe(prompt="Ваш промпт", image=init_image, mask_image=mask_image, generator=generator).images[0] # Теперь при каждом запуске с тем же seed и теми же параметрами # вы будете получать идентичный результат.Ключевые моменты:
- Воспроизводимость: Использование
generatorсmanual_seedгарантирует, что случайные процессы внутри pipeline (например, генерация начального шума) будут одинаковыми при каждом запуске с тем же seed, что приводит к идентичным результатам. - Устройство: Убедитесь, что устройство (
device), указанное при созданииtorch.Generator, совпадает с устройством, на котором выполняется ваш pipeline ("cuda"или"cpu"). - Без генератора: Если вы не передаете
generator,diffusersбудет использовать генератор по умолчанию, который инициализируется случайным образом при каждом запуске, поэтому результаты будут разными. - Батчи: Если вы генерируете несколько изображений за один вызов (
num_images_per_prompt > 1), для полной воспроизводимости каждой картинки в батче может потребоваться передать список генераторов, каждый со своим seed.[[5]] Однако для простого воспроизведения всего батча достаточно одного генератора.
Этот подход применим ко всем пайплайнам в библиотеке
diffusers, включаяStableDiffusionXLInpaintPipeline, упомянутый в вашем вопросе.- Импортируйте
- User
напиши все параметры pipeline с примером для StableDiffusionXLPipeline
Assistant
Хорошо, давайте разберем основные параметры метода
__call__дляdiffusers.StableDiffusionXLPipelineи приведем пример использования.StableDiffusionXLPipelineиспользуется для генерации изображений из текста (text-to-image) и потенциально для модификации изображений (image-to-image) с использованием базовой модели SDXL.# Пример импорта from diffusers import StableDiffusionXLPipeline import torch # Загрузка пайплайна (может занять время при первом запуске) # Убедитесь, что у вас достаточно VRAM pipe = StableDiffusionXLPipeline.from_pretrained( "stabilityai/stable-diffusion-xl-base-1.0", torch_dtype=torch.float16, # Используйте float16 для экономии памяти на GPU variant="fp16", use_safetensors=True ) pipe.to("cuda") # Перемещаем пайплайн на GPUОсновные параметры
pipe.__call__(...):-
prompt(strилиList[str]):- Текстовое описание (промпт) того, что вы хотите сгенерировать.
- Можно передать один промпт или список промптов для генерации батча изображений с разными описаниями.
- Пример:
"A high-resolution photograph of an astronaut riding a horse on the moon"
-
prompt_2(strилиList[str], опционально):- Второй текстовый промпт, используемый SDXL для улучшения понимания основного промпта через дополнительные эмбеддинги (pooled text embeddings). Часто совпадает с
prompt, но может использоваться для добавления специфичных деталей или стилей. - Если не указан (
None), обычно используется значениеprompt. - Пример:
"cinematic lighting, epic composition"(если используется для стиля) или просто то же, что иprompt.
- Второй текстовый промпт, используемый SDXL для улучшения понимания основного промпта через дополнительные эмбеддинги (pooled text embeddings). Часто совпадает с
-
height(int, опционально, по умолчанию1024):- Высота генерируемого изображения в пикселях. Должна быть кратна 8. Для SDXL рекомендуются значения около 1024.
-
width(int, опционально, по умолчанию1024):- Ширина генерируемого изображения в пикселях. Должна быть кратна 8. Для SDXL рекомендуются значения около 1024.
-
num_inference_steps(int, опционально, по умолчанию50):- Количество шагов шумоподавления (denoising steps). Большее количество шагов обычно ведет к лучшему качеству, но увеличивает время генерации. Значения между 20 и 50 являются хорошей отправной точкой для SDXL.
-
guidance_scale(float, опционально, по умолчанию7.5):- Масштаб направляющей классификатора (Classifier-Free Guidance). Определяет, насколько сильно генерация должна следовать вашему
prompt. - Более высокие значения (например, 7-12) усиливают соответствие промпту, но могут снизить разнообразие и привести к артефактам.
- Более низкие значения (например, 3-6) дают больше творческой свободы модели, но результат может меньше соответствовать промпту.
- Масштаб направляющей классификатора (Classifier-Free Guidance). Определяет, насколько сильно генерация должна следовать вашему
-
negative_prompt(strилиList[str], опционально):- Текстовое описание того, чего не должно быть на изображении. Помогает избегать нежелательных объектов, стилей или артефактов.
- Пример:
"low quality, blurry, watermark, text, signature, ugly, deformed"
-
negative_prompt_2(strилиList[str], опционально):- Второй негативный промпт, аналогичный
prompt_2, для дополнительных эмбеддингов. Если не указан (None), обычно используется значениеnegative_prompt.
- Второй негативный промпт, аналогичный
-
num_images_per_prompt(int, опционально, по умолчанию1):- Количество изображений, генерируемых для каждого промпта в батче.
-
eta(float, опционально, по умолчанию0.0):- Параметр для DDIM сэмплера. Значение
0.0соответствует DDIM,1.0- DDPM. Обычно оставляют0.0.
- Параметр для DDIM сэмплера. Значение
-
generator(torch.GeneratorилиList[torch.Generator], опционально):- Генератор случайных чисел PyTorch для обеспечения воспроизводимости. Если вы хотите получать одинаковый результат при одинаковых параметрах, создайте генератор и задайте ему
seed. - Пример:
generator = torch.Generator("cuda").manual_seed(42)
- Генератор случайных чисел PyTorch для обеспечения воспроизводимости. Если вы хотите получать одинаковый результат при одинаковых параметрах, создайте генератор и задайте ему
-
latents(torch.FloatTensor, опционально):- Предопределенный тензор шума (латентное пространство) для старта процесса генерации. Если не указан, создается случайный шум. Используется для продвинутых техник или точного воспроизведения/модификации. Размер должен быть
(batch_size * num_images_per_prompt, num_channels_latents, height // 8, width // 8).
- Предопределенный тензор шума (латентное пространство) для старта процесса генерации. Если не указан, создается случайный шум. Используется для продвинутых техник или точного воспроизведения/модификации. Размер должен быть
-
output_type(str, опционально, по умолчанию"pil"):- Формат возвращаемого результата.
"pil": Возвращает список объектовPIL.Image.Image."latent": Возвращает тензор латентного пространства (результат работы UNet до декодера VAE)."pt": Возвращает тензор изображений PyTorch (torch.FloatTensor)."np": Возвращает массив NumPy.
-
return_dict(bool, опционально, по умолчаниюTrue):- Если
True, возвращает объектStableDiffusionXLPipelineOutput(словарь-подобный объект с полямиimagesиnsfw_content_detected). - Если
False, возвращает кортеж, где первый элемент - это список изображений (или латентов).
- Если
-
callback(Callable, опционально):- Функция, которая будет вызываться после каждого
callback_stepsшага генерации. Полезно для отслеживания прогресса или визуализации промежуточных шагов.
- Функция, которая будет вызываться после каждого
-
callback_steps(int, опционально, по умолчанию1):- Как часто вызывать функцию
callback.
- Как часто вызывать функцию
-
cross_attention_kwargs(dict, опционально):- Словарь аргументов для передачи в слои перекрестного внимания (cross-attention). Используется для продвинутых техник, таких как управление вниманием.
-
guidance_rescale(float, опционально, по умолчанию0.0):- Масштабирование остатков шума при использовании guidance scale. Может помочь предотвратить чрезмерную насыщенность при высоких значениях
guidance_scale. Значение0.7- часто используемое.
- Масштабирование остатков шума при использовании guidance scale. Может помочь предотвратить чрезмерную насыщенность при высоких значениях
-
original_size(Tuple[int, int], опционально, по умолчанию(1024, 1024)):- Размер, с которым модель была обучена для обработки информации о размере. SDXL использует это для лучшего позиционирования и композиции. Обычно соответствует
(height, width).
- Размер, с которым модель была обучена для обработки информации о размере. SDXL использует это для лучшего позиционирования и композиции. Обычно соответствует
-
crops_coords_top_left(Tuple[int, int], опционально, по умолчанию(0, 0)):- Координаты верхнего левого угла "кадрирования" при использовании
original_size. Обычно оставляют(0, 0).
- Координаты верхнего левого угла "кадрирования" при использовании
-
target_size(Tuple[int, int], опционально, по умолчанию(1024, 1024)):- Целевой размер после кадрирования. Обычно соответствует
(height, width).
- Целевой размер после кадрирования. Обычно соответствует
-
negative_original_size(Tuple[int, int], опционально, по умолчанию(1024, 1024)):original_sizeдля использования сnegative_prompt.
-
negative_crops_coords_top_left(Tuple[int, int], опционально, по умолчанию(0, 0)):crops_coords_top_leftдля использования сnegative_prompt.
-
negative_target_size(Tuple[int, int], опционально, по умолчанию(1024, 1024)):target_sizeдля использования сnegative_prompt.
-
aesthetic_score(float, опционально, по умолчанию6.0):- Целевой "эстетический" балл, передаваемый в SDXL через эмбеддинги. Используется для влияния на общую эстетику изображения.
-
negative_aesthetic_score(float, опционально, по умолчанию2.5):- Целевой негативный "эстетический" балл, используемый с
negative_prompt.
- Целевой негативный "эстетический" балл, используемый с
-
denoising_end(float, опционально):- Доля процесса шумоподавления, которую выполняет этот пайплайн (базовая модель). Если используется вместе с рефайнером (refiner), это значение обычно устанавливается около
0.8, чтобы базовая модель сделала 80% работы, а остальное передалось рефайнеру. Если используется только базовый пайплайн, этот параметр не указывают (или оставляютNone/1.0).
- Доля процесса шумоподавления, которую выполняет этот пайплайн (базовая модель). Если используется вместе с рефайнером (refiner), это значение обычно устанавливается около
-
image(PIL.Image.Image,torch.Tensor,List):- Входное изображение для режима image-to-image. Если этот параметр
-
- User
нативный размер для генерации 1024x1024 или любое равное 1048576 например 512x2048 ? или другие значения?
Assistant
Да, 1024x1024 пикселей является базовым "родным" разрешением для Stable Diffusion XL (SDXL). Модель была преимущественно обучена на изображениях такого размера, и генерация в этом разрешении обычно дает наиболее стабильные и качественные результаты с точки зрения композиции и детализации.
Однако SDXL был разработан с учетом гибкости в отношении соотношения сторон. В отличие от предыдущих версий Stable Diffusion, SDXL обучался с использованием специального механизма кондиционирования по размеру (
original_size,target_size,crops_coords_top_left). Это позволяет ему лучше справляться с генерацией изображений в различных разрешениях и соотношениях сторон, сохраняя при этом хорошее качество, особенно если общая площадь изображения близка к "родной" площади в 1024x1024 = 1 048 576 пикселей.Что насчет других разрешений с той же площадью (≈1 Мп), например 512x2048?
- Технически возможно: Вы можете генерировать изображения с разрешением 512x2048. Общее количество пикселей такое же, как у 1024x1024.
- Не так "нативно": Хотя SDXL лучше справляется с разными соотношениями сторон, чем его предшественники, очень вытянутые или нестандартные форматы (как 1:4 в случае 512x2048) могут быть менее представлены в обучающих данных по сравнению с более стандартными соотношениями (1:1, 4:3, 3:4, 16:9, 9:16 и т. д.).
- Потенциальные проблемы: При использовании очень экстремальных соотношений сторон, даже с SDXL, вы можете иногда сталкиваться с проблемами композиции, такими как дублирование объектов, неестественное растяжение или плохая компоновка сцены. Модель может пытаться "заполнить" пространство способами, которые выглядят не совсем органично для такого вытянутого холста.
Рекомендуемые разрешения для SDXL (близкие к 1 Мп):
Stability AI и сообщество часто рекомендуют использовать разрешения, близкие к 1 Мп, но с разными соотношениями сторон, которые хорошо поддерживаются моделью:
- 1024x1024 (1:1) - Самый надежный вариант.
- 1152x896 (9:7)
- 896x1152 (7:9)
- 1216x832 (19:13 ≈ 3:2)
- 832x1216 (13:19 ≈ 2:3)
- 1344x768 (7:4 ≈ 16:9)
- 768x1344 (4:7 ≈ 9:16)
- 1536x640 (12:5 ≈ 21:9) - Довольно широкое
- 640x1536 (5:12 ≈ 9:21) - Довольно высокое
Итог:
- 1024x1024 - это основное "родное" разрешение.
- SDXL хорошо справляется с другими разрешениями и соотношениями сторон, особенно теми, что перечислены выше, общая площадь которых близка к 1 Мп.
- Разрешения вроде 512x2048 технически возможны, но могут быть менее надежными с точки зрения качества композиции по сравнению с более стандартными соотношениями сторон из-за экстремального формата. Экспериментировать можно, но начинать лучше с рекомендованных значений.
- Важно, чтобы и ширина, и высота были кратны 8 (из-за архитектуры VAE). Некоторые реализации могут требовать кратности 64 для оптимизаций.
- User
напиши код и как использовать HiRes Fix
Assistant
Понятие "HiRes Fix" (High Resolution Fix) стало популярным благодаря интерфейсам вроде Automatic1111/Stable Diffusion Web UI. В
diffusersнет одного параметраhires_fix=True, но сама техника легко реализуется вручную с помощью двухэтапного процесса:-
Этап 1: Генерация основы (Text-to-Image)
- Создается изображение в "родном" или близком к нему разрешении модели (например, 1024x1024 для SDXL). Это позволяет получить хорошую композицию, структуру и анатомию, так как модель лучше всего работает именно в этих разрешениях.
- Используется обычный пайплайн Text-to-Image (
StableDiffusionXLPipeline).
-
Этап 2: Увеличение и детализация (Image-to-Image)
- Сгенерированное на первом этапе изображение увеличивается до целевого высокого разрешения (например, до 2048x2048).
- Увеличенное изображение пропускается через пайплайн Image-to-Image (
StableDiffusionXLImg2ImgPipeline). - Ключевой параметр здесь —
strength(илиdenoising_strength). Он устанавливается на относительно низкое значение (например, 0.3-0.6). Это означает, что модель добавит только определенное количество шума к увеличенному изображению и затем будет его убирать, основываясь на промпте. Низкийstrengthпозволяет сохранить общую композицию и цвета из Этапа 1, но добавить детали, соответствующие более высокому разрешению.
Зачем это нужно? Генерация сразу в очень высоком разрешении часто приводит к артефактам: дублированию персонажей, искаженным объектам, плохой композиции. HiRes Fix обходит эту проблему, используя сильные стороны модели на каждом этапе.
Пример кода для реализации HiRes Fix с SDXL в
diffusers:import torch from diffusers import StableDiffusionXLPipeline, StableDiffusionXLImg2ImgPipeline from diffusers.utils import load_image from PIL import Image import time # Для замера времени # --- 1. Настройки --- # Пайплайны (загрузка или использование уже загруженных) # Используем один и тот же базовый checkpoint для обоих model_id = "stabilityai/stable-diffusion-xl-base-1.0" # Для экономии VRAM можно загрузить компоненты один раз # и передавать их в пайплайны, но для простоты загрузим отдельно. # Рекомендуется использовать float16 для экономии памяти pipe_txt2img = StableDiffusionXLPipeline.from_pretrained( model_id, torch_dtype=torch.float16, variant="fp16", use_safetensors=True ) pipe_img2img = StableDiffusionXLImg2ImgPipeline.from_pretrained( model_id, torch_dtype=torch.float16, variant="fp16", use_safetensors=True ) # Перемещаем на GPU pipe_txt2img.to("cuda") pipe_img2img.to("cuda") # Опционально: включаем оптимизации (если установлены xformers/bitsandbytes) # pipe_txt2img.enable_model_cpu_offload() # Если мало VRAM # pipe_img2img.enable_model_cpu_offload() # pipe_txt2img.enable_xformers_memory_efficient_attention() # Если xformers установлен # pipe_img2img.enable_xformers_memory_efficient_attention() # Параметры генерации prompt = "A majestic lion relaxing on a throne made of ancient stones, cinematic lighting, ultra detailed, 8k" negative_prompt = "low quality, blurry, watermark, text, signature, deformed, mutated, poorly drawn" # Параметры Этапа 1 (основа) base_width = 1024 base_height = 1024 num_inference_steps_base = 30 # Можно меньше шагов для основы guidance_scale_base = 7.5 seed = 42 # Используйте seed для воспроизводимости # Параметры Этапа 2 (HiRes) target_width = 1536 # Пример разрешения выше базового (1.5x) target_height = 1536 num_inference_steps_hires = 20 # Часто можно меньше шагов guidance_scale_hires = 7.5 # Обычно тот же, но можно экспериментировать strength = 0.45 # Ключевой параметр! (0.3-0.6 - хороший диапазон для начала) # Чем ниже, тем больше сохраняется от оригинала. # Чем выше, тем больше изменений внесет img2img. # --- 2. Этап 1: Генерация базового изображения --- print("--- Этап 1: Генерация базового изображения ---") start_time = time.time() generator = torch.Generator("cuda").manual_seed(seed) base_image = pipe_txt2img( prompt=prompt, negative_prompt=negative_prompt, width=base_width, height=base_height, guidance_scale=guidance_scale_base, num_inference_steps=num_inference_steps_base, generator=generator, ).images[0] end_time = time.time() print(f"Этап 1 завершен за {end_time - start_time:.2f} секунд.") base_image.save("hires_fix_base.png") print("Базовое изображение сохранено как hires_fix_base.png") # --- 3. Увеличение изображения --- print("\n--- Увеличение изображения ---") # Используем PIL для простого увеличения. Можно использовать другие библиотеки/модели (Real-ESRGAN и т.д.) # LANCZOS - хороший фильтр для ресайза, сохраняющий детали upscaled_image = base_image.resize((target_width, target_height), Image.Resampling.LANCZOS) upscaled_image.save("hires_fix_upscaled_input.png") print(f"Изображение увеличено до {target_width}x{target_height} и сохранено как hires_fix_upscaled_input.png") # --- 4. Этап 2: Детализация через Image-to-Image --- print("\n--- Этап 2: Детализация (Img2Img) ---") start_time = time.time() # Важно: Можно использовать тот же seed для генератора, если нужна полная воспроизводимость деталей, # добавляемых на этом шаге. Но часто это не обязательно, т.к. композиция уже задана. # Пересоздадим генератор с тем же seed для примера полной воспроизводимости: generator_hires = torch.Generator("cuda").manual_seed(seed) hires_image = pipe_img2img( prompt=prompt, # Используем тот же промпт negative_prompt=negative_prompt, image=upscaled_image, # Увеличенное изображение как вход strength=strength, # Контролируем степень изменения guidance_scale=guidance_scale_hires, num_inference_steps=num_inference_steps_hires, generator=generator_hires, ).images[0] end_time = time.time() print(f"Этап 2 завершен за {end_time - start_time:.2f} секунд.") hires_image.save("hires_fix_final.png") print("Финальное изображение высокого разрешения сохранено как hires_fix_final.png") print("\nПроцесс HiRes Fix завершен.")Как использовать и что менять:
- Установите
diffusersи зависимости:pip install diffusers transformers accelerate torch torchvision - Запустите код: Убедитесь, что у вас достаточно VRAM (SDXL требователен).
- Настройте параметры:
prompt,negative_prompt: Ваши текстовые описания.seed: Зафиксируйте для получения одинаковой основы.base_width,base_height: Разрешение Этапа 1 (обычно 1024x1024 для SDXL).target_width,target_height: Желаемое финальное разрешение.strength: Самый важный параметр для настройки. Начните с0.4-0.5. Уменьшайте, если финальное изображение слишком сильно отличается от базового. Увеличивайте, если хотите больше изменений/деталей от img2img этапа.num_inference_steps_base,num_inference_steps_hires: Количество шагов для каждого этапа. Для HiRes этапа часто можно использовать меньше шагов
-
- User
сделай так чтобы модель инпейнтинга (StableDiffusionXLInpaintPipeline) была загружена на первой GPU а StableDiffusionXLImg2ImgPipeline на второй GPU
Assistant
Хорошо, чтобы загрузить
StableDiffusionXLInpaintPipelineна первую GPU (обычноcuda:0) иStableDiffusionXLImg2ImgPipelineна вторую GPU (cuda:1), вам нужно явно указать целевое устройство при перемещении пайплайна с помощью метода.to().Важно:
- У вас должно быть как минимум две видеокарты NVIDIA, видимые для PyTorch.
- У вас должны быть установлены соответствующие драйверы NVIDIA и CUDA Toolkit.
- PyTorch должен быть установлен с поддержкой CUDA.
- Загрузка двух экземпляров SDXL (даже если они используют одни и те же базовые веса, объекты пайплайнов будут отдельными) потребует значительного объема VRAM на каждой видеокарте. Убедитесь, что на обеих GPU достаточно памяти.
Вот пример кода:
import torch from diffusers import StableDiffusionXLInpaintPipeline, StableDiffusionXLImg2ImgPipeline from diffusers.utils import load_image # Для примера загрузки изображения from PIL import Image import time # --- 1. Проверка доступности GPU --- if torch.cuda.is_available(): num_gpus = torch.cuda.device_count() print(f"Найдено {num_gpus} GPU.") if num_gpus < 2: print("Ошибка: Для этого скрипта требуется как минимум 2 GPU.") exit() else: print("Ошибка: CUDA недоступна. Убедитесь, что PyTorch установлен с поддержкой CUDA и драйверы NVIDIA настроены.") exit() # --- 2. Определение устройств --- device_0 = torch.device("cuda:0") device_1 = torch.device("cuda:1") print(f"Используем {device_0} для Inpaint Pipeline") print(f"Используем {device_1} для Img2Img Pipeline") # --- 3. Параметры и ID модели --- # Используем один и тот же базовый checkpoint для обоих model_id = "stabilityai/stable-diffusion-xl-base-1.0" # Рекомендуется использовать float16 для экономии памяти dtype = torch.float16 variant = "fp16" # Если используете fp16 веса # --- 4. Загрузка и перемещение пайплайнов --- # Загрузка StableDiffusionXLInpaintPipeline на CPU, затем перемещение на GPU 0 print(f"\nЗагрузка Inpaint Pipeline ({model_id}) на {device_0}...") start_time = time.time() pipe_inpaint_gpu0 = StableDiffusionXLInpaintPipeline.from_pretrained( model_id, torch_dtype=dtype, variant=variant, use_safetensors=True ) pipe_inpaint_gpu0.to(device_0) end_time = time.time() print(f"Inpaint Pipeline загружен на {pipe_inpaint_gpu0.device} за {end_time - start_time:.2f} секунд.") # Загрузка StableDiffusionXLImg2ImgPipeline на CPU, затем перемещение на GPU 1 print(f"\nЗагрузка Img2Img Pipeline ({model_id}) на {device_1}...") start_time = time.time() pipe_img2img_gpu1 = StableDiffusionXLImg2ImgPipeline.from_pretrained( model_id, torch_dtype=dtype, variant=variant, use_safetensors=True ) pipe_img2img_gpu1.to(device_1) end_time = time.time() print(f"Img2Img Pipeline загружен на {pipe_img2img_gpu1.device} за {end_time - start_time:.2f} секунд.") # --- 5. Пример использования (Закомментировано) --- # Важно: Все тензоры (изображения, маски, генераторы) должны быть на том же устройстве, что и пайплайн! # # --- Пример для Inpaint на GPU 0 --- # print(f"\nПример вызова Inpaint Pipeline на {device_0}...") # try: # # Нужны реальные image и mask_image # # Создадим простые заглушки # dummy_image_pil = Image.new('RGB', (1024, 1024), color = 'grey') # dummy_mask_pil = Image.new('L', (1024, 1024), color = 'white') # Белый - область для инпейнтинга # prompt_inpaint = "A red car parked on a street" # negative_prompt = "low quality, blurry" # seed_inpaint = 100 # # Генератор должен быть на том же устройстве! # generator_inpaint = torch.Generator(device=device_0).manual_seed(seed_inpaint) # # Входные PIL изображения не нужно явно перемещать, diffusers сделает это. # # Но если бы это были тензоры, их нужно было бы переместить: image_tensor.to(device_0) # start_time = time.time() # output_inpaint = pipe_inpaint_gpu0( # prompt=prompt_inpaint, # negative_prompt=negative_prompt, # image=dummy_image_pil, # mask_image=dummy_mask_pil, # num_inference_steps=30, # guidance_scale=7.5, # generator=generator_inpaint, # output_type="pil" # или 'pt' для тензора # ).images[0] # end_time = time.time() # output_inpaint.save("inpaint_gpu0_output.png") # print(f"Inpaint на {device_0} завершен за {end_time - start_time:.2f} сек. Результат сохранен как inpaint_gpu0_output.png") # except Exception as e: # print(f"Ошибка при выполнении Inpaint на {device_0}: {e}") # # --- Пример для Img2Img на GPU 1 --- # print(f"\nПример вызова Img2Img Pipeline на {device_1}...") # try: # # Нужнo реальное init_image # # Используем заглушку # dummy_init_image_pil = Image.new('RGB', (1024, 1024), color = 'blue') # prompt_img2img = "A futuristic cityscape at sunset, hyperrealistic" # strength_img2img = 0.6 # seed_img2img = 200 # # Генератор должен быть на том же устройстве! # generator_img2img = torch.Generator(device=device_1).manual_seed(seed_img2img) # # Входное PIL изображение не нужно явно перемещать. # # Если бы это был тензор: init_image_tensor.to(device_1) # start_time = time.time() # output_img2img = pipe_img2img_gpu1( # prompt=prompt_img2img, # negative_prompt=negative_prompt, # image=dummy_init_image_pil, # strength=strength_img2img, # num_inference_steps=30, # guidance_scale=7.5, # generator=generator_img2img, # output_type="pil" # ).images[0] # end_time = time.time() # output_img2img.save("img2img_gpu1_output.png") # print(f"Img2Img на {device_1} завершен за {end_time - start_time:.2f} сек. Результат сохранен как img2img_gpu1_output.png") # except Exception as e: # print(f"Ошибка при выполнении Img2Img на {device_1}: {e}") print("\nСкрипт завершен. Пайплайны загружены на соответствующие GPU.") # Пайплайны pipe_inpaint_gpu0 и pipe_img2img_gpu1 готовы к использованию # на своих устройствах (cuda:0 и cuda:1 соответственно).Как использовать:
- Сохраните код в файл (например,
load_gpus.py). - Запустите его из вашего терминала:
python load_gpus.py. - Скрипт сначала проверит наличие двух GPU, затем загрузит каждую модель на свою видеокарту и выведет информацию о процессе.
- Раскомментируйте и адаптируйте секции "Пример использования", если хотите сразу протестировать пайплайны. Не забудьте предоставить реальные входные данные (изображения, маски) и убедиться, что все тензоры, передаваемые в пайплайн (включая
generator), находятся на том же устройстве, что и сам пайплайн.diffusersобычно обрабатывает входные PIL Image автоматически, но если вы работаете с тензорами PyTorch напрямую, их нужно перемещать вручную (tensor.to(device_x)).
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.