import gradio as gr from PIL import Image def mergeimages(i1,i2,i3,i4,i5,i6,i7,i8,i9):…
- User
import gradio as gr from PIL import Image
def _merge_images(i1,i2,i3,i4,i5,i6,i7,i8,i9): return merge_images([i1,i2,i3,i4,i5,i6,i7,i8,i9])
def merge_images(images): image_size = (16, 16) # Define the size for each image empty_block = Image.new("RGBA", (16, 16), (0, 0, 0, 0))
# Create a blank canvas for the final 3x3 grid grid_image = Image.new("RGBA", (16*3, 16*3), (0, 0, 0,0)) for idx, img in enumerate(images): row, col = divmod(idx, 3) # Resize each image to fit 256x256, or use the empty block directly print(img) if img == None: img = empty_block # Paste the image into the grid grid_image.paste(img, (col * image_size[0], row * image_size[1])) condition = transform(grid_image).unsqueeze(0).to('cuda') with torch.inference_mode(), torch.amp.autocast('cuda',dtype=torch.float32): pred=modelT.generate_samples(total_steps=20,shape=(1,4,16,16), condition=condition) gen_image = denormalize(pred[0].cpu(), mean, std) return (grid_image,v2.ToPILImage()(gen_image))with gr.Blocks(css="img { image-rendering: pixelated; }") as iface: images = [] with gr.Column(): for i in range(3): with gr.Row(): for i in range(3): images.append(gr.Image(type="pil", image_mode="RGBA"))
with gr.Column(): with gr.Row(): craft = gr.Image() result = gr.Image() button = gr.Button("Generate") button.click(_merge_images, inputs=images, outputs=[craft, result])iface.launch(debug=True)
почему grid_image получается каким-то тусклым, хотя на вход картинки подаются нормальные
- Assistant
Тусклость или изменение яркости изображения в процессе обработки может происходить по нескольким причинам. Давайте посмотрим на возможные причины и как это можно исправить:
-
Изменение альфа-канала: Вы используете изображения с режимом RGBA, что означает наличие альфа-канала (прозрачности). Если вы с этим не аккуратно работаете, это может привести к тусклости, поскольку прозрачные или полупрозрачные области могут смешиваться с черным фоном.
-
Обработка изображения: Убедитесь, что ваше изображение не изменяется после
paste. Никакие преобразования цвета не происходят в промежутке междуpasteи передачей вtransform. -
Преобразования в
transform: Возможно, что функцияtransform, которую вы применяете кgrid_image, влияет на яркость или контрастность. Убедитесь, что любые используемые вами преобразования не изменяют цвета нежелательным образом. -
Точность данных: Иногда проблема может возникать из-за численной точности при переносе данных на устройства
cuda, особенно если данные подвергаются изменению типа или масштабированию. -
Отображение и визуализация: Убедитесь, что функция
v2.ToPILImage()правильно преобразует тензор обратно в изображение PIL. Обратите внимание на нормализацию данных и убедитесь, что она соответствует интервалу [0, 255] для изображений. -
Отладка и Логгирование: Если что-то выглядит неправильно, попробуйте добавить распечатки (
print) для промежуточных результатов, чтобы понять, где происходит изменение картинки. Например, визуализируйтеgrid_imageпосле преобразований и перед подачей вtransform, чтобы убедиться, что оно выглядит так, как вы ожидаете.
Если проблема заключается в альфа-канале, попробуйте вручную управлять альфа-каналом или преобразовать изображение в RGB, если прозрачность не важна для вашей задачи:
grid_image = grid_image.convert("RGB")Это может помочь устранить возможные артефакты, связанные с альфа-каналом.
-
- User
я говорю про grid_image, это не тензор а PIL Image
- Assistant
Если проблема заключается в том, что сетка
grid_image, которая является изображением PIL, выглядит более тусклой, нежели отдельные исходные картинки, рассмотрим возможные причины:-
Альфа-канал:
grid_imageизначально создается с использованием режима "RGBA", что может влиять на видимость, если изображения на входе имеют различную прозрачность. Попробуйте преобразовать итоговое изображение в режим "RGB", чтобы исключить влияние альфа-канала:grid_image = grid_image.convert("RGB") -
Проблемы с объединением изображений: Когда вы собираете изображения в одной сетке, убедитесь, что альфа-канал каждого изображения корректно обрабатывается. Если какого-либо изображения нет (то есть
None), у вас используется пустой блок с прозрачностью, что может заносить прозрачность туда, где её не должно быть:empty_block = Image.new("RGBA", image_size, (255, 255, 255, 0))Здесь вы создаете пустой блок без непрозрачных пикселей. Убедитесь, что вам нужно именно это. Возможно, стоит попробовать более непрозрачный фон, чтобы избежать изменения цвета:
empty_block = Image.new("RGBA", image_size, (255, 255, 255, 255)) # Белый непрозрачный фон -
Размер изображений: Убедитесь, что изменение размера и преобразование каждого изображения происходит корректно. Например, когда вы ресайзите изображение, важно не терять значений пикселей.
-
Проверка яркости: Визуально убедитесь, что каждое изображение, которое вы ставите в сетку
grid_image, действительно имеет правильную яркость, до объединения. -
Другое визуальное преобразование: Иногда проблема может заключаться в настройках конечной визуализации изображений (например, как обрабатываются прозрачные пиксели на этапе
капелькиизображения в сетке).
Проверьте каждое из этих направлений и, возможно, примените вышеизложенные изменения для исправления визуальных аномалий. Если прозрачно заполненные области и неактуальны, лучше переключиться на режим RGB и работать в рамках полной непрозрачности.
-