Skip to content
TheChatArchiveThe Chat Archive
gpt-4o-2024-08-06· OpenAIAi2 WildChat-4.8M (AI2)

import gradio as gr from PIL import Image def mergeimages(i1,i2,i3,i4,i5,i6,i7,i8,i9):…

  1. User

    import gradio as gr from PIL import Image

    def _merge_images(i1,i2,i3,i4,i5,i6,i7,i8,i9): return merge_images([i1,i2,i3,i4,i5,i6,i7,i8,i9])

    def merge_images(images): image_size = (16, 16) # Define the size for each image empty_block = Image.new("RGBA", (16, 16), (0, 0, 0, 0))

    # Create a blank canvas for the final 3x3 grid
    grid_image = Image.new("RGBA", (16*3, 16*3), (0, 0, 0,0))
    
    for idx, img in enumerate(images):
        row, col = divmod(idx, 3)
        
        # Resize each image to fit 256x256, or use the empty block directly
        print(img)
        if img == None:
            img = empty_block
    
        # Paste the image into the grid
        grid_image.paste(img, (col * image_size[0], row * image_size[1]))
    
    condition = transform(grid_image).unsqueeze(0).to('cuda')
    
    with torch.inference_mode(), torch.amp.autocast('cuda',dtype=torch.float32):
        pred=modelT.generate_samples(total_steps=20,shape=(1,4,16,16), condition=condition)
        gen_image = denormalize(pred[0].cpu(), mean, std)
    	
        return (grid_image,v2.ToPILImage()(gen_image))
    

    with gr.Blocks(css="img { image-rendering: pixelated; }") as iface: images = [] with gr.Column(): for i in range(3): with gr.Row(): for i in range(3): images.append(gr.Image(type="pil", image_mode="RGBA"))

    with gr.Column():
    	with gr.Row():
    		craft = gr.Image()
    		result = gr.Image()
    		button = gr.Button("Generate")
    		button.click(_merge_images, inputs=images, outputs=[craft, result])
    

    iface.launch(debug=True)

    почему grid_image получается каким-то тусклым, хотя на вход картинки подаются нормальные

  2. Assistant

    Тусклость или изменение яркости изображения в процессе обработки может происходить по нескольким причинам. Давайте посмотрим на возможные причины и как это можно исправить:

    1. Изменение альфа-канала: Вы используете изображения с режимом RGBA, что означает наличие альфа-канала (прозрачности). Если вы с этим не аккуратно работаете, это может привести к тусклости, поскольку прозрачные или полупрозрачные области могут смешиваться с черным фоном.

    2. Обработка изображения: Убедитесь, что ваше изображение не изменяется после paste. Никакие преобразования цвета не происходят в промежутке между paste и передачей в transform.

    3. Преобразования в transform: Возможно, что функция transform, которую вы применяете к grid_image, влияет на яркость или контрастность. Убедитесь, что любые используемые вами преобразования не изменяют цвета нежелательным образом.

    4. Точность данных: Иногда проблема может возникать из-за численной точности при переносе данных на устройства cuda, особенно если данные подвергаются изменению типа или масштабированию.

    5. Отображение и визуализация: Убедитесь, что функция v2.ToPILImage() правильно преобразует тензор обратно в изображение PIL. Обратите внимание на нормализацию данных и убедитесь, что она соответствует интервалу [0, 255] для изображений.

    6. Отладка и Логгирование: Если что-то выглядит неправильно, попробуйте добавить распечатки (print) для промежуточных результатов, чтобы понять, где происходит изменение картинки. Например, визуализируйте grid_image после преобразований и перед подачей в transform, чтобы убедиться, что оно выглядит так, как вы ожидаете.

    Если проблема заключается в альфа-канале, попробуйте вручную управлять альфа-каналом или преобразовать изображение в RGB, если прозрачность не важна для вашей задачи:

    grid_image = grid_image.convert("RGB")
    

    Это может помочь устранить возможные артефакты, связанные с альфа-каналом.

  3. User

    я говорю про grid_image, это не тензор а PIL Image

  4. Assistant

    Если проблема заключается в том, что сетка grid_image, которая является изображением PIL, выглядит более тусклой, нежели отдельные исходные картинки, рассмотрим возможные причины:

    1. Альфа-канал: grid_image изначально создается с использованием режима "RGBA", что может влиять на видимость, если изображения на входе имеют различную прозрачность. Попробуйте преобразовать итоговое изображение в режим "RGB", чтобы исключить влияние альфа-канала:

      grid_image = grid_image.convert("RGB")
      
    2. Проблемы с объединением изображений: Когда вы собираете изображения в одной сетке, убедитесь, что альфа-канал каждого изображения корректно обрабатывается. Если какого-либо изображения нет (то есть None), у вас используется пустой блок с прозрачностью, что может заносить прозрачность туда, где её не должно быть:

      empty_block = Image.new("RGBA", image_size, (255, 255, 255, 0))
      

      Здесь вы создаете пустой блок без непрозрачных пикселей. Убедитесь, что вам нужно именно это. Возможно, стоит попробовать более непрозрачный фон, чтобы избежать изменения цвета:

      empty_block = Image.new("RGBA", image_size, (255, 255, 255, 255))  # Белый непрозрачный фон
      
    3. Размер изображений: Убедитесь, что изменение размера и преобразование каждого изображения происходит корректно. Например, когда вы ресайзите изображение, важно не терять значений пикселей.

    4. Проверка яркости: Визуально убедитесь, что каждое изображение, которое вы ставите в сетку grid_image, действительно имеет правильную яркость, до объединения.

    5. Другое визуальное преобразование: Иногда проблема может заключаться в настройках конечной визуализации изображений (например, как обрабатываются прозрачные пиксели на этапе капельки изображения в сетке).

    Проверьте каждое из этих направлений и, возможно, примените вышеизложенные изменения для исправления визуальных аномалий. Если прозрачно заполненные области и неактуальны, лучше переключиться на режим RGB и работать в рамках полной непрозрачности.