Skip to content
The Chat Archive
o1-preview-2024-09-12· OpenAI WildChat-4.8M (AI2)

сделай код на генерацию изображения по датасету он пробегает по изображения в папке и…

  1. User

    сделай код на генерацию изображения по датасету он пробегает по изображения в папке и обучается я хочу что бы я мог сам обучить а не дообученой была модель на пайтоне

  2. Assistant

    Создание генеративной модели для генерации изображений по вашему датасету

    Вы хотите создать код на Python, который будет проходить по изображениям в папке, обучать модель для генерации новых изображений, и при этом обучать модель с нуля, а не использовать предобученную.

    Ниже предоставлен пример кода на Python, который реализует простую генеративно-состязательную сеть (GAN) с использованием библиотеки TensorFlow и Keras. Она будет обучаться на ваших данных изображений из указанной вами папки.


    Шаг 1: Установка необходимых библиотек

    Убедитесь, что у вас установлены необходимые библиотеки:

    pip install tensorflow
    pip install matplotlib
    

    Шаг 2: Импорт необходимых модулей

    import os
    import numpy as np
    import tensorflow as tf
    from tensorflow.keras.models import Sequential
    from tensorflow.keras.layers import Dense, Reshape, Flatten, Dropout, LeakyReLU
    from tensorflow.keras.layers import Conv2D, Conv2DTranspose
    from tensorflow.keras.optimizers import Adam
    from tensorflow.keras.preprocessing.image import load_img, img_to_array
    import matplotlib.pyplot as plt
    

    Шаг 3: Загрузка и подготовка ваших данных

    Предположим, что все ваши изображения находятся в папке dataset/ и имеют одинаковый размер. Для простоты будем использовать размер изображения 64x64 пикселей.

    def load_images(image_dir, image_size=(64, 64)):
        images = []
        for filename in os.listdir(image_dir):
            path = os.path.join(image_dir, filename)
            try:
                image = load_img(path, target_size=image_size)
                image = img_to_array(image)
                images.append(image)
            except:
                print(f"Проблема с файлом {path}, пропускаем.")
        images = np.array(images)
        images = (images - 127.5) / 127.5  # Нормализация изображений в диапазон [-1, 1]
        return images
    
    # Загрузить данные
    data_path = 'dataset/'
    X_train = load_images(data_path)
    

    Шаг 4: Создание модели генератора

    def build_generator():
        model = Sequential()
        model.add(Dense(8*8*256, input_dim=100))
        model.add(LeakyReLU(alpha=0.2))
        model.add(Reshape((8, 8, 256)))
    
        model.add(Conv2DTranspose(128, kernel_size=4, strides=2, padding='same'))
        model.add(LeakyReLU(alpha=0.2))
    
        model.add(Conv2DTranspose(64, kernel_size=4, strides=2, padding='same'))
        model.add(LeakyReLU(alpha=0.2))
    
        model.add(Conv2DTranspose(3, kernel_size=4, strides=2, padding='same', activation='tanh'))
    
        return model
    

    Шаг 5: Создание модели дискриминатора

    def build_discriminator(image_shape):
        model = Sequential()
        model.add(Conv2D(64, kernel_size=4, strides=2, padding='same', input_shape=image_shape))
        model.add(LeakyReLU(alpha=0.2))
        model.add(Dropout(0.3))
    
        model.add(Conv2D(128, kernel_size=4, strides=2, padding='same'))
        model.add(LeakyReLU(alpha=0.2))
        model.add(Dropout(0.3))
    
        model.add(Conv2D(256, kernel_size=4, strides=2, padding='same'))
        model.add(LeakyReLU(alpha=0.2))
        model.add(Dropout(0.3))
    
        model.add(Flatten())
        model.add(Dense(1, activation='sigmoid'))
    
        return model
    

    Шаг 6: Компиляция моделей

    # Размерность изображений
    image_shape = (64, 64, 3)
    
    # Создание генератора и дискриминатора
    generator = build_generator()
    discriminator = build_discriminator(image_shape)
    
    # Компиляция дискриминатора
    discriminator.compile(loss='binary_crossentropy', optimizer=Adam(0.0002, 0.5), metrics=['accuracy'])
    
    # Создание стека генератора и дискриминатора
    discriminator.trainable = False
    z = tf.keras.Input(shape=(100,))
    img = generator(z)
    validity = discriminator(img)
    combined = tf.keras.Model(z, validity)
    combined.compile(loss='binary_crossentropy', optimizer=Adam(0.0002, 0.5))
    

    Шаг 7: Обучение модели

    def train(epochs, batch_size=128, save_interval=50):
        # Метки для истинных и сгенерированных изображений
        valid = np.ones((batch_size, 1))
        fake = np.zeros((batch_size, 1))
    
        for epoch in range(epochs):
    
            # ---------------------
            #  Обучение дискриминатора
            # ---------------------
    
            # Выбор случайного набора реальных изображений
            idx = np.random.randint(0, X_train.shape[0], batch_size)
            imgs = X_train[idx]
    
            # Генерация шума и создание сгенерированных изображений
            noise = np.random.normal(0, 1, (batch_size, 100))
            gen_imgs = generator.predict(noise)
    
            # Обучение дискриминатора
            d_loss_real = discriminator.train_on_batch(imgs, valid)
            d_loss_fake = discriminator.train_on_batch(gen_imgs, fake)
            d_loss = 0.5 * np.add(d_loss_real, d_loss_fake)
    
            # ---------------------
            #  Обучение генератора
            # ---------------------
    
            noise = np.random.normal(0, 1, (batch_size, 100))
    
            # Обучение генератора на основе способности дискриминатора распознавать фейковые изображения как реальные
            g_loss = combined.train_on_batch(noise, valid)
    
            # Печать прогресса
            print ("%d [D loss: %f, acc.: %.2f%%] [G loss: %f]" % (epoch, d_loss[0], 100*d_loss[1], g_loss))
    
            # Сохранение сгенерированных изображений через заданный интервал
            if epoch % save_interval == 0:
                save_imgs(epoch)
    
    def save_imgs(epoch):
        noise = np.random.normal(0, 1, (25, 100))
        gen_imgs = generator.predict(noise)
    
        # Изменить масштаб изображений в диапазон [0, 1]
        gen_imgs = 0.5 * gen_imgs + 0.5
    
        fig, axs = plt.subplots(5, 5, figsize=(10,10))
        cnt = 0
        for i in range(5):
            for j in range(5):
                axs[i,j].imshow(gen_imgs[cnt])
                axs[i,j].axis('off')
                cnt += 1
        fig.savefig("images/gen_%d.png" % epoch)
        plt.close()
    

    Шаг 8: Запуск обучения

    os.makedirs('images', exist_ok=True)
    train(epochs=10000, batch_size=32, save_interval=200)
    

    Примечания:

    • Размер изображений: Если ваши изображения имеют другой размер, обновите image_size в функции load_images и соответствующим образом измените размеры в модели (например, начальное измерение в генераторе и input_shape в дискриминаторе).

    • Количество каналов: Если ваши изображения черно-белые, измените количество каналов в моделях с 3 на 1 и соответствующим образом измените последние слои.

    • Аппаратное ускорение: Обучение GAN может быть ресурсоемким. Рекомендуется использовать GPU для ускорения процесса обучения.

    • Качество генерации: Данный пример является базовой реализацией GAN. Для улучшения качества сгенерированных изображений можно использовать более продвинутые архитектуры, такие как DCGAN, WGAN, или добавить дополнительные слои и техники регуляризации.

    • Данные: Убедитесь, что ваш датасет достаточно большой и разнообразный для эффективного обучения модели.


    Заключение

    Этот код позволит вам самостоятельно обучить модель для генерации изображений на основе вашего собственного датасета, без использования предобученных моделей. Вы можете настроить архитектуру модели и параметры обучения в соответствии с вашими потребностями.

    Надеюсь, это поможет вам в вашей работе! Если у вас возникнут вопросы, не стесняйтесь задавать их.