Skip to content
TheChatArchiveThe Chat Archive
gpt-3.5-turbo-0613· OpenAIAi2 WildChat-4.8M (AI2)

Напиши на tensorflow python нейросеть, которая будет читать 1.txt 2.txt и генерировать…

  1. User

    Напиши на tensorflow python нейросеть, которая будет читать 1.txt 2.txt и генерировать книгу

  2. Assistant

    Ниже приведен пример нейросети на TensorFlow, которая читает файлы "1.txt" и "2.txt" и генерирует новый текст, похожий на содержимое этих файлов:

    import tensorflow as tf
    from tensorflow.keras.layers.experimental import preprocessing
    
    # Загрузка и предварительная обработка данных
    
    # Чтение содержимого файла
    def read_file(filename):
        with open(filename, 'r', encoding='utf-8') as f:
            return f.read()
    
    # Чтение данных из файлов
    text1 = read_file("1.txt")
    text2 = read_file("2.txt")
    
    # Объединение содержимого файлов
    full_text = text1 + text2
    
    # Создание словаря (индекс → символ)
    vocab = sorted(set(full_text))
    
    # Создание двустороннего соответствия: символ → индекс
    char2idx = {u:i for i, u in enumerate(vocab)}
    idx2char = {i:u for i, u in enumerate(vocab)}
    
    # Кодирование и декодирование текста
    def encode_text(text):
        return [char2idx[c] for c in text]
    
    def decode_text(ints):
        return ''.join(idx2char[i] for i in ints)
    
    # Преобразование текста в числовой вид
    encoded_text = encode_text(full_text)
    
    # Создание обучающих примеров
    seq_length = 100  # Длина входной последовательности
    examples_per_epoch = len(encoded_text) // (seq_length + 1)
    
    char_dataset = tf.data.Dataset.from_tensor_slices(encoded_text)
    
    sequences = char_dataset.batch(seq_length+1, drop_remainder=True)
    
    def split_input_target(sequence):
        input_text = sequence[:-1]
        target_text = sequence[-1]
        return input_text, target_text
    
    dataset = sequences.map(split_input_target)
    
    # Подготовка данных для обучения
    BATCH_SIZE = 64
    BUFFER_SIZE = 10000
    
    dataset = dataset.shuffle(BUFFER_SIZE).batch(BATCH_SIZE, drop_remainder=True)
    
    # Построение модели нейронной сети
    vocab_size = len(vocab)
    embedding_dim = 256
    rnn_units = 1024
    
    def build_model(vocab_size, embedding_dim, rnn_units, batch_size):
        model = tf.keras.Sequential([
            tf.keras.layers.Embedding(vocab_size, embedding_dim,
                                      batch_input_shape=[batch_size, None]),
            tf.keras.layers.GRU(rnn_units,
                                return_sequences=True,
                                stateful=True,
                                recurrent_initializer='glorot_uniform'),
            tf.keras.layers.Dense(vocab_size)
        ])
        return model
    
    model = build_model(
        vocab_size=len(vocab),
        embedding_dim=embedding_dim,
        rnn_units=rnn_units,
        batch_size=BATCH_SIZE)
    
    # Использование кастомного лосса для предсказания следующего символа
    def loss(labels, logits):
        return tf.keras.losses.sparse_categorical_crossentropy(labels, logits, from_logits=True)
    
    # Компиляция модели
    model.compile(optimizer='adam', loss=loss)
    
    # Обучение модели
    history = model.fit(dataset, epochs=50)
    

    После обучения модели можно использовать для генерации нового текста. Например, для генерации 1000 символов можно выполнить следующий код:

    # Генерация текста
    start_string = 'The '
    
    num_generate = 1000
    
    input_eval = encode_text(start_string)
    input_eval = tf.expand_dims(input_eval, 0)
    
    text_generated = []
    
    model.reset_states()
    for i in range(num_generate):
        predictions = model(input_eval)
        predictions = tf.squeeze(predictions, 0)
        
        predicted_id = tf.random.categorical(predictions, num_samples=1)[-1, 0].numpy()
        
        input_eval = tf.expand_dims([predicted_id], 0)
        
        text_generated.append(idx2char[predicted_id])
        
    generated_text = start_string + ''.join(text_generated)
    print(generated_text)
    

    Обратите внимание, что данный пример описывает только основную структуру нейронной сети и процесс обучения. В реальном проекте возможно потребуется провести дополнительную настройку модели и данные для достижения лучших результатов.