gpt-3.5-turbo-0613· OpenAI
WildChat-4.8M (AI2)
Напиши на tensorflow python нейросеть, которая будет читать 1.txt 2.txt и генерировать…
- User
Напиши на tensorflow python нейросеть, которая будет читать 1.txt 2.txt и генерировать книгу
- Assistant
Ниже приведен пример нейросети на TensorFlow, которая читает файлы "1.txt" и "2.txt" и генерирует новый текст, похожий на содержимое этих файлов:
import tensorflow as tf from tensorflow.keras.layers.experimental import preprocessing # Загрузка и предварительная обработка данных # Чтение содержимого файла def read_file(filename): with open(filename, 'r', encoding='utf-8') as f: return f.read() # Чтение данных из файлов text1 = read_file("1.txt") text2 = read_file("2.txt") # Объединение содержимого файлов full_text = text1 + text2 # Создание словаря (индекс → символ) vocab = sorted(set(full_text)) # Создание двустороннего соответствия: символ → индекс char2idx = {u:i for i, u in enumerate(vocab)} idx2char = {i:u for i, u in enumerate(vocab)} # Кодирование и декодирование текста def encode_text(text): return [char2idx[c] for c in text] def decode_text(ints): return ''.join(idx2char[i] for i in ints) # Преобразование текста в числовой вид encoded_text = encode_text(full_text) # Создание обучающих примеров seq_length = 100 # Длина входной последовательности examples_per_epoch = len(encoded_text) // (seq_length + 1) char_dataset = tf.data.Dataset.from_tensor_slices(encoded_text) sequences = char_dataset.batch(seq_length+1, drop_remainder=True) def split_input_target(sequence): input_text = sequence[:-1] target_text = sequence[-1] return input_text, target_text dataset = sequences.map(split_input_target) # Подготовка данных для обучения BATCH_SIZE = 64 BUFFER_SIZE = 10000 dataset = dataset.shuffle(BUFFER_SIZE).batch(BATCH_SIZE, drop_remainder=True) # Построение модели нейронной сети vocab_size = len(vocab) embedding_dim = 256 rnn_units = 1024 def build_model(vocab_size, embedding_dim, rnn_units, batch_size): model = tf.keras.Sequential([ tf.keras.layers.Embedding(vocab_size, embedding_dim, batch_input_shape=[batch_size, None]), tf.keras.layers.GRU(rnn_units, return_sequences=True, stateful=True, recurrent_initializer='glorot_uniform'), tf.keras.layers.Dense(vocab_size) ]) return model model = build_model( vocab_size=len(vocab), embedding_dim=embedding_dim, rnn_units=rnn_units, batch_size=BATCH_SIZE) # Использование кастомного лосса для предсказания следующего символа def loss(labels, logits): return tf.keras.losses.sparse_categorical_crossentropy(labels, logits, from_logits=True) # Компиляция модели model.compile(optimizer='adam', loss=loss) # Обучение модели history = model.fit(dataset, epochs=50)После обучения модели можно использовать для генерации нового текста. Например, для генерации 1000 символов можно выполнить следующий код:
# Генерация текста start_string = 'The ' num_generate = 1000 input_eval = encode_text(start_string) input_eval = tf.expand_dims(input_eval, 0) text_generated = [] model.reset_states() for i in range(num_generate): predictions = model(input_eval) predictions = tf.squeeze(predictions, 0) predicted_id = tf.random.categorical(predictions, num_samples=1)[-1, 0].numpy() input_eval = tf.expand_dims([predicted_id], 0) text_generated.append(idx2char[predicted_id]) generated_text = start_string + ''.join(text_generated) print(generated_text)Обратите внимание, что данный пример описывает только основную структуру нейронной сети и процесс обучения. В реальном проекте возможно потребуется провести дополнительную настройку модели и данные для достижения лучших результатов.