Нужно вывести/скачать csv файл нейросети как это сделать? import tensorflow as tf from…
- User
Нужно вывести/скачать csv файл нейросети как это сделать? import tensorflow as tf
from tensorflow.keras import layers from tensorflow.keras import Model from tensorflow.keras.applications.inception_v3 import InceptionV3 from tensorflow.keras.optimizers import RMSprop import numpy as np import matplotlib.pyplot as plt import tensorflow_datasets as tfds from tensorflow.keras.utils import to_categorical from tensorflow.keras.layers import Flatten,Dense,Dropout# Load Minist data ds_train,ds_test = tfds.load('mnist',split=['train','test'],as_supervised=True)# explore data
for image,label in ds_train.take(1): print(f'shape of the images:{image.shape} and label number:{label}')
print(f'trian size:{len(ds_train)}') print(f'test size:{len(ds_test)}')# split train and validation set
Get the total number of examples in the training set
num_train =len(ds_train) validation_split = 0.2
num_validation_exmples = int(num_train*validation_split)
ds_train_nw = ds_train.take(num_train-num_validation_exmples) ds_val = ds_train.skip(num_train-num_validation_exmples)
print(f'new size of train set:{len(ds_train_nw)}') print(f'size of validation set:{len(ds_val)}')# viszulaize data
def plot_images(data,num=5):
figure = plt.figure(figsize=(10,4))
for i,(image,label) in enumerate(data.take(num)):
plt.subplot(1,num,i+1) plt.imshow(image.numpy().squeeze()) plt.title(f'label:{label.numpy()}') plt.axis('off')plt.show()
plot_images(ds_train_nw)# resize input images in order to train with 'InceptionV3'
def resizer(image,label): #resize image to 75,75 image = tf.image.resize(image,(75,75))
Duplicate one channel to 3 chanels
image = tf.image.grayscale_to_rgb(image)
normailze image data
image = tf.cast(image,dtype=tf.float32)/255.0
return image,label# resize train and test images
ds_train_pr = ds_train_nw.map(resizer) ds_test_pr = ds_test.map(resizer) ds_val_pr = ds_val.map(resizer)# check new shape of the image data
for image,label in ds_test_pr.take(1): print(f'new shape after resize test:{image.shape}')
split images into batches
batch_size = 128
ds_train_pr = ds_train_pr.shuffle(buffer_size=48000).batch(batch_size).cache().prefetch(tf.data.experimental.AUTOTUNE)
ds_test_pr = ds_test_pr.shuffle(buffer_size=10000).batch(batch_size).cache().prefetch(tf.data.experimental.AUTOTUNE)
ds_val_pr = ds_val_pr.shuffle(buffer_size=12000).batch(batch_size).cache().prefetch(tf.data.experimental.AUTOTUNE)# check new shape of procssed batches
for image,label in ds_train_pr.take(1): print(f"finale shape of train images:{image.shape}") for image,label in ds_test_pr.take(1): print(f"finale shape of test images:{image.shape}")# build the model
pre_trained_model = InceptionV3(input_shape=(75,75,3),include_top=False,weights='imagenet')
Frezze weight of the layers
for layer in pre_trained_model.layers: layer.trainable = False
Get 'mixed9' layer as the last layer
last_layer = pre_trained_model.get_layer('mixed9')
print the shape of last layer
print(f'last layer shape:')
last_output = last_layer.outputx = Flatten()(last_output) x = Dense(units=1024,activation='relu')(x) x = Dropout(0.2)(x) x = Dense(units=10,activation='softmax')(x)
model = Model(pre_trained_model.input,x)
#get the summary
model.summary() # callback
class CallBack(tf.keras.callbacks.Callback): def on_epoch_end(self, epoch, logs={}): if logs.get('val_accuracy')>0.98: print('stop traning') self.model.stop_training=Truecallback = CallBack() hist=model.fit(ds_train_pr,epochs=5,validation_data=ds_val_pr,callbacks=[callback])# plot history
def plot_gph(hist,string): plt.plot(hist.history[string]) plt.plot(hist.history['val_'+string]) plt.xlabel('epochs') plt.ylabel(string) plt.legend([string,'val_'+string]) plt.show()
plot_gph(hist,'accuracy') plot_gph(hist,'loss')model.compile(optimizer=RMSprop(learning_rate=0.001),loss='sparse_categorical_crossentropy',metrics=['accuracy'])
- Assistant
Чтобы сохранить результаты обучения нейросети в CSV файл, например, историю обучения (точность, потерю и другие метрики), можно воспользоваться библиотекой
pandas. Ниже приведены шаги для сохранения истории обучения и, при необходимости, предсказаний модели в CSV файлы.1. Сохранение истории обучения (accuracy, loss и т.д.)
После завершения обучения модели, объект
histсодержит историю обучения. Её можно преобразовать в DataFrame и сохранить в CSV файл следующим образом:import pandas as pd # Преобразуем историю обучения в DataFrame history_df = pd.DataFrame(hist.history) # Сохраним в CSV файл history_df.to_csv('training_history.csv', index=False) print("История обучения сохранена в файл training_history.csv")2. Сохранение предсказаний модели на тестовом наборе
Если вы хотите сохранить предсказания модели на тестовом наборе данных, выполните следующие шаги:
import numpy as np import pandas as pd # Получаем предсказания на тестовом наборе predictions = model.predict(ds_test_pr) predicted_labels = np.argmax(predictions, axis=1) # Получаем истинные метки true_labels = np.concatenate([y.numpy() for x, y in ds_test_pr.unbatch()]) # Создаем DataFrame с результатами results_df = pd.DataFrame({ 'True Label': true_labels, 'Predicted Label': predicted_labels }) # Сохраняем предсказания в CSV файл results_df.to_csv('predictions.csv', index=False) print("Предсказания сохранены в файл predictions.csv")3. Сохранение весов модели (опционально)
Если необходимо сохранить веса модели, это обычно делается в специальных форматах, таких как HDF5 или TensorFlow SavedModel. Однако, для хранения в CSV можно сохранить веса отдельных слоёв. Обратите внимание, что этот метод может быть не очень удобным для больших моделей.
import numpy as np # Получаем веса модели weights = model.get_weights() # Сохраняем веса каждого слоя в отдельный CSV файл for i, layer_weights in enumerate(weights): # Преобразуем веса в плоский массив для сохранения flat_weights = layer_weights.flatten() np.savetxt(f'layer_{i}_weights.csv', flat_weights, delimiter=',') print("Веса модели сохранены в файлы layer_0_weights.csv, layer_1_weights.csv и т.д.")Дополнительные рекомендации
-
Исправление ошибок в вашем коде:
В вашем коде есть опечатка при определении
last_output. Вот исправленная версия:last_output = last_layer.output x = Flatten()(last_output) x = Dense(units=1024, activation='relu')(x) x = Dropout(0.2)(x) x = Dense(units=10, activation='softmax')(x) model = Model(pre_trained_model.input, x) -
Компиляция модели перед обучением:
Обычно модель компилируют перед вызовом
fit. В вашем коде компиляция происходит после обучения. Лучше переместить эту строку передmodel.fit:model.compile(optimizer=RMSprop(learning_rate=0.001), loss='sparse_categorical_crossentropy', metrics=['accuracy']) -
Полный обновленный код с добавлением сохранения истории:
import tensorflow as tf from tensorflow.keras import layers, Model from tensorflow.keras.applications.inception_v3 import InceptionV3 from tensorflow.keras.optimizers import RMSprop import numpy as np import matplotlib.pyplot as plt import tensorflow_datasets as tfds from tensorflow.keras.layers import Flatten, Dense, Dropout import pandas as pd # Загрузка данных ds_train, ds_test = tfds.load('mnist', split=['train', 'test'], as_supervised=True) # Исследование данных for image, label in ds_train.take(1): print(f'Форма изображения: {image.shape}, метка: {label}') # Разделение на тренировочные и валидационные наборы num_train = tf.data.experimental.cardinality(ds_train).numpy() validation_split = 0.2 num_validation_examples = int(num_train * validation_split) ds_train_nw = ds_train.take(num_train - num_validation_examples) ds_val = ds_train.skip(num_train - num_validation_examples) print(f'Новый размер тренировочного набора: {tf.data.experimental.cardinality(ds_train_nw).numpy()}') print(f'Размер валидационного набора: {tf.data.experimental.cardinality(ds_val).numpy()}') # Визуализация данных def plot_images(data, num=5): plt.figure(figsize=(10, 4)) for i, (image, label) in enumerate(data.take(num)): plt.subplot(1, num, i + 1) plt.imshow(image.numpy().squeeze(), cmap='gray') plt.title(f'Метка: {label.numpy()}') plt.axis('off') plt.show() plot_images(ds_train_nw) # Предобработка изображений def resizer(image, label): image = tf.image.resize(image, (75, 75)) image = tf.image.grayscale_to_rgb(image) image = tf.cast(image, dtype=tf.float32) / 255.0 return image, label ds_train_pr = ds_train_nw.map(resizer) ds_test_pr = ds_test.map(resizer) ds_val_pr = ds_val.map(resizer) # Разбиение на батчи batch_size = 128 ds_train_pr = ds_train_pr.shuffle(buffer_size=48000).batch(batch_size).cache().prefetch(tf.data.experimental.AUTOTUNE) ds_test_pr = ds_test_pr.shuffle(buffer_size=10000).batch(batch_size).cache().prefetch(tf.data.experimental.AUTOTUNE) ds_val_pr = ds_val_pr.shuffle(buffer_size=12000).batch(batch_size).cache().prefetch(tf.data.experimental.AUTOTUNE) # Проверка формы данных for image, label in ds_train_pr.take(1): print(f'Финальная форма тренировочных изображений: {image.shape}') for image, label in ds_test_pr.take(1): print(f'Финальная форма тестовых изображений: {image.shape}') # Построение модели pre_trained_model = InceptionV3(input_shape=(75, 75, 3), include_top=False, weights='imagenet') # Замораживаем веса слоёв предобученной модели for layer in pre_trained_model.layers: layer.trainable = False # Добавляем собственные слои сверху last_layer = pre_trained_model.get_layer('mixed9') last_output = last_layer.output x = Flatten()(last_output) x = Dense(units=1024, activation='relu')(x) x = Dropout(0.2)(x) x = Dense(units=10, activation='softmax')(x) model = Model(pre_trained_model.input, x) # Компиляция модели model.compile(optimizer=RMSprop(learning_rate=0.001), loss='sparse_categorical_crossentropy', metrics=['accuracy']) # Вывод структуры модели model.summary() # Определение колбэка для остановки обучения при достижении 98% точности class CallBack(tf.keras.callbacks.Callback): def on_epoch_end(self, epoch, logs=None): if logs.get('val_accuracy') > 0.98: print('Достижение точности 98%, остановка обучения.') self.model.stop_training = True callback = CallBack() # Обучение модели hist = model.fit(ds_train_pr, epochs=5, validation_data=ds_val_pr, callbacks=[callback]) # Функция для построения графиков def plot_graph(hist, metric): plt.plot(hist.history[metric], label=metric) plt.plot(hist.history[f'val_{metric}'], label=f'val_{metric}') plt.xlabel('Эпоха') plt.ylabel(metric) plt.legend() plt.show() plot_graph(hist, 'accuracy') plot_graph(hist, 'loss') # Сохранение истории обучения в CSV history_df = pd.DataFrame(hist.history) history_df.to_csv('training_history.csv', index=False) print("История обучения сохранена в файл training_history.csv") # (Опционально) Сохранение предсказаний на тестовом наборе predictions = model.predict(ds_test_pr) predicted_labels = np.argmax(predictions, axis=1) true_labels = np.concatenate([y.numpy() for x, y in ds_test_pr.unbatch()]) results_df = pd.DataFrame({ 'True Label': true_labels, 'Predicted Label': predicted_labels }) results_df.to_csv('predictions.csv', index=False) print("Предсказания сохранены в файл predictions.csv")
4. Загрузка CSV файлов
После выполнения кода CSV файлы будут сохранены в текущей рабочей директории вашего проекта. Вы можете открыть их с помощью любого табличного редактора (например, Microsoft Excel, Google Sheets) или использовать для дальнейшего анализа данных.
Если вы работаете в среде, где необходимо скачать файлы локально (например, Google Colab), вы можете воспользоваться следующими командами:
from google.colab import files # Скачать историю обучения files.download('training_history.csv') # Скачать предсказания files.download('predictions.csv')Заключение
Таким образом, вы можете легко экспортировать различные данные из вашей нейросети в формате CSV для последующего анализа или хранения. Убедитесь, что у вас установлены необходимые библиотеки (
pandas,numpyи т.д.) и что вы правильно указываете пути к файлам при сохранении. -
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.