TESTSIZE = 0.2 SEED = 42 ds = loaddataset("json",…
- User
TEST_SIZE = 0.2 SEED = 42
ds = load_dataset("json", data_files="../data/sa_data/processed_sa_data_v2_ner_without_drl.json", split="train") ds = ds.train_test_split(test_size=TEST_SIZE, seed=SEED)
Я сейчас делю на трейн и тест вот так, а как мне взять фиксированно первые 3 тысячи строк в тест
- Assistant
В библиотеке
datasetsот Hugging Face вам нужно будет сделать несколько шагов, чтобы сначала разделить набор данных на трейн и тест, а затем выбрать фиксированные первые 3000 строк в тестовом наборе данных.Вот пример того, как это можно сделать:
from datasets import load_dataset TEST_SIZE = 3000 SEED = 42 # Загрузка набора данных ds = load_dataset("json", data_files="../data/sa_data/processed_sa_data_v2_ner_without_drl.json", split="train") # Разделение набора данных; сначала выделим первые 3000 строк для теста test_ds = ds.select(range(TEST_SIZE)) # Остальные данные (без первых 3000 строк) будут использоваться для обучения train_ds = ds.select(range(TEST_SIZE, len(ds))) # Проверьте размеры полученных поднаборах данных print(f"Train dataset: {len(train_ds)} samples") print(f"Test dataset: {len(test_ds)} samples")В этом коде:
- Мы загружаем набор данных.
- Выделяем первые 3000 строк в новый датасет для теста.
- Остальные строки используем для тренировочного датасета.
- Проверяем размеры полученных поднаборов данных для контроля.
Такой подход позволяет вам фиксировать первые 3000 строк для тестирования и использовать оставшиеся данные для тренировки.
- User
А как оставить чтобы можно было обращаться ds['train']
- Assistant
Если вы хотите оставить возможность обращаться к наборам данных через
ds['train']иds['test'], вы можете преобразовать ваш текущий код, чтобы он создал словарь с двумя ключами:trainиtest.Воспользуемся встроенной функцией
DatasetDictиз библиотекиdatasets, чтобы создать такую структуру. Вот пример:from datasets import load_dataset, DatasetDict TEST_SIZE = 3000 SEED = 42 # Загрузка набора данных ds = load_dataset("json", data_files="../data/sa_data/processed_sa_data_v2_ner_without_drl.json", split="train") # Разделение набора данных; сначала выделим первые 3000 строк для теста test_ds = ds.select(range(TEST_SIZE)) # Остальные данные (без первых 3000 строк) будут использоваться для обучения train_ds = ds.select(range(TEST_SIZE, len(ds))) # Создаем объект DatasetDict ds_dict = DatasetDict({ 'train': train_ds, 'test': test_ds }) # Теперь можете обращаться к поднаборам данных как ds_dict['train'] и ds_dict['test'] print(f"Train dataset: {len(ds_dict['train'])} samples") print(f"Test dataset: {len(ds_dict['test'])} samples")В этом коде:
- Мы загружаем набор данных.
- Выделяем первые 3000 строк для тестового набора.
- Остальные строки используем для тренировочного набора.
- Создаем объект
DatasetDict, где ключиtrainиtestуказывают на соответствующие поднаборы данных. - Теперь вы можете обращаться к наборам данных через
ds_dict['train']иds_dict['test'].
- User
from datasets import load_dataset, DatasetDict
test_ds = ds.select(range(TEST_SIZE)) train_ds = ds.select(range(TEST_SIZE, len(ds)))
ds = DatasetDict({ 'train': train_ds, 'test': test_ds })
- Assistant
Ваша структура кода практически правильная, но вы забыли загрузить исходный набор данных в переменную
ds. Позвольте мне предоставить полный код с объяснением:from datasets import load_dataset, DatasetDict TEST_SIZE = 3000 SEED = 42 # Загрузка набора данных ds = load_dataset("json", data_files="../data/sa_data/processed_sa_data_v2_ner_without_drl.json", split="train") # Разделение набора данных; сначала выделим первые 3000 строк для теста test_ds = ds.select(range(TEST_SIZE)) # Остальные данные (без первых 3000 строк) будут использоваться для обучения train_ds = ds.select(range(TEST_SIZE, len(ds))) # Создаем объект DatasetDict ds = DatasetDict({ 'train': train_ds, 'test': test_ds }) # Теперь можете обращаться к поднаборам данных как ds['train'] и ds['test'] print(f"Train dataset: {len(ds['train'])} samples") print(f"Test dataset: {len(ds['test']})} samples")Этот код загружает исходный набор данных, разделяет его на тренировочную и тестовую части (где тестовая часть состоит из первых 3000 строк), затем создает объект
DatasetDict, позволяющий ссылаться на тренировочную и тестовую части черезds['train']иds['test']соответственно.Такой подход обеспечит, что вы сможете использовать
ds['train']иds['test']для дальнейшей обработки и обучения модели. - User
{ "name": "AttributeError", "message": "'DatasetDict' object has no attribute 'select'", "stack": "--------------------------------------------------------------------------- AttributeError Traceback (most recent call last) Cell In[7], line 3 1 from datasets import load_dataset, DatasetDict ----> 3 test_ds = ds.select(range(TEST_SIZE)) 4 train_ds = ds.select(range(TEST_SIZE, len(ds))) 6 ds = DatasetDict({ 7 'train': train_ds, 8 'test': test_ds 9 })
AttributeError: 'DatasetDict' object has no attribute 'select'" }
- Assistant
Похоже, что ошибка возникла из-за того, что вы пытались использовать метод
selectна объектеDatasetDict, в то время как его следует использовать на объектеDataset. Исправьте последовательность шагов, чтобы сначала выполните разделение набора данных, а потом создавайте словарьDatasetDict.Вот исправленный код:
from datasets import load_dataset, DatasetDict TEST_SIZE = 3000 # Загрузка набора данных ds = load_dataset("json", data_files="../data/sa_data/processed_sa_data_v2_ner_without_drl.json", split="train") # Разделение набора данных; сначала выделим первые 3000 строк для теста test_ds = ds.select(range(TEST_SIZE)) # Остальные данные (без первых 3000 строк) будут использоваться для обучения train_ds = ds.select(range(TEST_SIZE, len(ds))) # Создаем объект DatasetDict dataset_dict = DatasetDict({ 'train': train_ds, 'test': test_ds }) # Теперь можете обращаться к поднаборам данных как dataset_dict['train'] и dataset_dict['test'] print(f"Train dataset: {len(dataset_dict['train'])} samples") print(f"Test dataset: {len(dataset_dict['test'])} samples")Это должно устранить ошибку, так как методы
selectприменяются непосредственно к объектуDataset, прежде чем создался объектDatasetDict. В результате вы сможете обращаться к тренировочным и тестовым поднаботам данных черезdataset_dict['train']иdataset_dict['test'].