Skip to content
TheChatArchiveThe Chat Archive
gpt-4o-2024-05-13· OpenAIAi2 WildChat-4.8M (AI2)

TESTSIZE = 0.2 SEED = 42 ds = loaddataset("json",…

  1. User

    TEST_SIZE = 0.2 SEED = 42

    ds = load_dataset("json", data_files="../data/sa_data/processed_sa_data_v2_ner_without_drl.json", split="train") ds = ds.train_test_split(test_size=TEST_SIZE, seed=SEED)

    Я сейчас делю на трейн и тест вот так, а как мне взять фиксированно первые 3 тысячи строк в тест

  2. Assistant

    В библиотеке datasets от Hugging Face вам нужно будет сделать несколько шагов, чтобы сначала разделить набор данных на трейн и тест, а затем выбрать фиксированные первые 3000 строк в тестовом наборе данных.

    Вот пример того, как это можно сделать:

    from datasets import load_dataset
    
    TEST_SIZE = 3000
    SEED = 42
    
    # Загрузка набора данных
    ds = load_dataset("json", data_files="../data/sa_data/processed_sa_data_v2_ner_without_drl.json", split="train")
    
    # Разделение набора данных; сначала выделим первые 3000 строк для теста
    test_ds = ds.select(range(TEST_SIZE))
    
    # Остальные данные (без первых 3000 строк) будут использоваться для обучения
    train_ds = ds.select(range(TEST_SIZE, len(ds)))
    
    # Проверьте размеры полученных поднаборах данных
    print(f"Train dataset: {len(train_ds)} samples")
    print(f"Test dataset: {len(test_ds)} samples")
    

    В этом коде:

    1. Мы загружаем набор данных.
    2. Выделяем первые 3000 строк в новый датасет для теста.
    3. Остальные строки используем для тренировочного датасета.
    4. Проверяем размеры полученных поднаборов данных для контроля.

    Такой подход позволяет вам фиксировать первые 3000 строк для тестирования и использовать оставшиеся данные для тренировки.

  3. User

    А как оставить чтобы можно было обращаться ds['train']

  4. Assistant

    Если вы хотите оставить возможность обращаться к наборам данных через ds['train'] и ds['test'], вы можете преобразовать ваш текущий код, чтобы он создал словарь с двумя ключами: train и test.

    Воспользуемся встроенной функцией DatasetDict из библиотеки datasets, чтобы создать такую структуру. Вот пример:

    from datasets import load_dataset, DatasetDict
    
    TEST_SIZE = 3000
    SEED = 42
    
    # Загрузка набора данных
    ds = load_dataset("json", data_files="../data/sa_data/processed_sa_data_v2_ner_without_drl.json", split="train")
    
    # Разделение набора данных; сначала выделим первые 3000 строк для теста
    test_ds = ds.select(range(TEST_SIZE))
    
    # Остальные данные (без первых 3000 строк) будут использоваться для обучения
    train_ds = ds.select(range(TEST_SIZE, len(ds)))
    
    # Создаем объект DatasetDict
    ds_dict = DatasetDict({
        'train': train_ds,
        'test': test_ds
    })
    
    # Теперь можете обращаться к поднаборам данных как ds_dict['train'] и ds_dict['test']
    print(f"Train dataset: {len(ds_dict['train'])} samples")
    print(f"Test dataset: {len(ds_dict['test'])} samples")
    

    В этом коде:

    1. Мы загружаем набор данных.
    2. Выделяем первые 3000 строк для тестового набора.
    3. Остальные строки используем для тренировочного набора.
    4. Создаем объект DatasetDict, где ключи train и test указывают на соответствующие поднаборы данных.
    5. Теперь вы можете обращаться к наборам данных через ds_dict['train'] и ds_dict['test'].
  5. User

    from datasets import load_dataset, DatasetDict

    test_ds = ds.select(range(TEST_SIZE)) train_ds = ds.select(range(TEST_SIZE, len(ds)))

    ds = DatasetDict({ 'train': train_ds, 'test': test_ds })

  6. Assistant

    Ваша структура кода практически правильная, но вы забыли загрузить исходный набор данных в переменную ds. Позвольте мне предоставить полный код с объяснением:

    from datasets import load_dataset, DatasetDict
    
    TEST_SIZE = 3000
    SEED = 42
    
    # Загрузка набора данных
    ds = load_dataset("json", data_files="../data/sa_data/processed_sa_data_v2_ner_without_drl.json", split="train")
    
    # Разделение набора данных; сначала выделим первые 3000 строк для теста
    test_ds = ds.select(range(TEST_SIZE))
    
    # Остальные данные (без первых 3000 строк) будут использоваться для обучения
    train_ds = ds.select(range(TEST_SIZE, len(ds)))
    
    # Создаем объект DatasetDict
    ds = DatasetDict({
        'train': train_ds,
        'test': test_ds
    })
    
    # Теперь можете обращаться к поднаборам данных как ds['train'] и ds['test']
    print(f"Train dataset: {len(ds['train'])} samples")
    print(f"Test dataset: {len(ds['test']})} samples")
    

    Этот код загружает исходный набор данных, разделяет его на тренировочную и тестовую части (где тестовая часть состоит из первых 3000 строк), затем создает объект DatasetDict, позволяющий ссылаться на тренировочную и тестовую части через ds['train'] и ds['test'] соответственно.

    Такой подход обеспечит, что вы сможете использовать ds['train'] и ds['test'] для дальнейшей обработки и обучения модели.

  7. User

    { "name": "AttributeError", "message": "'DatasetDict' object has no attribute 'select'", "stack": "--------------------------------------------------------------------------- AttributeError Traceback (most recent call last) Cell In[7], line 3 1 from datasets import load_dataset, DatasetDict ----> 3 test_ds = ds.select(range(TEST_SIZE)) 4 train_ds = ds.select(range(TEST_SIZE, len(ds))) 6 ds = DatasetDict({ 7 'train': train_ds, 8 'test': test_ds 9 })

    AttributeError: 'DatasetDict' object has no attribute 'select'" }

  8. Assistant

    Похоже, что ошибка возникла из-за того, что вы пытались использовать метод select на объекте DatasetDict, в то время как его следует использовать на объекте Dataset. Исправьте последовательность шагов, чтобы сначала выполните разделение набора данных, а потом создавайте словарь DatasetDict.

    Вот исправленный код:

    from datasets import load_dataset, DatasetDict
    
    TEST_SIZE = 3000
    
    # Загрузка набора данных
    ds = load_dataset("json", data_files="../data/sa_data/processed_sa_data_v2_ner_without_drl.json", split="train")
    
    # Разделение набора данных; сначала выделим первые 3000 строк для теста
    test_ds = ds.select(range(TEST_SIZE))
    
    # Остальные данные (без первых 3000 строк) будут использоваться для обучения
    train_ds = ds.select(range(TEST_SIZE, len(ds)))
    
    # Создаем объект DatasetDict
    dataset_dict = DatasetDict({
        'train': train_ds,
        'test': test_ds
    })
    
    # Теперь можете обращаться к поднаборам данных как dataset_dict['train'] и dataset_dict['test']
    print(f"Train dataset: {len(dataset_dict['train'])} samples")
    print(f"Test dataset: {len(dataset_dict['test'])} samples")
    

    Это должно устранить ошибку, так как методы select применяются непосредственно к объекту Dataset, прежде чем создался объект DatasetDict. В результате вы сможете обращаться к тренировочным и тестовым поднаботам данных через dataset_dict['train'] и dataset_dict['test'].