Skip to content
The Chat Archive
qwen3-235b-a22b· Alibaba (Qwen) LMArena Human Preference 140K

Опиши работу данного кода для претрейна модели в режиме MLM: import bisect class…

  1. User

    Опиши работу данного кода для претрейна модели в режиме MLM: import bisect

    class PretrainDataset(Dataset): def init(self, parquet_path, columns, max_length, config): self.df = pd.read_parquet(parquet_path) self.columns = columns self.max_length = max_length self.config = config

        # Рассчитываем кумулятивные суммы чанков
        self.cumulative_chunks = [0]  # Кумулятивные суммы
        self.chunks_per_cell = []     # Количество чанков на ячейку
        
        # Предварительный расчет количества чанков
        total_chunks = 0
        for row_idx in range(len(self.df)):
            for col_idx in range(len(self.columns)):
                byte_data = self.df.iloc[row_idx][self.columns[col_idx]]
                data_len = self._get_data_length(byte_data)
                
                # Рассчитываем количество чанков
                chunk_size = self.max_length - 1
                num_chunks = (data_len + chunk_size - 1) // chunk_size
                self.chunks_per_cell.append(num_chunks)
                total_chunks += num_chunks
                self.cumulative_chunks.append(total_chunks)
    
    def _get_data_length(self, byte_data):
        """Определяет длину данных в зависимости от типа"""
        if isinstance(byte_data, bytes) or isinstance(byte_data, list):
            return len(byte_data)
        elif isinstance(byte_data, np.ndarray):
            return len(byte_data)
        else:
            raise ValueError(f"Unsupported type: {type(byte_data)}")
    
    def __len__(self):
        return self.cumulative_chunks[-1]  # Общее количество чанков
    
    def __getitem__(self, idx):
        # Находим ячейку по глобальному индексу
        cell_index = bisect.bisect_right(self.cumulative_chunks, idx) - 1
        row_idx = cell_index // len(self.columns)
        col_idx = cell_index % len(self.columns)
        
        # Локальный индекс чанка в ячейке
        chunk_index = idx - self.cumulative_chunks[cell_index]
        
        # Получаем и обрабатываем данные
        byte_data = self.df.iloc[row_idx][self.columns[col_idx]]
        sequence = self._convert_to_list(byte_data)
        
        # Вычисляем границы чанка
        chunk_size = self.max_length - 1
        start = chunk_index * chunk_size
        end = start + chunk_size
        chunk_data = sequence[start:end]
        
        # Формируем финальную последовательность
        result = [self.config.cls_token_id] + chunk_data
        if len(result) < self.max_length:
            result += [self.config.pad_token_id] * (self.max_length - len(result))
        
        return torch.tensor(result, dtype=torch.long)
    
    def _convert_to_list(self, byte_data):
        """Конвертирует данные в список"""
        if isinstance(byte_data, bytes):
            return list(byte_data)
        elif isinstance(byte_data, np.ndarray):
            return byte_data.tolist()
        elif isinstance(byte_data, list):
            return byte_data
        else:
            raise ValueError(f"Unsupported type: {type(byte_data)}")
    
  2. Assistant

    Этот код реализует кастомный датасет для подготовки данных к претрейну модели в режиме MLM (Masked Language Modeling), но без непосредственного применения маскирования токенов. Основные аспекты работы:

    1. Структура данных

    • Вход: Данные загружаются из Parquet-файла (например, токенизированные тексты или последовательности).
    • Хранение: Каждая ячейка таблицы содержит последовательность (bytes, list, numpy.ndarray), которая будет разбиваться на чанки.

    2. Разбиение на чанки

    • Цель: Привести данные к фиксированной длине max_length (например, 512).
    • Механизм:
      • Каждая ячейка делится на чанки длиной max_length - 1 (минус 1 для CLS-токена).
      • Общее количество чанков рассчитывается для всех ячеек и хранится в cumulative_chunks для быстрого поиска.

    3. Получение элемента (__getitem__)

    1. Поиск ячейки:
      • Индекс idx преобразуется в номер ячейки через бинарный поиск в cumulative_chunks.
      • Номер строки/столбца определяется через деление на количество колонок.
    2. Извлечение чанка:
      • Данные из ячейки конвертируются в список (например, байты → числа).
      • Выбирается подпоследовательность длиной chunk_size = max_length - 1.
    3. Добавление специальных токенов:
      • В начало добавляется CLS-токен.
      • Если чанк короче max_length - 1, дополняется PAD-токенами до max_length.

    4. Особенности

    • Нет MLM-маскирования: Этот код лишь готовит входные последовательности. Маскирование токенов (как в BERT) должно происходить на следующем этапе (например, в DataLoader или в функции потерь).
    • Поддержка разных типов данных: Обрабатывает bytes, list и numpy.ndarray через _convert_to_list.

    5. Пример использования

    Если данные в ячейке — токенизированный текст [10, 20, 30, 40, 50], а max_length=3, то:

    • chunk_size = 2, чанков: 3 (разделение на [10,20], [30,40], [50]).
    • Каждый чанк преобразуется в [CLS, 10,20], [CLS,30,40], [CLS,50,PAD].

    6. Назначение

    Датасет создает фиксированные по длине последовательности для модели, которые затем используются в MLM-обучении. Маскирование реализуется отдельно, например:

    # Пример маскирования в отдельной функции
    def mask_tokens(inputs, tokenizer, mlm_probability=0.15):
        labels = inputs.clone()
        probability_matrix = torch.rand(inputs.shape)
        special_tokens_mask = torch.tensor([[1 if token in [tokenizer.cls_token_id, tokenizer.pad_token_id] else 0 for token in example] for example in inputs])
        probability_matrix.masked_fill_(special_tokens_mask.bool(), value=0.0)
        masked_indices = probability_matrix < mlm_probability
        labels[~masked_indices] = -100  # Игнорируются в loss
        inputs[masked_indices] = tokenizer.mask_token_id
        return inputs, labels
    

    7. Возможные улучшения

    • Добавить динамическое маскирование прямо в __getitem__.
    • Поддержка перекрывающихся чанков (для лучшего контекста).
    • Параллелизация чтения данных (для больших Parquet-файлов).

    Этот код эффективно подготавливает данные для MLM, но требует дополнительного слоя маскирования при обучении.

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.