Опиши работу данного кода для претрейна модели в режиме MLM: import bisect class…
- User
Опиши работу данного кода для претрейна модели в режиме MLM: import bisect
class PretrainDataset(Dataset): def init(self, parquet_path, columns, max_length, config): self.df = pd.read_parquet(parquet_path) self.columns = columns self.max_length = max_length self.config = config
# Рассчитываем кумулятивные суммы чанков self.cumulative_chunks = [0] # Кумулятивные суммы self.chunks_per_cell = [] # Количество чанков на ячейку # Предварительный расчет количества чанков total_chunks = 0 for row_idx in range(len(self.df)): for col_idx in range(len(self.columns)): byte_data = self.df.iloc[row_idx][self.columns[col_idx]] data_len = self._get_data_length(byte_data) # Рассчитываем количество чанков chunk_size = self.max_length - 1 num_chunks = (data_len + chunk_size - 1) // chunk_size self.chunks_per_cell.append(num_chunks) total_chunks += num_chunks self.cumulative_chunks.append(total_chunks) def _get_data_length(self, byte_data): """Определяет длину данных в зависимости от типа""" if isinstance(byte_data, bytes) or isinstance(byte_data, list): return len(byte_data) elif isinstance(byte_data, np.ndarray): return len(byte_data) else: raise ValueError(f"Unsupported type: {type(byte_data)}") def __len__(self): return self.cumulative_chunks[-1] # Общее количество чанков def __getitem__(self, idx): # Находим ячейку по глобальному индексу cell_index = bisect.bisect_right(self.cumulative_chunks, idx) - 1 row_idx = cell_index // len(self.columns) col_idx = cell_index % len(self.columns) # Локальный индекс чанка в ячейке chunk_index = idx - self.cumulative_chunks[cell_index] # Получаем и обрабатываем данные byte_data = self.df.iloc[row_idx][self.columns[col_idx]] sequence = self._convert_to_list(byte_data) # Вычисляем границы чанка chunk_size = self.max_length - 1 start = chunk_index * chunk_size end = start + chunk_size chunk_data = sequence[start:end] # Формируем финальную последовательность result = [self.config.cls_token_id] + chunk_data if len(result) < self.max_length: result += [self.config.pad_token_id] * (self.max_length - len(result)) return torch.tensor(result, dtype=torch.long) def _convert_to_list(self, byte_data): """Конвертирует данные в список""" if isinstance(byte_data, bytes): return list(byte_data) elif isinstance(byte_data, np.ndarray): return byte_data.tolist() elif isinstance(byte_data, list): return byte_data else: raise ValueError(f"Unsupported type: {type(byte_data)}") - Assistant
Этот код реализует кастомный датасет для подготовки данных к претрейну модели в режиме MLM (Masked Language Modeling), но без непосредственного применения маскирования токенов. Основные аспекты работы:
1. Структура данных
- Вход: Данные загружаются из Parquet-файла (например, токенизированные тексты или последовательности).
- Хранение: Каждая ячейка таблицы содержит последовательность (bytes, list, numpy.ndarray), которая будет разбиваться на чанки.
2. Разбиение на чанки
- Цель: Привести данные к фиксированной длине
max_length(например, 512). - Механизм:
- Каждая ячейка делится на чанки длиной
max_length - 1(минус 1 дляCLS-токена). - Общее количество чанков рассчитывается для всех ячеек и хранится в
cumulative_chunksдля быстрого поиска.
- Каждая ячейка делится на чанки длиной
3. Получение элемента (
__getitem__)- Поиск ячейки:
- Индекс
idxпреобразуется в номер ячейки через бинарный поиск вcumulative_chunks. - Номер строки/столбца определяется через деление на количество колонок.
- Индекс
- Извлечение чанка:
- Данные из ячейки конвертируются в список (например, байты → числа).
- Выбирается подпоследовательность длиной
chunk_size = max_length - 1.
- Добавление специальных токенов:
- В начало добавляется
CLS-токен. - Если чанк короче
max_length - 1, дополняетсяPAD-токенами доmax_length.
- В начало добавляется
4. Особенности
- Нет MLM-маскирования: Этот код лишь готовит входные последовательности. Маскирование токенов (как в BERT) должно происходить на следующем этапе (например, в
DataLoaderили в функции потерь). - Поддержка разных типов данных: Обрабатывает
bytes,listиnumpy.ndarrayчерез_convert_to_list.
5. Пример использования
Если данные в ячейке — токенизированный текст
[10, 20, 30, 40, 50], аmax_length=3, то:chunk_size = 2, чанков: 3 (разделение на [10,20], [30,40], [50]).- Каждый чанк преобразуется в
[CLS, 10,20],[CLS,30,40],[CLS,50,PAD].
6. Назначение
Датасет создает фиксированные по длине последовательности для модели, которые затем используются в MLM-обучении. Маскирование реализуется отдельно, например:
# Пример маскирования в отдельной функции def mask_tokens(inputs, tokenizer, mlm_probability=0.15): labels = inputs.clone() probability_matrix = torch.rand(inputs.shape) special_tokens_mask = torch.tensor([[1 if token in [tokenizer.cls_token_id, tokenizer.pad_token_id] else 0 for token in example] for example in inputs]) probability_matrix.masked_fill_(special_tokens_mask.bool(), value=0.0) masked_indices = probability_matrix < mlm_probability labels[~masked_indices] = -100 # Игнорируются в loss inputs[masked_indices] = tokenizer.mask_token_id return inputs, labels7. Возможные улучшения
- Добавить динамическое маскирование прямо в
__getitem__. - Поддержка перекрывающихся чанков (для лучшего контекста).
- Параллелизация чтения данных (для больших Parquet-файлов).
Этот код эффективно подготавливает данные для MLM, но требует дополнительного слоя маскирования при обучении.
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.