SBERT и PyTorch - расскажи какая связь
- User
SBERT и PyTorch - расскажи какая связь
- Assistant
Связь между SBERT (Sentence-BERT) и PyTorch заключается в том, что Sentence-BERT — это модель, реализованная на фреймворке PyTorch. Давай разберёмся подробнее:
🔹 Что такое SBERT?
SBERT (Sentence-BERT) — это модификация модели BERT, предназначенная для получения векторных представлений предложений (sentence embeddings). Обычный BERT не очень хорошо подходит для прямого сравнения предложений, поскольку требует обработки пары предложений как входа. SBERT решает эту проблему, позволяя кодировать предложения отдельно и эффективно сравнивать их с помощью косинусного расстояния.
🔹 Что такое PyTorch?
PyTorch — это один из самых популярных фреймворков глубокого обучения (DL), разработанный Facebook AI Research. Он гибкий, удобный и широко используется для исследовательских и производственных задач, включая работу с трансформерами.
🔹 Связь SBERT и PyTorch
-
✅ Реализация моделей SBERT использует PyTorch как backend. Все веса, слои, обучение и инференс происходят с использованием PyTorch.
-
✅ Библиотека
sentence-transformers— основной способ работы с SBERT — построена на базе PyTorch и HuggingFace Transformers. Она абстрагирует все детали работы с PyTorch, но под капотом именно PyTorch обеспечивает работу нейронных сетей. -
✅ Функции обучения и fine-tuning SBERT реализованы с использованием стандартных компонентов PyTorch:
DataLoader,Optimizer,Scheduler,loss functionsи т.д.
🔹 Пример простого использования SBERT на PyTorch
from sentence_transformers import SentenceTransformer, util # Загружаем модель (PyTorch модель под капотом!) model = SentenceTransformer('all-MiniLM-L6-v2') # Вводные предложения sentences = ['Это пример предложения', 'Это другое предложение'] # Получаем эмбеддинги embeddings = model.encode(sentences) # Сравниваем предложения (косинусная схожесть) similarity = util.cos_sim(embeddings[0], embeddings[1]) print(similarity)
💡 Вывод:
- SBERT = BERT + PyTorch-friendly архитектура для задач семантического сравнения.
- PyTorch — база, на которой реализован SBERT через библиотеку
sentence-transformers. - Если ты работаешь с SBERT, ты, по сути, работаешь с PyTorch, даже если напрямую с ним не взаимодействуешь.
Если хочешь посмотреть внутреннюю реализацию или тонкую настройку — можно легко выйти на уровни PyTorch, посмотреть model weights, лоссы, etc.
-
- User
Правда ли что с помощью PyTorch можно как-то дообучить какую-то готовую SBERT модель (какую кстати? как понять?) под свой набор описаний товаров, данный в текстовом виде? И что кроме своих новых текстов описаний товаров для этого нужно?
- Assistant
Да, это абсолютно правда — с помощью PyTorch и библиотеки
sentence-transformersможно дообучить (fine-tune) готовую модель SBERT на ваших текстовых данных, например, на описаниях товаров, чтобы она лучше захватывала семантику именно в вашей предметной области (домены: е-commerce, маркетплейсы, финансы, техника и т.д.).
🔹 Что значит "дообучить SBERT"?
Дообучение (fine-tuning) — это адаптация уже предобученной модели (например,
'all-MiniLM-L6-v2') к вашей конкретной задаче или предметной области. Вместо обучения "с нуля" вы улучшаете уже "умную" модель, подстраивая её под особенности ваших текстов.
🔹 На какие SBERT-модели можно обратить внимание?
Модель нужно выбирать исходя из:
- Размеров модели (trade-off между качеством и скоростью).
- Поддержки fine-tuning (99% моделей в sentence-transformers поддерживают это).
- Хорошие старты:
Название модели Описание 💡 all-MiniLM-L6-v2Быстрая и легкая (384d), популярна. all-mpnet-base-v2Более тяжёлая, но лучше по качеству. paraphrase-MiniLM-L6-v2Хороша для задачи сходства 👉 Все они из библиотеки
sentence-transformers.
🔹 Что нужно для дообучения на своих описаниях товаров?
- Тексты описаний — это основа ✅
- Целевая задача, например:
- Семантическое близкое сравнение товаров
- Поиск похожих описаний
- Классификация
- Набор пар или триплетов предложений:
- Пары (
(описание1, описание2, метка)): похожи или нет - Триплеты (
(anchor, positive, negative)): какое описание ближе
- Пары (
👉 Эту информацию можно собрать вручную или сгенерировать автоматически (например, по категориям, ключевым словам, бренду и т.п.)
🔹 Пример: как дообучить SBERT под описания товаров
Установка:
pip install sentence-transformersПодготовка данных в виде пар:
from sentence_transformers import InputExample train_examples = [ InputExample(texts=["Кроссовки Adidas мужские", "Мужские кроссовки Adidas 2023"], label=1.0), InputExample(texts=["Ноутбук HP 15 дюймов", "Смартфон Samsung Galaxy"], label=0.0), # Добавь побольше таких примеров ]Использование модели и loss-функции:
from sentence_transformers import SentenceTransformer, losses, models, datasets from torch.utils.data import DataLoader model = SentenceTransformer('all-MiniLM-L6-v2') train_dataloader = DataLoader(train_examples, shuffle=True, batch_size=16) train_loss = losses.CosineSimilarityLoss(model)Запуск обучения:
model.fit( train_objectives=[(train_dataloader, train_loss)], epochs=1, warmup_steps=100 )Сохранение модели:
model.save('models/my-custom-sbert')
🔹 Что ещё может понадобиться?
Что 🧩 Зачем 📊 Дополнительная метаинформация (категории, бренд и др.) Для генерации "похожих" товаров автоматически 📓 Датасеты для валидации Чтобы проверять, что обучение помогает 🧠 Токенизатор + GPU (опционально) для ускорения ⚙️ HuggingFace Datasets или PyTorch Dataloaders Для работы с большим количеством данных
🔹 Можно ли без ручной разметки?
Да, можно сгенерировать пары или триплеты искусственно:
- Похожие товары → положительные пары
- Товары из разных категорий → отрицательные пары
- Или использовать unsupervised фреймворки из
sentence-transformers
✅ Вывод:
- 🔥 Можно дообучить SBERT под ваши описания товаров, чтобы улучшить качество поиска/сравнения.
- 🛠️ Нужны текстовые данные + желательно метка близости (или можно её сгенерировать).
- 💡 Используй
sentence-transformers+ PyTorch API под капотом, всё уже готово — нужно лишь сформировать датасет.
Хочешь пример под свои данные (можешь скинуть образцы описаний товаров — я помогу составить пары или код обучения)?
- User
а как следует подготовить текст к дообучению модели? я так полагаю что когда модель обучали в первый раз то тексты уже как-то готовили, убирали тройные пробелы и дефисы разной длины и символы скрытого переноса и звездочки и кружочки квадратики и emoji - я предполагаю что когда модель учили в первый раз то уже как-то обработали. и не годится теперь мне, дообучающему эту хорошую модель, портить всякими спецсимволами и разнобоем case upper lower. Но! Как мне очистить так как чистили при первом обучении?
- Assistant
Ты абсолютно прав: при предобучении модели вроде SBERT тексты обрабатывают и очищают, чтобы привести их к стандартизированному и "чистому" виду. Если ты собираешься дообучать такую модель, разумно применить тот же подход к препроцессингу текстов, чтобы они "по стилю" совпадали с данными, на которых модель была обучена изначально. Иначе можно получить негативный эффект.
🔍 Важный принцип: "Чистота входов — залог корректности эмбеддингов"
Если на этапе дообучения ты подаёшь тексты с разной пунктуацией, emoji, спецсимволами и пр., это может размыть смысл, ухудшить обучение, и модель не будет работать так, как должна.
📌 Как именно ОБРАБАТЫВАЛИ тексты при обучении SBERT?
Разработчики моделей SBERT (в библиотеке
sentence-transformers) ориентировались на стандартный препроцессинг из BERT и HuggingFace, который включает:✳️ Типичная очистка текста:
Очистка Описание ✅ Unicode Normalization Нормализует "странные" символы: скрытые переносы, спецсимволы ✅ Удаление emoji и смайликов Они бессмысленны для моделей, обученных на деловом/техническом ✅ Удаление лишних пробелов Одинарные пробелы между словами, без тройных и табов ✅ Удаление мусорных символов Звёздочки, квадратики, декоративное оформление ✅ Приведение к lower-case Почти все SBERT модели регистронезависимы ( lowercased)👉 Отдельно делают Unicode нормализацию (например,
NFKC) — это превращает "‑" в "-" и т.п.
✅ Готовый Пайплайн препроцессинга
Вот пример python-функции, которую можно использовать для подготовки своих текстов так, как это делали при предобучении SBERT:
import re import unicodedata import emoji def clean_text(text: str) -> str: # Unicode нормализация (стандартизация кавычек, дефисов и т.д.) text = unicodedata.normalize("NFKC", text) # Приведение к нижнему регистру text = text.lower() # Удаление emoji text = emoji.replace_emoji(text, replace='') # Удаление тире, квадратиков, звёздочек и прочих спецсимволов text = re.sub(r'[•●◦★☆■□☑✔✖✳️️→←↑↓↔❌✅▶️…♦“”‘’]', '', text) # Удаление HTML и скрытых переносов \xa0 \n \r и др. text = re.sub(r'[\u00A0\n\r\t]+', ' ', text) # Удаление повторяющихся пробелов text = re.sub(r'\s{2,}', ' ', text) # Обрезка ведущих и хвостовых пробелов text = text.strip() return text
🛒 Пример
dirty = "✔ Новые **Кроссовки Adidas** ‑ самые модные! 🏆 Размеры: 42–45\t\t" print(clean_text(dirty))Результат:
новые кроссовки adidas - самые модные! размеры: 42–45
🎯 Дополнительно — Используй тот токенизатор, что у SBERT
SBERT использует тот же токенизатор, что и BERT (через HuggingFace). Он также автоматически обрабатывает некоторые вещи (например, удаляет [UNK] символы, lowercasing — если модель
uncased), но всё равно лучше заранее очистить текст.
💡 Практические советы по дообучению:
- Очисти свои тексты как показано выше
- Храни очищенные версии отдельно (чтобы случайно не подавать "грязные" валидационные примеры)
- Если не уверен — проверь исходный препроцессинг в исходном репозитории модели:
https://www.sbert.net- HuggingFace model hub: https://huggingface.co/sentence-transformers
💬 Хочешь — могу помочь провести очистку на твоих конкретных описаниях товаров (можешь скинуть 2–3 примера), и покажу, на что обратить внимание.
Надеюсь, теперь ты не только уверен, что очистка важна, но и знаешь, как её повторить максимально приближённо к изначальной тренировке SBERT ✨
- User
есть ли готовый обратный словарь для tokenizer.vocab (из объекта BertTokenizerFast) ? или как оно декодит? если нет то сделай в одну строку
- Assistant
Да, в
BertTokenizerFast(как и в других Fast Tokenizer’ах из HuggingFace), обратный словарь уже встроен — ничего создавать не нужно.✅ Как декодируется?
Все
FastTokenizerвнутри реализованы на 🤗 Tokenizers, и они поддерживают прямой и обратный маппинг (id ↔ token) из коробки.
🔹 Ответ на твой вопрос:
Есть ли готовый обратный словарь (
id → token) вBertTokenizerFast?👉 Да, он доступен через:
tokenizer.convert_ids_to_tokens📌 Пример: в одну строку
[tokenizer.convert_ids_to_tokens(i) for i in [101, 2023, 2003, 1037, 2742, 102]]Результат (например):
['[CLS]', 'this', 'is', 'a', 'test', '[SEP]']
🎁 А если тебе нужен именно "обратный словарь" как
dict[int, str]:Тоже просто:
inv_vocab = {v: k for k, v in tokenizer.vocab.items()}ИЛИ: (в одну строку):
id2token = tokenizer.convert_ids_to_tokens
🔚 Вывод:
- ✅ Не нужно вручную инвертировать
vocab—BertTokenizerFastуже умеет декодить. - ✅ Используй
convert_ids_to_tokens(ids)илиdecode(<list of ids>).
Пример декодирования в строку:
tokenizer.decode([101, 2023, 2003, 1037, 2742, 102]) # → "this is a test"Хочешь — покажу, как сделать свой кастомный decode с кастомными правилами для форматирования.
- ✅ Не нужно вручную инвертировать
- User
объясни мне ещё вот что, если LLM используют SBERT, получив вопрос от юзера в виде предложения, то потом после обработки как то надо обратно сделать ответ в виде текста и для этого понадобится энкодер в текст. мне кажется что эмбеддинги это половина преобразования, а где вторая обратная часть?
- Assistant
Ты задаёшь очень глубокий и правильный вопрос 💡
Давай разберём ситуацию подробно.
🧠 В чём суть?
"Если LLM используют SBERT, то эмбеддинги — это только половина преобразования. А где обратная часть, которая делает текст из эмбеддинга?"
Ты прав абсолютно — эмбеддинги (SBERT) — это односторонняя трансформация входного предложения в вектор признаков.
Но обратного пути из "вектора → человека-понимаемый текст", как ты наблюдаешь, формально нет.Давай теперь разберёмся почему так, и как это работает в LLM-системах.
📌 Что такое SBERT?
- SBERT — это encoder-only модель.
- То есть она принимает текст → возвращает embedding (вектор).
- Никакой “декодирующей” части (типа генератора текста) у неё нет.
[текст] ───► [эмбеддинг] ▲ нет "decoder"
📌 Почему же всё работает в LLM-сценариях?
Потому что LLM (например, GPT) — это decoder-only модели. Они как раз и умеют:
[текст] ←── [значение, embedding, prompt...]➕ Их можно комбинировать. Например:
- ✉️ Юзер прислал запрос:
Как выбрать видеокарту? - 🧠 SBERT или другая модель делает embedding запроса.
- 🔍 Используем этот embedding для:
- Поиска похожих документов
- Выбора лучшего ответа или источника
- Или фильтрации информации
- 📦 Передаём текст этих результатов или ключевые идеи в LLM (GPT, ChatGPT, Claude и пр.)
- 🗣️ LLM сгенерирует ответ уже на основе найденного текста.
🔁 Почему не существует прямого “decoder” из эмбеддинга?
Потому что:
- Эмбеддинги — это сжатые смысловые векторы, они не хранят полного текста.
- Это не обратимая операция (много текстов → один похожий вектор).
- Например: "Собака бегает по улице" и "Пёсик носится по двору" → почти одинаковые векторы, но разные тексты.
Таким образом, ты не можешь развернуть вектор обратно в один “правильный” текст — возможен только генеративный подход.
🔁 Хочешь настоящий encoder → decoder путь?
Используй архитектуры типа:
Название Архитектура Способность к генерации BERT Encoder-only ❌ Нет генерации SBERT Encoder-only ❌ Нет генерации T5 Encoder → Decoder ✅ Да BART Encoder → Decoder ✅ Да GPT Decoder-only ✅ Да Пример: ❗ не SBERT, а T5
from transformers import T5Tokenizer, T5ForConditionalGeneration model = T5ForConditionalGeneration.from_pretrained('t5-small') tokenizer = T5Tokenizer.from_pretrained('t5-small') # Ввод input_text = "summarize: Я изучаю, как работают трансформеры в NLP. Это сложно, но интересно." input_ids = tokenizer(input_text, return_tensors="pt").input_ids # Генерация output_ids = model.generate(input_ids, max_length=50) summary = tokenizer.decode(output_ids[0], skip_special_tokens=True) print(summary)✅ Здесь уже есть и encoding, и decoding — полный "обратимый" цикл.
✅ Выводы
Ты говоришь Объяснение SBERT даёт эмбеддинг Да, это encoder-only трансформер Где обратный путь? У SBERT его нет. Вектор → текст невозможен напрямую Как тогда делают ответ? Через генеративные модели (GPT, T5, BART), которые выдают текст на основе информации Что использовать? Для задачи семантического поиска — SBERT; для генерации — GPT/T5/BART
🎁 Бонус: если хочешь сгенерировать текст "по смыслу" из эмбеддинга
- Можно использовать его как контекст, чтобы найти похожие тексты.
- А затем передавать найденные тексты в LLM для генерации.
- Это часть подхода RAG (Retrieval-Augmented Generation).
Хочешь — расскажу, как построить полноценную RAG-систему с SBERT + GPT (или уже готовыми библиотеками вроде LangChain).
- User
хорошо, тогда возможно что SBERT нам и не нужен для нашей задачи, дело вот в чем, у нас есть описание товара, который ввозится в страну, по этому описанию нужно определить его код ТНВЭД, а также определить подлежит ли он сертификации, а также понять нужна ли на него лицензия и если нужна то какая. SBERT нам даем только похожесть двух предложений, но нам не надо сравнивать похожесть, разве только если искать среди других, но не сейчас
- Assistant
Да, ты очень точно уловил суть — и абсолютно правильно подметил, что SBERT — не панацея и не всегда нужен.
🧩 ТВОЯ ЗАДАЧА — это НЕ "сравни похожесть текстов"
Твоя задача 👇:
По тексту описания импортируемого товара определить:
- 📌 Код ТН ВЭД
- 📃 Нужно ли Сертифицировать
- 🪪 Нужна ли лицензия, и если да — какая
🔍 Так что SBERT тут не обязательно, потому что:
Что делает SBERT А что нужно тебе Преобразует предложение → embedding вектор Классифицирует текст по множеству категорий Сравнивает текст с другим (по смыслу) Нужен ответ: класс, код, флаг, категория Не расшифровывает свои векторы назад в текст Нужно принять решение по правилам/таблицам/категориям 📌 SBERT может использоваться как part-of-solution (например, при поиске похожих товаров в базе), но прямо сейчас тебе нужен классификатор / extractor.
✅ Что нужно вместо SBERT?
Тебе нужно настроить текстовую классификацию и/или экстракцию признаков из описания.
Варианты моделей:
Задача Подход / модель 📌 Определить код ТН ВЭД Text classification (multi-class) или даже seq2seq ✅ Нужна ли сертификация Text classification (binary или multi-label) 🪪 Какая лицензия нужна Classification или Named Entity Extraction
💡 Какие варианты технологий?
Что использовать? Почему? 🤗 transformers+BERT/RoBERTaКлассика NLU: можно дообучить под твои нужды ✅ AutoModelForSequenceClassificationПозволяет классифицировать текстовое описание сразу по нужному числу классов 🧮 T5 или BART (seq2seq) Универсальные генеративные модели: и классифицируют, и могут “объяснить” результат
📦 Пример: классификация ТН ВЭД, сертификации и лицензии
1. Подготовь данные:
Описание товара Код ТН ВЭД Сертификация (Yes/No) Лицензия "Смартфон Apple iPhone 15 Pro Max, 256 Гб..." 8517.12 Yes No "Компьютерная мышь Logitech G102 оптическая..." 8471.60 No No "Пиротехнические изделия, петарды, фейерверки..." 3604.10 Yes Минпромторг — спецразрешение 👉 Такие данные можно размечать ручками, по базе ФТС, справочнику ТН ВЭД, или ГИС системы сертификации (например, ЕАЭС требованиям).
2. Обучаешь классификатор
from transformers import AutoTokenizer, AutoModelForSequenceClassification, Trainer, TrainingArguments from datasets import Dataset # Пример: классификация кода ТН ВЭД model_name = 'bert-base-uncased' tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForSequenceClassification.from_pretrained(model_name, num_labels=NUM_CLASSES) # dataset — твоя таблица разбитая по полям tokenized = dataset.map(lambda x: tokenizer(x['description'], truncation=True, padding='max_length'), batched=True) training_args = TrainingArguments(output_dir='./results', evaluation_strategy="epoch", per_device_train_batch_size=8, num_train_epochs=3) trainer = Trainer(model=model, args=training_args, train_dataset=tokenized["train"], eval_dataset=tokenized["test"]) trainer.train()
🛠 Альтернатива (если нет готовых датасетов)
Если размаркивать трудно, можно:
- Использовать логические правила или
regex + ML - Достать существующие базы классификаций товаров и лицензий
- Построить proto-модель на правилах, потом обучить ML-модель
Резюме
Что нужно? Почему? ❌ SBERT Ты не сравниваешь тексты, не ищешь похожие ✅ Text Classification (BERT и др.) Каждое описание — повод выдать код, класс, и флаг ✅ Неймдинг (NER, extraction) Если лицензии прописаны именами / организациями ✅ Seq2seq (если хочешь видеть объяснения) Для объясняющих моделей или генеративного вывода
Хочешь я помогу?
Ты можешь скинуть пару примеров реальных описаний товаров, и я покажу:
- Какой оптимальный формат датасета
- Как бы выглядела классификация и инференс
- Какие модели подойдут
🧠 TL;DR: тебе нужен классификатор описаний, а не SBERT.
Будем строить разумную систему, не просто embeddings 🙌 - User
прежде чем обучать давай решим проблему с дисковым пространством если я выполню
import torch from transformers import AutoTokenizer, Qwen3ForSequenceClassification tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen3-8B") model = Qwen3ForSequenceClassification.from_pretrained("Qwen/Qwen3-8B", problem_type="multi_label_classification")
то где именно будет потрачено много гигабайт на хранение загруженных моделей и прочего сопутствия и как именно потом очистить когда будет больше не нужно
- Assistant
Отличный вопрос! Загрузка крупных моделей вроде
"Qwen/Qwen3-8B"действительно может "раздуть" диск — особенно если ты работаешь на сервере с ограниченным пространством, VPS, или в Colab. Давай объясню всё чётко и по делу:
💽 Где именно на диске HuggingFace хранит модель?
Модели из
transformersпри загрузке кэшируются по пути:~/.cache/huggingface/hubПолный путь по умолчанию:
~/.cache/huggingface/hub/models--Qwen--Qwen3-8B👉 Это именно тот самый путь, куда и пойдут все веса модели (~15 GB и больше), конфигурации, токенизаторы и прочие файлы.
✅ Confirm it:
du -sh ~/.cache/huggingface/hub/models--Qwen--Qwen3-8B
❓Почему так происходит?
from_pretrained(...)вызывает скачивание моделей с 🤗 HuggingFace Hub.- Эти файлы загружаются только 1 раз и кэшируются локально.
- В следующий раз они будут загружаться с локального кэша.
🗑️ Как очистить, когда модель больше не нужна?
🔸Способ 1: удалить только модель Qwen
Удали её папку из
.cache/huggingface/hub/models--...rm -rf ~/.cache/huggingface/hub/models--Qwen--Qwen3-8B💡 Это освободит десятки гигабайт (8B модель — тяжёлая!).
🔸Способ 2: удалить весь кэш (аккуратно!)
Если хочешь удалить всё, что ты качал через
transformers:rm -rf ~/.cache/huggingface⚠️ Это удалит все модели, токенизаторы и т.п. — скачаются заново при следующей загрузке.
🔸Способ 3: используем встроенную утилиту 🤗 CLI
huggingface-cli delete-cacheИли частично:
huggingface-cli delete-cache --model Qwen/Qwen3-8B✅ Доступно при установленном пакете:
pip install huggingface_hub
🛠 Как указать другой путь к кэшу (например, если нет места в
/home)?Используй переменную окружения перед запуском скрипта:
export TRANSFORMERS_CACHE=/mnt/ssd/huggingfaceИли в коде Python:
import os os.environ['TRANSFORMERS_CACHE'] = '/mnt/ssd/huggingface'Модель будет скачана туда.
📌 Дополнительно:
Что Размер примерно Qwen 8B (fp16 float) ~15–20 GB Токенизатор и config ~100–300 MB Adapter'ы IF ANY ~1–2 ГБ
✅ Резюме:
Действие Команда / Место Где хранятся ~/.cache/huggingface/hub/models--...Очистить конкретную модель rm -rf ~/.cache/huggingface/hub/models--Qwen--Qwen3-8BУказать другой путь к кэшу os.environ["TRANSFORMERS_CACHE"] = "/другой/путь"Освободить всё rm -rf ~/.cache/huggingfaceИспользовать CLI для удаления huggingface-cli delete-cache --model ...
Если хочешь, могу помочь тебе выбрать более лёгкую модель для текстовой классификации, подходящую под ограничения по объёму, особенно если 8B — "тяжеловата".
- User
хорошо, получается что мне нужно создать или как-то сформировать AutoModelForSequenceClassification и настроить его под мою задачу. но у меня есть pandas dataframe s полями "описание товара" и "код ТНВЭД" и миллионом строк. вопрос, как мне из dataframe сделать рабочий определитель кодов тнвэд?
- Assistant
Отличный вопрос! У тебя есть вся нужная основа — размеченные данные в pandas DataFrame, что уже практически половина дела в ML-задаче. Твоя задача — по описанию товара предсказывать код ТН ВЭД.
Давай шаг за шагом разберёмся, как из твоего DataFrame получить обученную модель с помощью HuggingFace Transformers, конкретно —
AutoModelForSequenceClassification.
🎯 Цель:
Обучить классификатор:
"описание товара"➜"код ТН ВЭД"
🔧 Шаг 0. Уточнение
❓ Что такое
код ТН ВЭД?- Это категория, выбранная из известного списка: типа
8517.12,8471.60и т.д. - Обычно, количество уникальных кодов ограничено (хоть и десятки тысяч теоретически).
- Для старта желательно ограничить классификацию до популярных N кодов (скажем, 1000–5000), иначе классификатор будет страдать от data imbalance.
✅Шаг 1: Подготовить датасет из
pandas.DataFrameПусть у тебя:
# s — твой датафрейм print(s.head()) # пример # описание товара | код ТНВЭД # ----------------------------------------------------|----------- # "Смартфон Apple iPhone 15 Pro Max..." | 8517.12 # "Клавиатура механическая с USB Type-C" | 8471.60
🔹 1.1 Преобразуем коды ТН ВЭД в числовые классы:
import pandas as pd from sklearn.preprocessing import LabelEncoder le = LabelEncoder() s['label'] = le.fit_transform(s['код ТНВЭД']) # теперь 'label' — целочисленные классы🔸 Сохрани
le, чтобы потом обратно расшифровывать метки в коды:import pickle with open('label_encoder.pkl', 'wb') as f: pickle.dump(le, f)
🔹 1.2 Разделим на обучающую и тестовую выборку:
from sklearn.model_selection import train_test_split train_df, test_df = train_test_split(s[['описание товара', 'label']], test_size=0.1, random_state=42)
✅ Шаг 2. Конвертировать pandas в HuggingFace Dataset
from datasets import Dataset train_dataset = Dataset.from_pandas(train_df) test_dataset = Dataset.from_pandas(test_df)
✅ Шаг 3. Загрузка токенизатора и создание токенов
from transformers import AutoTokenizer # Можем взять легкую модель, например, BERT-base tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased") # Добавим токенизацию def tokenize(batch): return tokenizer(batch["описание товара"], truncation=True, padding="max_length", max_length=128) train_dataset = train_dataset.map(tokenize, batched=True) test_dataset = test_dataset.map(tokenize, batched=True)Удалим лишние колонки:
train_dataset = train_dataset.remove_columns(['описание товара']) test_dataset = test_dataset.remove_columns(['описание товара']) train_dataset.set_format('torch') test_dataset.set_format('torch')
✅ Шаг 4. Загрузка модели для классификации
from transformers import AutoModelForSequenceClassification num_classes = s['label'].nunique() model = AutoModelForSequenceClassification.from_pretrained("bert-base-uncased", num_labels=num_classes)
✅ Шаг 5. Настройка TrainingArguments и Trainer
from transformers import TrainingArguments, Trainer training_args = TrainingArguments( output_dir="./tnved-classifier", evaluation_strategy="epoch", save_strategy="epoch", per_device_train_batch_size=16, per_device_eval_batch_size=16, num_train_epochs=3, weight_decay=0.01, logging_dir='./logs', logging_steps=10, load_best_model_at_end=True, metric_for_best_model="accuracy" )
✅ Шаг 6. Метрики (например —
accuracy)import numpy as np from sklearn.metrics import accuracy_score, f1_score def compute_metrics(eval_pred): logits, labels = eval_pred preds = np.argmax(logits, axis=-1) return { 'accuracy': accuracy_score(labels, preds), 'f1_macro': f1_score(labels, preds, average='macro') }
✅ Шаг 7. Обучение!
trainer = Trainer( model=model, args=training_args, train_dataset=train_dataset, eval_dataset=test_dataset, tokenizer=tokenizer, compute_metrics=compute_metrics, ) trainer.train()
🚀 Шаг 8. Использование модели
Инференс + обратное преобразование кода
def predict_tnved(description): inputs = tokenizer(description, return_tensors="pt", truncation=True, padding=True, max_length=128) outputs = model(**inputs) pred_id = torch.argmax(outputs.logits, dim=1).item() predicted_code = le.inverse_transform([pred_id])[0] return predicted_code # Пример: print(predict_tnved("Смартфон Xiaomi Redmi Note 13 Pro, 256Гб"))
📦 Вывод
Этап Суть 🎯 Что у тебя есть DataFrame с описанием и кодом ТН ВЭД 🧠 Что строишь Классификатор: текст → класс → код ТН ВЭД ⚙️ С помощью чего HuggingFace: AutoTokenizer,AutoModelForSequenceClassification🧪 Что получаешь Обученную и готовую к инференсу модель ♻️ Как расшифровывать классы LabelEncoder.inverse_transform()
🚨 Важно
- Кодов ТН ВЭД может быть слишком много → лучше сперва ограничить топ-N (например, топ 2000).
- Остальные можно отнести в класс "OTHER" или сделать иерархическую классификацию (напр. сначала 2 цифры, потом 4, потом 6).
Хочешь я покажу, как сделать multi-step классификатор "сверху-вниз" (сначала группа, потом подгруппа и т.п.)?
- Это категория, выбранная из известного списка: типа
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.