import torch from transformers import AutoTokenizer, AutoModelForCausalLM modelname =…
- User
import torch from transformers import AutoTokenizer, AutoModelForCausalLM
model_name = "IlyaGusev/rugpt3medium_sum_gazeta" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name)
article_text = "..."
text_tokens = tokenizer( article_text, max_length=600, add_special_tokens=False, padding=False, truncation=True )["input_ids"] input_ids = text_tokens + [tokenizer.sep_token_id] input_ids = torch.LongTensor([input_ids])
output_ids = model.generate( input_ids=input_ids, no_repeat_ngram_size=4 )
summary = tokenizer.decode(output_ids[0], skip_special_tokens=False) summary = summary.split(tokenizer.sep_token)[1] summary = summary.split(tokenizer.eos_token)[0] print(summary)
где текст указывать
- Assistant
В вашем скрипте переменная
article_text— это как раз то место, куда нужно подставить текст статьи, которую вы хотите сократить (получить её краткое содержание).Вот небольшой пример, куда вписать текст:
article_text = """ Заголовок статьи или просто текст самой статьи, который вы хотите сократить. Например: Сегодня в Москве прошла крупная конференция по искусственному интеллекту... ... и так далее. """То есть вместо троеточия
"..."нужно вставить сам текст.Пример полностью:
article_text = """ Сегодня в Москве прошла крупная конференция по искусственному интеллекту. В мероприятии приняли участие ведущие эксперты из области машинного обучения и нейросетей. Были обсуждены новые тренды и перспективы развития технологий. """Если статья большая — вы можете вставить весь текст (учитывая ограничение по max_length=600 токенов в вашем коде) или изменить параметр
max_lengthна большее значение, если позволяет память и модель.
Если удобно — можете загрузить текст из файла, например:
with open("article.txt", "r", encoding="utf-8") as f: article_text = f.read()И потом подать его в
tokenizer.
Итого: текст статьи нужно указывать в переменной
article_text. - User
бля в базе mysql хранится так bind = ['%'.$invoice_id.'%'];
["\u0443\u0442-1459"]как искать??
- Assistant
Понимаю, у вас в базе в поле хранится строка:
"\u0443\u0442-1459"Это Unicode-экранированная строка в JSON-стиле, где
\u0443и\u0442— это буквы "у" и "т" кириллицей, то есть фактически строкаут-1459
Что происходит с запросом?
Вы хотите искать запись по шаблону примерно так:
$invoice_id = 'ут-1459'; $bind = ['%' . $invoice_id . '%'];И выполняете какой-то запрос:
SELECT * FROM table WHERE column LIKE ?с привязкой params
['%ут-1459%'].
В чем проблема?
Обычно в MySQL проблем не возникает, если в поле хранится именно строка с символами в кодировке UTF-8, и запрос делается с тем же набором символов.
Но если поле содержит строку, которая фактически сохранена в виде JSON-encoded или как текст с экранированием, тогда:
- В базе лежит не "ут-1459", а именно строка с slash-u, то есть 12 символов: обратный слэш + u + 0443 + и т.д.
- Тогда
LIKE '%ут-1459%'по сути ищет символы "у", "т", "-", "1", "4", "5", "9", а в строке их нет — там\u0443и т.д.
Как проверить?
Попробуйте в MySQL вручную выполнить
SELECT column FROM table WHERE column LIKE '%ут-1459%';Если не возвращает ничего — значит в поле действительно лежат не эти символы напрямую, а escaped.
Как искать?
Если вы уверены, что у вас в поле в базе хранится JSON-строка (с экранированием Unicode в стиле
\u0443\u0442-1459), то у вас есть несколько вариантов:Вариант 1. Декодировать строки в SELECT и искать по ним
Если у вас MySQL 5.7+ с поддержкой JSON, и если поле реально содержит JSON строку, можно попробовать так:
SELECT * FROM table WHERE JSON_UNQUOTE(column) LIKE '%ут-1459%';Если поле с JSON-строкой (т.е. именно JSON-значение), то функция
JSON_UNQUOTEвернёт "ут-1459", и можно искать по ней.Но если поле просто текст, где \uXXXX — это последовательность символов, а не JSON строка, то так не сработает.
Вариант 2. Искать с использованием LIKE по экранированной форме
Если в базе хранится именно строка со слэш ю, то ищите так:
SELECT * FROM table WHERE column LIKE '%\\u0443\\u0442-1459%';Обратите внимание: слэш надо экранировать дважды — в SQL и в PHP.
В PHP это может быть:
$invoice_id = 'ут-1459'; // Unicode код для каждого символа $invoice_escaped = '\u0443\u0442-1459'; $bind = ['%' . $invoice_escaped . '%'];Но это неудобно.
Вариант 3. В коде PHP декодировать значения из базы перед поиском
Лучше при сохранении или считывании данных с базы делать json_decode.
Если поле в базе — JSON строка, то:
$data = $row['column']; $decoded = json_decode('"' . $data . '"'); // декодируем экранированные юникод символыТогда уже проверить
$decoded(например, на вхождение invoice_id).
Резюме: что делать конкретно у вас?
-
Проверьте, в каком виде у вас написано значение в базе (в целевой строке таблицы) — например,
SELECT column FROM table LIMIT 1и посмотрите, реально ли там лежитут-1459или\u0443\u0442-1459. -
Если там хранится
\u0443\u0442-1459(в виде ASCII-символов обратный слэш и буква u), то SQL запрос сLIKE '%ут-1459%'не найдёт запись. -
Если у вас есть возможность — лучше хранить в базе строки уже в UTF-8 виде (прямо "ут-1459"), это упростит поиск.
-
Если надо искать по таким экранированным записям — ищите уж по самому raw виду:
LIKE '%\\u0443\\u0442-1459%'где двойной слэш — чтобы MySQL понял, что ищем обратный слэш.
Дополнение: пример PHP поиска
$invoice_id = 'ут-1459'; // Экранируем каждый символ в \u формат (если нужно) function escape_unicode($string) { $escaped = ''; for ($i = 0; $i < mb_strlen($string); $i++) { $char = mb_substr($string, $i, 1); $code = unpack('H*', mb_convert_encoding($char, 'UCS-2BE', 'UTF-8'))[1]; $escaped .= '\\u' . strtoupper($code); } return $escaped; } $escaped_invoice_id = escape_unicode($invoice_id); // будет что-то вроде \u0443\u0442-1459, но с цифрами для чисел иначе // теперь ищем $sql = "SELECT * FROM table WHERE column LIKE ?"; $bind = ['%' . $escaped_invoice_id . '%'];
Если дадите больше информации о том, как именно данные сохраняются, или пришлёте пример записи из базы, могу помочь точнее.
- User
да там json походу вот другой счет (счета) ["86-84223","72-145920","359"] как делать поиск?
- Assistant
Спасибо за уточнение.
Если в вашей базе поле хранит JSON-массив строк, например:
["86-84223","72-145920","359"]и вам нужно искать, содержится ли в этом JSON-массиве конкретный номер, например
"72-145920", то у вас несколько вариантов поиска.
1. Если поле действительно хранится как тип JSON (MySQL 5.7+)
Предположим, поле называется
invoicesи имеет типJSON, либо по крайней мере строку с валидным JSON.Тогда вы можете использовать MySQL-функции для JSON.
Пример запроса:
SELECT * FROM table WHERE JSON_CONTAINS(invoices, '"72-145920"');Объяснение:
JSON_CONTAINS(json_doc, json_val)— проверит, содержит ли JSON-документ значениеjson_val.- Чтобы проверить в массиве строк наличие
"72-145920", вторым параметром надо передать JSON-строку (то есть строку с кавычками внутри).
Например:
'\"72-145920\"'(это в SQL:'"72-145920"').
2. Если поле — это просто строка с JSON, но не
JSONтипЕсли в базе тип колонки —
TEXTи там лежит валидный JSON, функцияJSON_CONTAINSтоже работает.
3. Если хотите искать с LIKE (не рекомендуемый вариант)
Можно искать с LIKE, например:
WHERE invoices LIKE '%72-145920%'Но тогда надо быть аккуратными — может совпадать "172-145920" или "72-1459200", поэтому лучше использовать JSON-функции.
4. Пример с PHP PDO
$invoice_id = "72-145920"; $sql = "SELECT * FROM table WHERE JSON_CONTAINS(invoices, :invoice_id)"; $stmt = $pdo->prepare($sql); $stmt->execute(['invoice_id' => json_encode($invoice_id)]); $rows = $stmt->fetchAll();Обратите внимание, что параметр для
JSON_CONTAINSдолжен быть JSON-валидным значением (строкой с кавычками), для этого лучше использоватьjson_encode.
Итог
Используйте
WHERE JSON_CONTAINS(invoices, '"72-145920"')Это будет надежно искать элемент
"72-145920"в массиве JSON строк.
Если у вас MySQL ниже 5.7 или нет JSON-функций — напишите, подскажу другие варианты.
- User
поле text - но php туда пишет json_encode видимо.. как делать поиск
- Assistant
Понял, у вас в поле обычный текст (
TEXT), в котором лежит JSON-массив, например:["86-84223","72-145920","359"]и при этом поле не имеет JSON-тип (то есть MySQL не воспринимает его как JSON), но вы хотите искать по элементам массива.
Как искать в таком случае?
1. Используем
JSON_CONTAINS, заставляя MySQL «парсить» поле как JSONВ MySQL 5.7+ функция
JSON_CONTAINSработает и с текстовыми полями, при условии, что они содержат валидный JSON.Поэтому можно писать запрос:
SELECT * FROM table WHERE JSON_CONTAINS(your_text_column, '"72-145920"')Здесь:
- Первый аргумент — текстовое поле с JSON-массивом (типа
TEXT, но содержимое должно быть валидным JSON). - Второй аргумент — JSON-строка, в нашем случае
"72-145920", именно так, с двойными кавычками.
2. В PHP правильно сформировать запрос с PDO (пример)
$invoice_id = "72-145920"; $sql = "SELECT * FROM table WHERE JSON_CONTAINS(your_text_column, :invoice_id)"; $stmt = $pdo->prepare($sql); $stmt->execute(['invoice_id' => json_encode($invoice_id)]); $rows = $stmt->fetchAll();Здесь
json_encode($invoice_id)преобразует строку"72-145920"в JSON-формат, то есть в"\"72-145920\""— что нужно функцииJSON_CONTAINS.
3. Что если
JSON_CONTAINSне работает (MySQL ниже 5.7)?Тогда можно искать через LIKE:
WHERE your_text_column LIKE '%"72-145920"%'Но это менее надежно, т.к. совпадения могут быть частичными.
Итог
- Используйте
JSON_CONTAINS(your_text_column, '"72-145920"')— это лучший вариэнт. - В PHP ставьте параметр через
json_encode(), чтобы корректно добавить кавычки. - Если MySQL не поддерживает JSON-функции, используйте
LIKE '%"72-145920"%', как запасной вариант.
Если нужна помощь с конкретным кодом — пишите, помогу.
- Первый аргумент — текстовое поле с JSON-массивом (типа
- User
у меня был так bind = ['%'.$invoice_id.'%']; как ща
- Assistant
Если в базе поле типа TEXT, в котором лежит JSON-массив вида:
["86-84223","72-145920","359"]и вы искали раньше так:
$where = ' (UF_CRM_1627986309 LIKE ?)'; $bind = ['%' . $invoice_id . '%'];то это просто поиск подстроки, как
%72-145920%.
Как сделать сейчас, чтобы надежно искать элемент в JSON-массиве, хранящемся в текстовом поле?
Вариант с JSON_CONTAINS
Если ваша MySQL поддерживает функции JSON (5.7+), то в SQL можно написать:
WHERE JSON_CONTAINS(UF_CRM_1627986309, '"72-145920"')В PHP
$where = ' JSON_CONTAINS(UF_CRM_1627986309, ?)'; $bind = [json_encode($invoice_id)];Обратите внимание, что второй параметр функции должен быть именно JSON-строкой с кавычками, поэтому через
json_encode:json_encode("72-145920") // даст: "\"72-145920\""
Полный пример
$invoice_id = '72-145920'; $where = ' JSON_CONTAINS(UF_CRM_1627986309, ?)'; $bind = [json_encode($invoice_id)];И потом подставляете
$whereи$bindв подготовленный запрос.
Если JSON_CONTAINS не поддерживается (MySQL < 5.7)
Тогда придется делать похожий запрос с LIKE:
$where = ' (UF_CRM_1627986309 LIKE ?)'; $bind = ['%"' . $invoice_id . '"%']; // ищем с кавычками, чтобы точнееОбратите внимание, что кавычки важны, чтобы не находились похожие части.
Вывод
- Если есть возможность — используйте
JSON_CONTAINS. - Иначе ищите через LIKE по подстроке с кавычками.
Если нужна помощь с конкретным примером кода — пишите!
- Если есть возможность — используйте