Skip to content
TheChatArchiveThe Chat Archive
gpt-4.1-mini-2025-04-14· OpenAIAi2 WildChat-4.8M (AI2)

import torch from transformers import AutoTokenizer, AutoModelForCausalLM modelname =…

  1. User

    import torch from transformers import AutoTokenizer, AutoModelForCausalLM

    model_name = "IlyaGusev/rugpt3medium_sum_gazeta" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name)

    article_text = "..."

    text_tokens = tokenizer( article_text, max_length=600, add_special_tokens=False, padding=False, truncation=True )["input_ids"] input_ids = text_tokens + [tokenizer.sep_token_id] input_ids = torch.LongTensor([input_ids])

    output_ids = model.generate( input_ids=input_ids, no_repeat_ngram_size=4 )

    summary = tokenizer.decode(output_ids[0], skip_special_tokens=False) summary = summary.split(tokenizer.sep_token)[1] summary = summary.split(tokenizer.eos_token)[0] print(summary)

    где текст указывать

  2. Assistant

    В вашем скрипте переменная article_text — это как раз то место, куда нужно подставить текст статьи, которую вы хотите сократить (получить её краткое содержание).

    Вот небольшой пример, куда вписать текст:

    article_text = """
    Заголовок статьи или просто текст самой статьи, который вы хотите сократить.
    Например:
    Сегодня в Москве прошла крупная конференция по искусственному интеллекту...
    ... и так далее.
    """
    

    То есть вместо троеточия "..." нужно вставить сам текст.

    Пример полностью:

    article_text = """
    Сегодня в Москве прошла крупная конференция по искусственному интеллекту. В мероприятии приняли участие ведущие эксперты из области машинного обучения и нейросетей. Были обсуждены новые тренды и перспективы развития технологий.
    """
    

    Если статья большая — вы можете вставить весь текст (учитывая ограничение по max_length=600 токенов в вашем коде) или изменить параметр max_length на большее значение, если позволяет память и модель.


    Если удобно — можете загрузить текст из файла, например:

    with open("article.txt", "r", encoding="utf-8") as f:
        article_text = f.read()
    

    И потом подать его в tokenizer.


    Итого: текст статьи нужно указывать в переменной article_text.

  3. User

    бля в базе mysql хранится так invoiceid=invoice_id = %ут-1459%; bind = ['%'.$invoice_id.'%'];

    ["\u0443\u0442-1459"]
    

    как искать??

  4. Assistant

    Понимаю, у вас в базе в поле хранится строка:

    "\u0443\u0442-1459"
    

    Это Unicode-экранированная строка в JSON-стиле, где \u0443 и \u0442 — это буквы "у" и "т" кириллицей, то есть фактически строка

    ут-1459
    

    Что происходит с запросом?

    Вы хотите искать запись по шаблону примерно так:

    $invoice_id = 'ут-1459';
    $bind = ['%' . $invoice_id . '%'];
    

    И выполняете какой-то запрос:

    SELECT * FROM table WHERE column LIKE ?
    

    с привязкой params ['%ут-1459%'].


    В чем проблема?

    Обычно в MySQL проблем не возникает, если в поле хранится именно строка с символами в кодировке UTF-8, и запрос делается с тем же набором символов.

    Но если поле содержит строку, которая фактически сохранена в виде JSON-encoded или как текст с экранированием, тогда:

    • В базе лежит не "ут-1459", а именно строка с slash-u, то есть 12 символов: обратный слэш + u + 0443 + и т.д.
    • Тогда LIKE '%ут-1459%' по сути ищет символы "у", "т", "-", "1", "4", "5", "9", а в строке их нет — там \u0443 и т.д.

    Как проверить?

    Попробуйте в MySQL вручную выполнить

    SELECT column FROM table WHERE column LIKE '%ут-1459%';
    

    Если не возвращает ничего — значит в поле действительно лежат не эти символы напрямую, а escaped.


    Как искать?

    Если вы уверены, что у вас в поле в базе хранится JSON-строка (с экранированием Unicode в стиле \u0443\u0442-1459), то у вас есть несколько вариантов:

    Вариант 1. Декодировать строки в SELECT и искать по ним

    Если у вас MySQL 5.7+ с поддержкой JSON, и если поле реально содержит JSON строку, можно попробовать так:

    SELECT *
    FROM table
    WHERE JSON_UNQUOTE(column) LIKE '%ут-1459%';
    

    Если поле с JSON-строкой (т.е. именно JSON-значение), то функция JSON_UNQUOTE вернёт "ут-1459", и можно искать по ней.

    Но если поле просто текст, где \uXXXX — это последовательность символов, а не JSON строка, то так не сработает.


    Вариант 2. Искать с использованием LIKE по экранированной форме

    Если в базе хранится именно строка со слэш ю, то ищите так:

    SELECT * FROM table WHERE column LIKE '%\\u0443\\u0442-1459%';
    

    Обратите внимание: слэш надо экранировать дважды — в SQL и в PHP.

    В PHP это может быть:

    $invoice_id = 'ут-1459';
    
    // Unicode код для каждого символа
    $invoice_escaped = '\u0443\u0442-1459';
    
    $bind = ['%' . $invoice_escaped . '%'];
    

    Но это неудобно.


    Вариант 3. В коде PHP декодировать значения из базы перед поиском

    Лучше при сохранении или считывании данных с базы делать json_decode.

    Если поле в базе — JSON строка, то:

    $data = $row['column'];
    $decoded = json_decode('"' . $data . '"'); // декодируем экранированные юникод символы
    

    Тогда уже проверить $decoded (например, на вхождение invoice_id).


    Резюме: что делать конкретно у вас?

    1. Проверьте, в каком виде у вас написано значение в базе (в целевой строке таблицы) — например, SELECT column FROM table LIMIT 1 и посмотрите, реально ли там лежит ут-1459 или \u0443\u0442-1459.

    2. Если там хранится \u0443\u0442-1459 (в виде ASCII-символов обратный слэш и буква u), то SQL запрос с LIKE '%ут-1459%' не найдёт запись.

    3. Если у вас есть возможность — лучше хранить в базе строки уже в UTF-8 виде (прямо "ут-1459"), это упростит поиск.

    4. Если надо искать по таким экранированным записям — ищите уж по самому raw виду:

    LIKE '%\\u0443\\u0442-1459%'
    

    где двойной слэш — чтобы MySQL понял, что ищем обратный слэш.


    Дополнение: пример PHP поиска

    $invoice_id = 'ут-1459';
    
    // Экранируем каждый символ в \u формат (если нужно)
    function escape_unicode($string) {
        $escaped = '';
        for ($i = 0; $i < mb_strlen($string); $i++) {
            $char = mb_substr($string, $i, 1);
            $code = unpack('H*', mb_convert_encoding($char, 'UCS-2BE', 'UTF-8'))[1];
            $escaped .= '\\u' . strtoupper($code);
        }
        return $escaped;
    }
    
    $escaped_invoice_id = escape_unicode($invoice_id); // будет что-то вроде \u0443\u0442-1459, но с цифрами для чисел иначе
    
    // теперь ищем
    $sql = "SELECT * FROM table WHERE column LIKE ?";
    $bind = ['%' . $escaped_invoice_id . '%'];
    

    Если дадите больше информации о том, как именно данные сохраняются, или пришлёте пример записи из базы, могу помочь точнее.

  5. User

    да там json походу вот другой счет (счета) ["86-84223","72-145920","359"] как делать поиск?

  6. Assistant

    Спасибо за уточнение.

    Если в вашей базе поле хранит JSON-массив строк, например:

    ["86-84223","72-145920","359"]
    

    и вам нужно искать, содержится ли в этом JSON-массиве конкретный номер, например "72-145920", то у вас несколько вариантов поиска.


    1. Если поле действительно хранится как тип JSON (MySQL 5.7+)

    Предположим, поле называется invoices и имеет тип JSON, либо по крайней мере строку с валидным JSON.

    Тогда вы можете использовать MySQL-функции для JSON.

    Пример запроса:

    SELECT *
    FROM table
    WHERE JSON_CONTAINS(invoices, '"72-145920"');
    

    Объяснение:

    • JSON_CONTAINS(json_doc, json_val) — проверит, содержит ли JSON-документ значение json_val.
    • Чтобы проверить в массиве строк наличие "72-145920", вторым параметром надо передать JSON-строку (то есть строку с кавычками внутри).

    Например: '\"72-145920\"' (это в SQL: '"72-145920"').


    2. Если поле — это просто строка с JSON, но не JSON тип

    Если в базе тип колонки — TEXT и там лежит валидный JSON, функция JSON_CONTAINS тоже работает.


    3. Если хотите искать с LIKE (не рекомендуемый вариант)

    Можно искать с LIKE, например:

    WHERE invoices LIKE '%72-145920%'
    

    Но тогда надо быть аккуратными — может совпадать "172-145920" или "72-1459200", поэтому лучше использовать JSON-функции.


    4. Пример с PHP PDO

    $invoice_id = "72-145920";
    $sql = "SELECT * FROM table WHERE JSON_CONTAINS(invoices, :invoice_id)";
    $stmt = $pdo->prepare($sql);
    $stmt->execute(['invoice_id' => json_encode($invoice_id)]);
    $rows = $stmt->fetchAll();
    

    Обратите внимание, что параметр для JSON_CONTAINS должен быть JSON-валидным значением (строкой с кавычками), для этого лучше использовать json_encode.


    Итог

    Используйте

    WHERE JSON_CONTAINS(invoices, '"72-145920"')
    

    Это будет надежно искать элемент "72-145920" в массиве JSON строк.


    Если у вас MySQL ниже 5.7 или нет JSON-функций — напишите, подскажу другие варианты.

  7. User

    поле text - но php туда пишет json_encode видимо.. как делать поиск

  8. Assistant

    Понял, у вас в поле обычный текст (TEXT), в котором лежит JSON-массив, например:

    ["86-84223","72-145920","359"]
    

    и при этом поле не имеет JSON-тип (то есть MySQL не воспринимает его как JSON), но вы хотите искать по элементам массива.


    Как искать в таком случае?

    1. Используем JSON_CONTAINS, заставляя MySQL «парсить» поле как JSON

    В MySQL 5.7+ функция JSON_CONTAINS работает и с текстовыми полями, при условии, что они содержат валидный JSON.

    Поэтому можно писать запрос:

    SELECT *
    FROM table
    WHERE JSON_CONTAINS(your_text_column, '"72-145920"')
    

    Здесь:

    • Первый аргумент — текстовое поле с JSON-массивом (типа TEXT, но содержимое должно быть валидным JSON).
    • Второй аргумент — JSON-строка, в нашем случае "72-145920", именно так, с двойными кавычками.

    2. В PHP правильно сформировать запрос с PDO (пример)

    $invoice_id = "72-145920";
    
    $sql = "SELECT * FROM table WHERE JSON_CONTAINS(your_text_column, :invoice_id)";
    
    $stmt = $pdo->prepare($sql);
    $stmt->execute(['invoice_id' => json_encode($invoice_id)]);
    $rows = $stmt->fetchAll();
    

    Здесь json_encode($invoice_id) преобразует строку "72-145920" в JSON-формат, то есть в "\"72-145920\"" — что нужно функции JSON_CONTAINS.


    3. Что если JSON_CONTAINS не работает (MySQL ниже 5.7)?

    Тогда можно искать через LIKE:

    WHERE your_text_column LIKE '%"72-145920"%'
    

    Но это менее надежно, т.к. совпадения могут быть частичными.


    Итог

    • Используйте JSON_CONTAINS(your_text_column, '"72-145920"') — это лучший вариэнт.
    • В PHP ставьте параметр через json_encode(), чтобы корректно добавить кавычки.
    • Если MySQL не поддерживает JSON-функции, используйте LIKE '%"72-145920"%', как запасной вариант.

    Если нужна помощь с конкретным кодом — пишите, помогу.

  9. User

    у меня был так where=′(UFCRM1627986309LIKE?)′;where = ' (UF_CRM_1627986309 LIKE ?)'; bind = ['%'.$invoice_id.'%']; как ща

  10. Assistant

    Если в базе поле типа TEXT, в котором лежит JSON-массив вида:

    ["86-84223","72-145920","359"]
    

    и вы искали раньше так:

    $where = ' (UF_CRM_1627986309 LIKE ?)';
    $bind = ['%' . $invoice_id . '%'];
    

    то это просто поиск подстроки, как %72-145920%.


    Как сделать сейчас, чтобы надежно искать элемент в JSON-массиве, хранящемся в текстовом поле?

    Вариант с JSON_CONTAINS

    Если ваша MySQL поддерживает функции JSON (5.7+), то в SQL можно написать:

    WHERE JSON_CONTAINS(UF_CRM_1627986309, '"72-145920"')
    

    В PHP

    $where = ' JSON_CONTAINS(UF_CRM_1627986309, ?)';
    $bind = [json_encode($invoice_id)];
    

    Обратите внимание, что второй параметр функции должен быть именно JSON-строкой с кавычками, поэтому через json_encode:

    json_encode("72-145920") // даст: "\"72-145920\""
    

    Полный пример

    $invoice_id = '72-145920';
    
    $where = ' JSON_CONTAINS(UF_CRM_1627986309, ?)';
    $bind = [json_encode($invoice_id)];
    

    И потом подставляете $where и $bind в подготовленный запрос.


    Если JSON_CONTAINS не поддерживается (MySQL < 5.7)

    Тогда придется делать похожий запрос с LIKE:

    $where = ' (UF_CRM_1627986309 LIKE ?)';
    $bind = ['%"' . $invoice_id . '"%']; // ищем с кавычками, чтобы точнее
    

    Обратите внимание, что кавычки важны, чтобы не находились похожие части.


    Вывод

    • Если есть возможность — используйте JSON_CONTAINS.
    • Иначе ищите через LIKE по подстроке с кавычками.

    Если нужна помощь с конкретным примером кода — пишите!