Skip to content
TheChatArchiveThe Chat Archive
gpt-4.1-mini-2025-04-14· OpenAIAi2 WildChat-4.8M (AI2)

можно ли к дф применть astype(str)

  1. User

    можно ли к дф применть astype(str)

  2. Assistant

    Да, в pandas можно применять метод .astype(str) к DataFrame. Это преобразует все значения в DataFrame в строки. Например:

    import pandas as pd
    
    df = pd.DataFrame({
        'A': [1, 2, 3],
        'B': [4.5, 5.6, 6.7]
    })
    
    df_str = df.astype(str)
    print(df_str)
    

    Результат будет таким:

       A    B
    0  1  4.5
    1  2  5.6
    2  3  6.7
    

    Все элементы теперь имеют тип строка.

    Если нужно преобразовать только конкретный столбец, можно указать это так:

    df['A'] = df['A'].astype(str)
    

    Таким образом, .astype(str) отлично подходит для преобразования типов в строковые как для отдельных колонок, так и для всего DataFrame.

  3. User

    utf-8 bom как прочитать в питоне

  4. Assistant

    Чтобы прочитать файл с BOM UTF-8 в Python, можно использовать параметр encoding='utf-8-sig' при открытии файла. Это позволит корректно обработать BOM (Byte Order Mark) в начале файла и избежать проблем с лишними символами.

    Пример:

    # Чтение файла с BOM UTF-8
    with open('filename.txt', 'r', encoding='utf-8-sig') as f:
        content = f.read()
        print(content)
    

    Если вы используете pandas для чтения CSV с BOM, тоже можно указать encoding='utf-8-sig':

    import pandas as pd
    
    df = pd.read_csv('filename.csv', encoding='utf-8-sig')
    print(df)
    

    Таким образом, utf-8-sig — это специальная кодировка для работы с UTF-8 файлами, которые содержат BOM.

  5. User

    у меня есть условие в пандас query. как сделать так чтобы выбрать строки, которые не удовлетворяют данному условию? переписывать query не хочу

  6. Assistant

    В pandas метод .query() не имеет встроенного оператора "не" (not), но можно обойти это ограничение, используя отрицание результата фильтрации.

    Если у вас есть условие в виде строки cond, например:

    cond = 'A > 5 and B < 10'
    

    и вы хотите выбрать строки, которые НЕ удовлетворяют этому условию, но при этом не переписывать само условие, то можно сделать так:

    df.query(cond, engine='python')  # строки, удовлетворяющие условию
    

    Чтобы получить обратный результат — строки не удовлетворяющие условию — достаточно использовать булеву маску и отрицание:

    mask = df.eval(cond, engine='python')  # вычисляем булеву маску условия
    df_neg = df.loc[~mask]
    

    Или, если очень хочется использовать .query(), но "обернуть" условие в not (...) — query не поддерживает напрямую not (...). Поэтому лучше использовать комбинацию .eval() и маски.

    Полный пример:

    cond = 'A > 5 and B < 10'
    mask = df.eval(cond, engine='python')
    df_neg = df.loc[~mask]
    

    В результате df_neg — это строки, которые НЕ удовлетворяют условию cond.


    Кратко:

    • .query() не умеет просто делать "NOT <условие>"
    • Можно вычислить маску через .eval()
    • Выбрать строки по отрицательной маске через df.loc[~mask]

    Если cond сложное, вы все равно не переписываете его, а просто инвертируете результат фильтрации.

  7. User

    надо написать sql запрос чтоб выбрать строки в которых содержатся подстроки "77", "78"

  8. Assistant

    Чтобы выбрать строки, содержащие подстроки "77" или "78", вы можете использовать условие с оператором LIKE и OR в SQL.

    Пример запроса:

    SELECT *
    FROM your_table
    WHERE your_column LIKE '%77%'
       OR your_column LIKE '%78%';
    

    Здесь:

    • % — это подстановочный символ, который означает "любое количество любых символов"
    • LIKE '%77%' означает, что в значении столбца your_column встречается подстрока "77"
    • Аналогично для %78%

    Если ваша база данных поддерживает функцию SIMILAR TO или регулярные выражения, можно написать так (например, в PostgreSQL):

    SELECT *
    FROM your_table
    WHERE your_column SIMILAR TO '%(77|78)%';
    

    Или с регулярным выражением (PostgreSQL):

    SELECT *
    FROM your_table
    WHERE your_column ~ '77|78';
    

    Но обычно вариант с LIKE наиболее универсален и поддерживается всеми СУБД.

  9. User

    перепиши запрос, мне в итоговых колонках нужны только инн и вот эту колонку ,max(case when (mp.xpath_code = '/customer_info/client_id_list[0]/client_id') then (mp.strat_exec_param_val) end) as EPK_id тотал валью и код не нужны, но фильтрация по тотал валью нужна SELECT t.* FROM (SELECT m.chain_sid --ID цепочки вызовов ,max(m.shadow_flag) as shadow_flag ,max(m.strat_exec_dttm) as exec_time --Дата и время расчёта ,max(m.strat_code) as strat_code

    ,max(case when (mp.xpath_code = '/customer_info/INN') then (mp.strat_exec_param_val) end) as INN ,max(case when (mp.xpath_code = '/Risk_estimation_info/total_value') then (mp.strat_exec_param_val) end) as total_value ,max(case when (mp.xpath_code = '/Risk_estimation_info/code') then (mp.strat_exec_param_val) end) as code

    FROM arnsdprisk__custom_risk_amrlirt_sbrfsc.t_rsk_metrics_exec_strat_x_param mp -- Таблица с параметрами из расчётов моделей MEF (результат парсинга)
      INNER JOIN arnsdprisk__custom_risk_amrlirt_sbrfsc.t_rsk_metrics_exec_strat m ON m.strat_exec_rqst_sid = mp.strat_exec_rqst_sid -- Таблица с расчётами моделей MEF (общая информация)
    

    13:40 WHERE 1=1 AND m.strat_exec_part_dt IN ('2024-06-01', '2024-07-01', '2024-08-01', '2024-09-01', '2024-10-01', '2024-11-01', '2024-12-01', '2025-01-01', '2025-02-01', '2025-03-01', '2025-04-01', '2025-05-01', '2025-06-01') -- Интервал расчётов по месяцам AND m.strat_exec_part_dt = mp.strat_exec_part_dt AND m.strat_part_code IN ('RestructuringWZ', 'RestructuringSP', 'RestructuringKMS') AND m.strat_part_code = mp.strat_part_code AND m.strat_exec_rslt_code = 0 -- Расчёт успешный AND m.strat_exec_dttm BETWEEN '2024-06-01 00:00:00.000' AND '2025-06-24 00:00:00.000' -- Интервал расчётов AND m.shadow_flag = 0 -- Расчёт не теневой GROUP BY m.chain_sid HAVING total_value = 'Отказ'
    ) t ORDER BY t.exec_time

  10. Assistant

    Вот переписанный запрос с учетом ваших требований:

    • В итоговых колонках только INN и EPK_id (заменил mp.xpath_code = '/customer_info/client_id_list[0]/client_id' как вы указали).
    • Убраны total_value и code из итогового списка колонок.
    • Фильтрация по условию total_value = 'Отказ' сохранена (т.е. применяется внутри HAVING).
    • Сохранил остальные условия, структуру и сортировку.
    SELECT
        t.INN,
        t.EPK_id
    FROM (
        SELECT 
            m.chain_sid,
            MAX(CASE WHEN mp.xpath_code = '/customer_info/INN' THEN mp.strat_exec_param_val END) AS INN,
            MAX(CASE WHEN mp.xpath_code = '/customer_info/client_id_list[0]/client_id' THEN mp.strat_exec_param_val END) AS EPK_id,
            MAX(CASE WHEN mp.xpath_code = '/Risk_estimation_info/total_value' THEN mp.strat_exec_param_val END) AS total_value
        FROM arnsdprisk__custom_risk_amrlirt_sbrfsc.t_rsk_metrics_exec_strat_x_param mp
        INNER JOIN arnsdprisk__custom_risk_amrlirt_sbrfsc.t_rsk_metrics_exec_strat m
            ON m.strat_exec_rqst_sid = mp.strat_exec_rqst_sid
           AND m.strat_exec_part_dt = mp.strat_exec_part_dt
           AND m.strat_part_code = mp.strat_part_code
        WHERE 1=1
          AND m.strat_exec_part_dt IN (
              '2024-06-01', '2024-07-01', '2024-08-01', '2024-09-01', '2024-10-01', 
              '2024-11-01', '2024-12-01', '2025-01-01', '2025-02-01', '2025-03-01', 
              '2025-04-01', '2025-05-01', '2025-06-01'
          )
          AND m.strat_part_code IN ('RestructuringWZ', 'RestructuringSP', 'RestructuringKMS')
          AND m.strat_exec_rslt_code = 0
          AND m.strat_exec_dttm BETWEEN '2024-06-01 00:00:00.000' AND '2025-06-24 00:00:00.000'
          AND m.shadow_flag = 0
        GROUP BY m.chain_sid
        HAVING MAX(CASE WHEN mp.xpath_code = '/Risk_estimation_info/total_value' THEN mp.strat_exec_param_val END) = 'Отказ'
    ) t
    ORDER BY t.INN;  -- сортировка по INN (можно поменять на нужное вам поле)
    

    Комментарии:

    • Чтобы использовать HAVING по значению total_value, вынес условие из HAVING total_value = 'Отказ' в выражение для агрегата с MAX(CASE ...) (так как в SQL нельзя напрямую ссылаться на псевдоколонки в HAVING).
    • Сортировка заменена на t.INN, так как exec_time отсутствует в итоговом результате (можете вернуть, если нужно).
    • Если хотите, чтобы в выборке присутствовал, например, chain_sid или exec_time, добавьте эти колонки в выборку и в GROUP BY/агрегаты.

    Если нужен exec_time или chain_sid:

    SELECT
        t.chain_sid,
        t.INN,
        t.EPK_id
    FROM (
        -- остальное как выше --
    ) t
    ORDER BY t.exec_time;  -- если exec_time тоже есть в подзапросе
    

    В вашем первоначальном запросе exec_time был вычислен, его тоже можно добавить, если нужно.
    Дайте знать, если хотите включить!

  11. User

    нет, мне дата и идентификаторы тоже нужны, не надо только тотал валью и код

  12. Assistant

    Понял, вам нужны в итоговой выборке:

    • дата исполнения (exec_time — из max(m.strat_exec_dttm))
    • идентификаторы — INN и EPK_id
    • а вот поля total_value и code не нужны в итоговой выборке, но фильтрация по total_value = 'Отказ' должна остаться

    Вот скорректированный запрос с учётом этого:

    SELECT
        t.chain_sid,
        t.exec_time,
        t.INN,
        t.EPK_id
    FROM (
        SELECT 
            m.chain_sid,
            MAX(m.strat_exec_dttm) AS exec_time,
            MAX(CASE WHEN mp.xpath_code = '/customer_info/INN' THEN mp.strat_exec_param_val END) AS INN,
            MAX(CASE WHEN mp.xpath_code = '/customer_info/client_id_list[0]/client_id' THEN mp.strat_exec_param_val END) AS EPK_id,
            MAX(CASE WHEN mp.xpath_code = '/Risk_estimation_info/total_value' THEN mp.strat_exec_param_val END) AS total_value
        FROM arnsdprisk__custom_risk_amrlirt_sbrfsc.t_rsk_metrics_exec_strat_x_param mp
        INNER JOIN arnsdprisk__custom_risk_amrlirt_sbrfsc.t_rsk_metrics_exec_strat m
            ON m.strat_exec_rqst_sid = mp.strat_exec_rqst_sid
           AND m.strat_exec_part_dt = mp.strat_exec_part_dt
           AND m.strat_part_code = mp.strat_part_code
        WHERE 1=1
          AND m.strat_exec_part_dt IN (
              '2024-06-01', '2024-07-01', '2024-08-01', '2024-09-01', '2024-10-01', 
              '2024-11-01', '2024-12-01', '2025-01-01', '2025-02-01', '2025-03-01', 
              '2025-04-01', '2025-05-01', '2025-06-01'
          )
          AND m.strat_part_code IN ('RestructuringWZ', 'RestructuringSP', 'RestructuringKMS')
          AND m.strat_exec_rslt_code = 0
          AND m.strat_exec_dttm BETWEEN '2024-06-01 00:00:00.000' AND '2025-06-24 00:00:00.000'
          AND m.shadow_flag = 0
        GROUP BY m.chain_sid
        HAVING MAX(CASE WHEN mp.xpath_code = '/Risk_estimation_info/total_value' THEN mp.strat_exec_param_val END) = 'Отказ'
    ) t
    ORDER BY t.exec_time;
    

    Объяснение:

    • В итоговой выборке только chain_sid, exec_time, INN, EPK_id
    • total_value и code не выводятся из подзапроса, но total_value используется в HAVING для фильтрации
    • Оставлен ORDER BY по exec_time, как у вас было в исходном запросе

    Если нужно, можно добавить другие поля, просто пишите!

  13. User

    а ты можешь переписать запрос так чтобы он зависел от текущей даты?

  14. Assistant

    Конечно! Чтобы фильтрация по датам m.strat_exec_part_dt и m.strat_exec_dttm автоматически зависела от текущей даты, можно использовать функции работы с датами в SQL.

    Допустим, вы хотите взять последние 12 месяцев (включая текущий), или конкретный диапазон относительно текущей даты.

    Пример для большинства СУБД (например, PostgreSQL, SQL Server, Oracle, MySQL могут немного отличаться, напишите, если нужна конкретика):

    Пример для PostgreSQL:

    SELECT
        t.chain_sid,
        t.exec_time,
        t.INN,
        t.EPK_id
    FROM (
        SELECT 
            m.chain_sid,
            MAX(m.strat_exec_dttm) AS exec_time,
            MAX(CASE WHEN mp.xpath_code = '/customer_info/INN' THEN mp.strat_exec_param_val END) AS INN,
            MAX(CASE WHEN mp.xpath_code = '/customer_info/client_id_list[0]/client_id' THEN mp.strat_exec_param_val END) AS EPK_id,
            MAX(CASE WHEN mp.xpath_code = '/Risk_estimation_info/total_value' THEN mp.strat_exec_param_val END) AS total_value
        FROM arnsdprisk__custom_risk_amrlirt_sbrfsc.t_rsk_metrics_exec_strat_x_param mp
        INNER JOIN arnsdprisk__custom_risk_amrlirt_sbrfsc.t_rsk_metrics_exec_strat m
            ON m.strat_exec_rqst_sid = mp.strat_exec_rqst_sid
           AND m.strat_exec_part_dt = mp.strat_exec_part_dt
           AND m.strat_part_code = mp.strat_part_code
        WHERE 1=1
          AND m.strat_exec_part_dt >= date_trunc('month', current_date) - INTERVAL '11 months'
          AND m.strat_exec_part_dt <= date_trunc('month', current_date)
          AND m.strat_part_code IN ('RestructuringWZ', 'RestructuringSP', 'RestructuringKMS')
          AND m.strat_exec_rslt_code = 0
          AND m.strat_exec_dttm BETWEEN current_date - INTERVAL '1 year' AND current_date
          AND m.shadow_flag = 0
        GROUP BY m.chain_sid
        HAVING MAX(CASE WHEN mp.xpath_code = '/Risk_estimation_info/total_value' THEN mp.strat_exec_param_val END) = 'Отказ'
    ) t
    ORDER BY t.exec_time;
    

    Объяснение:

    • m.strat_exec_part_dt >= date_trunc('month', current_date) - INTERVAL '11 months' — берем даты с начала месяца текущей даты минус 11 месяцев (то есть последние 12 месяцев включительно)
    • m.strat_exec_part_dt <= date_trunc('month', current_date) — до текущего месяца включительно
    • m.strat_exec_dttm BETWEEN current_date - INTERVAL '1 year' AND current_date — диапазон для exec_dttm — последние 1 год с текущей даты

    Если у вас другая СУБД, например, SQL Server:

    WHERE m.strat_exec_part_dt >= DATEADD(MONTH, -11, EOMONTH(GETDATE(), -1))
      AND m.strat_exec_part_dt <= EOMONTH(GETDATE(), -1)
      AND m.strat_exec_dttm BETWEEN DATEADD(YEAR, -1, GETDATE()) AND GETDATE()
    

    Если нужно, могу помочь подстроить под любую конкретную базу — скажите, какая СУБД у вас.