можно ли к дф применть astype(str)
- User
можно ли к дф применть astype(str)
- Assistant
Да, в
pandasможно применять метод.astype(str)к DataFrame. Это преобразует все значения в DataFrame в строки. Например:import pandas as pd df = pd.DataFrame({ 'A': [1, 2, 3], 'B': [4.5, 5.6, 6.7] }) df_str = df.astype(str) print(df_str)Результат будет таким:
A B 0 1 4.5 1 2 5.6 2 3 6.7Все элементы теперь имеют тип строка.
Если нужно преобразовать только конкретный столбец, можно указать это так:
df['A'] = df['A'].astype(str)Таким образом,
.astype(str)отлично подходит для преобразования типов в строковые как для отдельных колонок, так и для всего DataFrame. - User
utf-8 bom как прочитать в питоне
- Assistant
Чтобы прочитать файл с BOM UTF-8 в Python, можно использовать параметр
encoding='utf-8-sig'при открытии файла. Это позволит корректно обработать BOM (Byte Order Mark) в начале файла и избежать проблем с лишними символами.Пример:
# Чтение файла с BOM UTF-8 with open('filename.txt', 'r', encoding='utf-8-sig') as f: content = f.read() print(content)Если вы используете pandas для чтения CSV с BOM, тоже можно указать
encoding='utf-8-sig':import pandas as pd df = pd.read_csv('filename.csv', encoding='utf-8-sig') print(df)Таким образом,
utf-8-sig— это специальная кодировка для работы с UTF-8 файлами, которые содержат BOM. - User
у меня есть условие в пандас query. как сделать так чтобы выбрать строки, которые не удовлетворяют данному условию? переписывать query не хочу
- Assistant
В
pandasметод.query()не имеет встроенного оператора "не" (not), но можно обойти это ограничение, используя отрицание результата фильтрации.Если у вас есть условие в виде строки
cond, например:cond = 'A > 5 and B < 10'и вы хотите выбрать строки, которые НЕ удовлетворяют этому условию, но при этом не переписывать само условие, то можно сделать так:
df.query(cond, engine='python') # строки, удовлетворяющие условиюЧтобы получить обратный результат — строки не удовлетворяющие условию — достаточно использовать булеву маску и отрицание:
mask = df.eval(cond, engine='python') # вычисляем булеву маску условия df_neg = df.loc[~mask]Или, если очень хочется использовать
.query(), но "обернуть" условие вnot (...)—queryне поддерживает напрямуюnot (...). Поэтому лучше использовать комбинацию.eval()и маски.Полный пример:
cond = 'A > 5 and B < 10' mask = df.eval(cond, engine='python') df_neg = df.loc[~mask]В результате
df_neg— это строки, которые НЕ удовлетворяют условиюcond.
Кратко:
.query()не умеет просто делать "NOT <условие>"- Можно вычислить маску через
.eval() - Выбрать строки по отрицательной маске через
df.loc[~mask]
Если
condсложное, вы все равно не переписываете его, а просто инвертируете результат фильтрации. - User
надо написать sql запрос чтоб выбрать строки в которых содержатся подстроки "77", "78"
- Assistant
Чтобы выбрать строки, содержащие подстроки
"77"или"78", вы можете использовать условие с операторомLIKEиORв SQL.Пример запроса:
SELECT * FROM your_table WHERE your_column LIKE '%77%' OR your_column LIKE '%78%';Здесь:
%— это подстановочный символ, который означает "любое количество любых символов"LIKE '%77%'означает, что в значении столбцаyour_columnвстречается подстрока"77"- Аналогично для
%78%
Если ваша база данных поддерживает функцию
SIMILAR TOили регулярные выражения, можно написать так (например, в PostgreSQL):SELECT * FROM your_table WHERE your_column SIMILAR TO '%(77|78)%';Или с регулярным выражением (PostgreSQL):
SELECT * FROM your_table WHERE your_column ~ '77|78';Но обычно вариант с
LIKEнаиболее универсален и поддерживается всеми СУБД. - User
перепиши запрос, мне в итоговых колонках нужны только инн и вот эту колонку ,max(case when (mp.xpath_code = '/customer_info/client_id_list[0]/client_id') then (mp.strat_exec_param_val) end) as EPK_id тотал валью и код не нужны, но фильтрация по тотал валью нужна SELECT t.* FROM (SELECT m.chain_sid --ID цепочки вызовов ,max(m.shadow_flag) as shadow_flag ,max(m.strat_exec_dttm) as exec_time --Дата и время расчёта ,max(m.strat_code) as strat_code
,max(case when (mp.xpath_code = '/customer_info/INN') then (mp.strat_exec_param_val) end) as INN ,max(case when (mp.xpath_code = '/Risk_estimation_info/total_value') then (mp.strat_exec_param_val) end) as total_value ,max(case when (mp.xpath_code = '/Risk_estimation_info/code') then (mp.strat_exec_param_val) end) as code
FROM arnsdprisk__custom_risk_amrlirt_sbrfsc.t_rsk_metrics_exec_strat_x_param mp -- Таблица с параметрами из расчётов моделей MEF (результат парсинга) INNER JOIN arnsdprisk__custom_risk_amrlirt_sbrfsc.t_rsk_metrics_exec_strat m ON m.strat_exec_rqst_sid = mp.strat_exec_rqst_sid -- Таблица с расчётами моделей MEF (общая информация)13:40 WHERE 1=1 AND m.strat_exec_part_dt IN ('2024-06-01', '2024-07-01', '2024-08-01', '2024-09-01', '2024-10-01', '2024-11-01', '2024-12-01', '2025-01-01', '2025-02-01', '2025-03-01', '2025-04-01', '2025-05-01', '2025-06-01') -- Интервал расчётов по месяцам AND m.strat_exec_part_dt = mp.strat_exec_part_dt AND m.strat_part_code IN ('RestructuringWZ', 'RestructuringSP', 'RestructuringKMS') AND m.strat_part_code = mp.strat_part_code AND m.strat_exec_rslt_code = 0 -- Расчёт успешный AND m.strat_exec_dttm BETWEEN '2024-06-01 00:00:00.000' AND '2025-06-24 00:00:00.000' -- Интервал расчётов AND m.shadow_flag = 0 -- Расчёт не теневой GROUP BY m.chain_sid HAVING total_value = 'Отказ'
) t ORDER BY t.exec_time - Assistant
Вот переписанный запрос с учетом ваших требований:
- В итоговых колонках только INN и EPK_id (заменил
mp.xpath_code = '/customer_info/client_id_list[0]/client_id'как вы указали). - Убраны
total_valueиcodeиз итогового списка колонок. - Фильтрация по условию
total_value = 'Отказ'сохранена (т.е. применяется внутриHAVING). - Сохранил остальные условия, структуру и сортировку.
SELECT t.INN, t.EPK_id FROM ( SELECT m.chain_sid, MAX(CASE WHEN mp.xpath_code = '/customer_info/INN' THEN mp.strat_exec_param_val END) AS INN, MAX(CASE WHEN mp.xpath_code = '/customer_info/client_id_list[0]/client_id' THEN mp.strat_exec_param_val END) AS EPK_id, MAX(CASE WHEN mp.xpath_code = '/Risk_estimation_info/total_value' THEN mp.strat_exec_param_val END) AS total_value FROM arnsdprisk__custom_risk_amrlirt_sbrfsc.t_rsk_metrics_exec_strat_x_param mp INNER JOIN arnsdprisk__custom_risk_amrlirt_sbrfsc.t_rsk_metrics_exec_strat m ON m.strat_exec_rqst_sid = mp.strat_exec_rqst_sid AND m.strat_exec_part_dt = mp.strat_exec_part_dt AND m.strat_part_code = mp.strat_part_code WHERE 1=1 AND m.strat_exec_part_dt IN ( '2024-06-01', '2024-07-01', '2024-08-01', '2024-09-01', '2024-10-01', '2024-11-01', '2024-12-01', '2025-01-01', '2025-02-01', '2025-03-01', '2025-04-01', '2025-05-01', '2025-06-01' ) AND m.strat_part_code IN ('RestructuringWZ', 'RestructuringSP', 'RestructuringKMS') AND m.strat_exec_rslt_code = 0 AND m.strat_exec_dttm BETWEEN '2024-06-01 00:00:00.000' AND '2025-06-24 00:00:00.000' AND m.shadow_flag = 0 GROUP BY m.chain_sid HAVING MAX(CASE WHEN mp.xpath_code = '/Risk_estimation_info/total_value' THEN mp.strat_exec_param_val END) = 'Отказ' ) t ORDER BY t.INN; -- сортировка по INN (можно поменять на нужное вам поле)Комментарии:
- Чтобы использовать
HAVINGпо значениюtotal_value, вынес условие изHAVING total_value = 'Отказ'в выражение для агрегата сMAX(CASE ...)(так как в SQL нельзя напрямую ссылаться на псевдоколонки вHAVING). - Сортировка заменена на
t.INN, так какexec_timeотсутствует в итоговом результате (можете вернуть, если нужно). - Если хотите, чтобы в выборке присутствовал, например,
chain_sidилиexec_time, добавьте эти колонки в выборку и вGROUP BY/агрегаты.
Если нужен
exec_timeилиchain_sid:SELECT t.chain_sid, t.INN, t.EPK_id FROM ( -- остальное как выше -- ) t ORDER BY t.exec_time; -- если exec_time тоже есть в подзапросеВ вашем первоначальном запросе
exec_timeбыл вычислен, его тоже можно добавить, если нужно.
Дайте знать, если хотите включить! - В итоговых колонках только INN и EPK_id (заменил
- User
нет, мне дата и идентификаторы тоже нужны, не надо только тотал валью и код
- Assistant
Понял, вам нужны в итоговой выборке:
- дата исполнения (
exec_time— изmax(m.strat_exec_dttm)) - идентификаторы —
INNиEPK_id - а вот поля
total_valueиcodeне нужны в итоговой выборке, но фильтрация поtotal_value = 'Отказ'должна остаться
Вот скорректированный запрос с учётом этого:
SELECT t.chain_sid, t.exec_time, t.INN, t.EPK_id FROM ( SELECT m.chain_sid, MAX(m.strat_exec_dttm) AS exec_time, MAX(CASE WHEN mp.xpath_code = '/customer_info/INN' THEN mp.strat_exec_param_val END) AS INN, MAX(CASE WHEN mp.xpath_code = '/customer_info/client_id_list[0]/client_id' THEN mp.strat_exec_param_val END) AS EPK_id, MAX(CASE WHEN mp.xpath_code = '/Risk_estimation_info/total_value' THEN mp.strat_exec_param_val END) AS total_value FROM arnsdprisk__custom_risk_amrlirt_sbrfsc.t_rsk_metrics_exec_strat_x_param mp INNER JOIN arnsdprisk__custom_risk_amrlirt_sbrfsc.t_rsk_metrics_exec_strat m ON m.strat_exec_rqst_sid = mp.strat_exec_rqst_sid AND m.strat_exec_part_dt = mp.strat_exec_part_dt AND m.strat_part_code = mp.strat_part_code WHERE 1=1 AND m.strat_exec_part_dt IN ( '2024-06-01', '2024-07-01', '2024-08-01', '2024-09-01', '2024-10-01', '2024-11-01', '2024-12-01', '2025-01-01', '2025-02-01', '2025-03-01', '2025-04-01', '2025-05-01', '2025-06-01' ) AND m.strat_part_code IN ('RestructuringWZ', 'RestructuringSP', 'RestructuringKMS') AND m.strat_exec_rslt_code = 0 AND m.strat_exec_dttm BETWEEN '2024-06-01 00:00:00.000' AND '2025-06-24 00:00:00.000' AND m.shadow_flag = 0 GROUP BY m.chain_sid HAVING MAX(CASE WHEN mp.xpath_code = '/Risk_estimation_info/total_value' THEN mp.strat_exec_param_val END) = 'Отказ' ) t ORDER BY t.exec_time;
Объяснение:
- В итоговой выборке только
chain_sid,exec_time,INN,EPK_id total_valueиcodeне выводятся из подзапроса, ноtotal_valueиспользуется вHAVINGдля фильтрации- Оставлен
ORDER BYпоexec_time, как у вас было в исходном запросе
Если нужно, можно добавить другие поля, просто пишите!
- дата исполнения (
- User
а ты можешь переписать запрос так чтобы он зависел от текущей даты?
- Assistant
Конечно! Чтобы фильтрация по датам
m.strat_exec_part_dtиm.strat_exec_dttmавтоматически зависела от текущей даты, можно использовать функции работы с датами в SQL.Допустим, вы хотите взять последние 12 месяцев (включая текущий), или конкретный диапазон относительно текущей даты.
Пример для большинства СУБД (например, PostgreSQL, SQL Server, Oracle, MySQL могут немного отличаться, напишите, если нужна конкретика):
Пример для PostgreSQL:
SELECT t.chain_sid, t.exec_time, t.INN, t.EPK_id FROM ( SELECT m.chain_sid, MAX(m.strat_exec_dttm) AS exec_time, MAX(CASE WHEN mp.xpath_code = '/customer_info/INN' THEN mp.strat_exec_param_val END) AS INN, MAX(CASE WHEN mp.xpath_code = '/customer_info/client_id_list[0]/client_id' THEN mp.strat_exec_param_val END) AS EPK_id, MAX(CASE WHEN mp.xpath_code = '/Risk_estimation_info/total_value' THEN mp.strat_exec_param_val END) AS total_value FROM arnsdprisk__custom_risk_amrlirt_sbrfsc.t_rsk_metrics_exec_strat_x_param mp INNER JOIN arnsdprisk__custom_risk_amrlirt_sbrfsc.t_rsk_metrics_exec_strat m ON m.strat_exec_rqst_sid = mp.strat_exec_rqst_sid AND m.strat_exec_part_dt = mp.strat_exec_part_dt AND m.strat_part_code = mp.strat_part_code WHERE 1=1 AND m.strat_exec_part_dt >= date_trunc('month', current_date) - INTERVAL '11 months' AND m.strat_exec_part_dt <= date_trunc('month', current_date) AND m.strat_part_code IN ('RestructuringWZ', 'RestructuringSP', 'RestructuringKMS') AND m.strat_exec_rslt_code = 0 AND m.strat_exec_dttm BETWEEN current_date - INTERVAL '1 year' AND current_date AND m.shadow_flag = 0 GROUP BY m.chain_sid HAVING MAX(CASE WHEN mp.xpath_code = '/Risk_estimation_info/total_value' THEN mp.strat_exec_param_val END) = 'Отказ' ) t ORDER BY t.exec_time;Объяснение:
m.strat_exec_part_dt >= date_trunc('month', current_date) - INTERVAL '11 months'— берем даты с начала месяца текущей даты минус 11 месяцев (то есть последние 12 месяцев включительно)m.strat_exec_part_dt <= date_trunc('month', current_date)— до текущего месяца включительноm.strat_exec_dttm BETWEEN current_date - INTERVAL '1 year' AND current_date— диапазон дляexec_dttm— последние 1 год с текущей даты
Если у вас другая СУБД, например, SQL Server:
WHERE m.strat_exec_part_dt >= DATEADD(MONTH, -11, EOMONTH(GETDATE(), -1)) AND m.strat_exec_part_dt <= EOMONTH(GETDATE(), -1) AND m.strat_exec_dttm BETWEEN DATEADD(YEAR, -1, GETDATE()) AND GETDATE()
Если нужно, могу помочь подстроить под любую конкретную базу — скажите, какая СУБД у вас.