что за ошибка ValueError Traceback (most recent call last)…
- User
что за ошибка ValueError Traceback (most recent call last) in --> 1 appstepsdf appsteps toPandas() /usr/sdp/current/spark2-client/python/pysparк/sql/dataframe.py in toPandas(self) il pandas_type is not None and
not(isinstance(field.dataType, IntegralType) and field.nullable and -> 2161 pdf[field.name].isnull().any()): dtypeffield name pandas_type 2163 /opt/sdp/py36zno20008661/lib64/python3.6/site-packages/pandas/core/generic.py in nonzero(self) def _________________________________________________________________________________________nonzero(self): raise ValueError( -> 1330 f"The truth value of a {type(self). name } is ambiguous. " 1331 "Use a.empty, a.bool(), a.item(), a.any() or a.all()." ) ValueError: The truth value of a Series is ambiguous. Use a.empty, a.bool(), a.item(), a.any() or a.all(). - Assistant
Ошибка
ValueError: The truth value of a Series is ambiguousв основном возникает в Pandas, когда код пытается использовать объектSeries(или его элементы) в контексте, требующем булевого значения (например, в условииifилиwhile).Ошибка, которую вы показали, может быть вызвана следующим:
-
Аргумент
toPandas(): Может быть, вы вызвалиtoPandas()без указания правильного контекста или данных. Возможно, ошибка произошла потому, что DataFrame не был корректно инициализирован. -
Пропущенный оператор или аргумент: Судя по строке
appstepsdf appsteps toPandas(), похоже на то, что скопированная строка имеет синтаксические ошибки. Скорее всего, это должно бытьappstepsdf.toPandas()или что-то подобное.
Что можно сделать:
- Проверьте синтаксис и убедитесь, что метод
toPandas()вызывается правильно. - Убедитесь, что
appstepsdf— это действительно Spark DataFrame. - Если у вас есть условия, использующие Series, замените выражения на
a.empty,a.bool(),a.item(),a.any()илиa.all(), как указано в сообщении об ошибке.
Вы также можете попробовать следующее:
- Убедитесь, что вы инициализировали
appstepsdfкак Spark DataFrame перед вызовомtoPandas(). - Проверьте, нет ли в вашем коде разрыва строки или пропущенного оператора, например точки перед
toPandas(). - Если в DataFrame есть пропущенные или некорректные данные, попробуйте очистить или перепроверить набор данных перед конвертацией в Pandas.
Исправьте код, чтобы он выглядел корректно, например:
appstepsdf = spark.read... # Ваш код для чтения или создания DataFrame pdf = appstepsdf.toPandas() # Корректный вызов методаУстранение ошибок в синтаксисе и правильное использование методов поможет вам избавиться от этой ошибки.
-
- User
я не хочу создавать новые таблицы. перепиши запрос так чтобы получить конечную таблицу одним запросом без создания промежуточных таблиц create table table_2 as ( select r.chain_sid ,r.exec_time ,r.inn ,rd.inparams --Входное сообщение ,rd.outparams --Исходящие данные from table_1 r left join prx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_executedstrategydto rd on r.chain_sid = rd.chainid --Таблица с расчётами стратегий СПР (нераспаршенные json-ы) where 1=1 and r.rn = 1 --Только последний расчёт по заявке and rd.strategyid like 'Digital_Risk_SME%' and rd.rscode = 0 --Расчёт успешный and rd.shadow = 0 --Расчёт не теневой order by r.exec_time )
Шаг 3. Затем из дочерней стратегии подтягиваем данные агрегатов MMBScore и IRB_SME_SPR_V2 и результат работы подстратегии расчёта рейтинга:
create table table_3 as ( select r.* ,rds.outparams as getMmbScore --Исходящие данные from table_2 r join prx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_executedstrategydto rd on rd.chainid = r.chain_sid join prx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_strategystepdto rds on rds.executedstrategyid = rd.rquid where 1=1 and rd.strategyid like 'mmb-application%' --Код стратегии and rd.shadow = false --Расчёт не теневой and rds.stepbusinessid = 'getMmbScore' --Код шага стратегии order by r.exec_time )
create table table_4 as ( select r.* ,rds.outparams as getIrbSmeSprV2Score --Исходящие данные from table_3 r join prx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_executedstrategydto rd on rd.chainid = r.chain_sid join prx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_strategystepdto rds on rds.executedstrategyid = rd.rquid where 1=1 and rd.strategyid like 'mmb-application%' --Код стратегии and rd.shadow = false --Расчёт не теневой and rds.stepbusinessid = 'getIrbSmeSprV2Score' --Код шага стратегии order by r.exec_time )
create table table_5 as ( select r.* ,rds.outparams as getRating --Исходящие данные from table_4 irb r join prx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_executedstrategydto rd on rd.chainid = r.chain_sid join prx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_strategystepdto rds on rds.executedstrategyid = rd.rquid where 1=1 and rd.strategyid like 'mmb-application%' --Код стратегии and rd.shadow = false --Расчёт не теневой and rds.stepbusinessid = 'getRating' --Код шага стратегии order by r.exec_time )
- Assistant
Чтобы объединить ваши запросы в один без создания промежуточных таблиц, можно использовать вложенные подзапросы и CTE (Common Table Expressions). Вот как это можно сделать:
with initial_table as ( select r.chain_sid, r.exec_time, r.inn, rd.inparams, rd.outparams from table_1 r left join prx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_executedstrategydto rd on r.chain_sid = rd.chainid where r.rn = 1 and rd.strategyid like 'Digital_Risk_SME%' and rd.rscode = 0 and rd.shadow = 0 ), with_mmb_score as ( select r.*, rds.outparams as getMmbScore from initial_table r join prx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_executedstrategydto rd on rd.chainid = r.chain_sid join prx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_strategystepdto rds on rds.executedstrategyid = rd.rquid where rd.strategyid like 'mmb-application%' and rd.shadow = false and rds.stepbusinessid = 'getMmbScore' ), with_irb_sme_spr_v2 as ( select r.*, rds.outparams as getIrbSmeSprV2Score from with_mmb_score r join prx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_executedstrategydto rd on rd.chainid = r.chain_sid join prx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_strategystepdto rds on rds.executedstrategyid = rd.rquid where rd.strategyid like 'mmb-application%' and rd.shadow = false and rds.stepbusinessid = 'getIrbSmeSprV2Score' ) select r.*, rds.outparams as getRating from with_irb_sme_spr_v2 r join prx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_executedstrategydto rd on rd.chainid = r.chain_sid join prx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_strategystepdto rds on rds.executedstrategyid = rd.rquid where rd.strategyid like 'mmb-application%' and rd.shadow = false and rds.stepbusinessid = 'getRating' order by r.exec_time;- В этом запросе используется CTE для постепенной подготовки данных.
initial_tableсобирает данные из первой таблицы.with_mmb_scoreподцепляет данные с использованием первого агрегата.with_irb_sme_spr_v2добавляет данные второго агрегата.
Наконец, итоговый запрос выбирает данные готовой таблицы. Таким образом, вы избегаете создания промежуточных таблиц в базе данных.
- User
вместо первого запроса где у тебя initial table я хочу сделать выбор полностью таблицы без джоинов prx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_executedstrategydto. перепиши запрос
- Assistant
Конечно, если вы хотите отказаться от использования соединений с таблицей
prx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_executedstrategydtoв первом шаге и выбросить её данные в итоге, можно переписать запрос следующим образом:with initial_table as ( select * from table_1 where rn = 1 ), with_mmb_score as ( select r.*, rds.outparams as getMmbScore from initial_table r join prx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_executedstrategydto rd on rd.chainid = r.chain_sid join prx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_strategystepdto rds on rds.executedstrategyid = rd.rquid where rd.strategyid like 'mmb-application%' and rd.shadow = false and rds.stepbusinessid = 'getMmbScore' ), with_irb_sme_spr_v2 as ( select r.*, rds.outparams as getIrbSmeSprV2Score from with_mmb_score r join prx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_executedstrategydto rd on rd.chainid = r.chain_sid join prx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_strategystepdto rds on rds.executedstrategyid = rd.rquid where rd.strategyid like 'mmb-application%' and rd.shadow = false and rds.stepbusinessid = 'getIrbSmeSprV2Score' ) select r.*, rds.outparams as getRating from with_irb_sme_spr_v2 r join prx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_executedstrategydto rd on rd.chainid = r.chain_sid join prx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_strategystepdto rds on rds.executedstrategyid = rd.rquid where rd.strategyid like 'mmb-application%' and rd.shadow = false and rds.stepbusinessid = 'getRating' order by r.exec_time;Теперь в
initial_tableпросто выбираются все записи изtable_1, соблюдая условиеrn = 1. Остальные шаги не изменены, так как они предполагают работу с агрегированными данными и данными из таблицыprx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_executedstrategydto. - User
нет, у меня нет table_1, вместо нее я хочу просто отобрать все из таблицы prx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_executedstrategydto
- Assistant
Если ваша цель — просто выбрать все записи из таблицы
prx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_executedstrategydto, и затем производить необходимые соединения и фильтрования на следующих этапах, ваш запрос может выглядеть так:with initial_table as ( select * from prx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_executedstrategydto where strategyid like 'Digital_Risk_SME%' and rscode = 0 and shadow = 0 ), with_mmb_score as ( select r.*, rds.outparams as getMmbScore from initial_table r join prx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_strategystepdto rds on rds.executedstrategyid = r.rquid where r.strategyid like 'mmb-application%' and r.shadow = false and rds.stepbusinessid = 'getMmbScore' ), with_irb_sme_spr_v2 as ( select r.*, rds.outparams as getIrbSmeSprV2Score from with_mmb_score r join prx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_strategystepdto rds on rds.executedstrategyid = r.rquid where r.strategyid like 'mmb-application%' and r.shadow = false and rds.stepbusinessid = 'getIrbSmeSprV2Score' ) select r.*, rds.outparams as getRating from with_irb_sme_spr_v2 r join prx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_strategystepdto rds on rds.executedstrategyid = r.rquid where r.strategyid like 'mmb-application%' and r.shadow = false and rds.stepbusinessid = 'getRating' order by r.exec_time;- В
initial_tableтеперь выбирается всё изcom_sbt_bm_calculations_dto_tsa4_executedstrategydtoс нужными условиями. - Используем
Common Table Expressions (CTE)чтобы последовательно добавлять данные оgetMmbScore,getIrbSmeSprV2Score, иgetRating. - На каждом этапе применяются фильтры, специфичные для этого шага, для получения нужных результатов.
- В
- User
исправь запрос with initial_table as ( select * from
prx_spr4_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_executedstrategydtowhere and strategyid like 'mmb-application%' and rscode = 0 and shadow = 0 and dateexec between '2024-08-14 00:00:00.000000' and '2024-08-22 00:00:00.000000' order by dateexec ), with_second_call_RR2 as ( select r., rds.outparams as getMmbScore from initial_table r joinprx_spr4_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_executedstrategydtord on rd.chainid = r.chain_sid joinprx_spr4_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_strategystepdtords on rds.executedstrategyid = rd.rquid where rd.strategyid like 'mmb-application%' and rd.shadow = false and rds.stepbusinessid = 'second_call_RR2' ), with_call_armodel_2_0 as ( select r., rds.outparams as getMmbScore from initial_table r joinprx_spr4_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_executedstrategydtord on rd.chainid = r.chain_sid joinprx_spr4_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_strategystepdtords on rds.executedstrategyid = rd.rquid where rd.strategyid like 'mmb-application%' and rd.shadow = false and rds.stepbusinessid = 'call_armodel_2.0' ), with_mmb_score as ( select r., rds.outparams as getMmbScore from initial_table r joinprx_spr4_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_executedstrategydtord on rd.chainid = r.chain_sid joinprx_spr4_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_strategystepdtords on rds.executedstrategyid = rd.rquid where rd.strategyid like 'mmb-application%' and rd.shadow = false and rds.stepbusinessid = 'getMmbScore' ), with_irb_sme_spr_v2 as ( select r., rds.outparams as getIrbSmeSprV2Score from with_mmb_score r joinprx_spr4_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_executedstrategydtord on rd.chainid = r.chain_sid joinprx_spr4_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_strategystepdtords on rds.executedstrategyid = rd.rquid where rd.strategyid like 'mmb-application%' and rd.shadow = false and rds.stepbusinessid = 'getIrbSmeSprV2Score' ) select r.*, rds.outparams as getRR2 from with_irb_sme_spr_v2 r joinprx_spr4_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_executedstrategydtord on rd.chainid = r.chain_sid joinprx_spr4_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_strategystepdtords on rds.executedstrategyid = rd.rquid where rd.strategyid like 'mmb-application%' and rd.shadow = false and rds.stepbusinessid = 'getRR2' order by r.exec_time; - Assistant
Есть несколько ошибок в вашем запросе, которые нужно исправить:
- Условие
whereвinitial_tableне должно начинаться сand. - Следует убедиться, что все подзапросы корректно связаны друг с другом.
- Полное выделение всех подзапросов и вложенных условий требует обеспечения правильной передачи данных между подзапросами.
Вот исправленный вариант вашего SQL-запроса:
with initial_table as ( select * from `prx_spr4_platform_spr_4_0`.`com_sbt_bm_calculations_dto_tsa4_executedstrategydto` where strategyid like 'mmb-application%' and rscode = 0 and shadow = 0 and dateexec between '2024-08-14 00:00:00.000000' and '2024-08-22 00:00:00.000000' order by dateexec ), with_second_call_RR2 as ( select r.*, rds.outparams as getMmbScore from initial_table r join `prx_spr4_platform_spr_4_0`.`com_sbt_bm_calculations_dto_tsa4_strategystepdto` rds on rds.executedstrategyid = r.rquid where r.strategyid like 'mmb-application%' and r.shadow = false and rds.stepbusinessid = 'second_call_RR2' ), with_call_armodel_2_0 as ( select r.*, rds.outparams as getMmbScore from initial_table r join `prx_spr4_platform_spr_4_0`.`com_sbt_bm_calculations_dto_tsa4_strategystepdto` rds on rds.executedstrategyid = r.rquid where r.strategyid like 'mmb-application%' and r.shadow = false and rds.stepbusinessid = 'call_armodel_2.0' ), with_mmb_score as ( select r.*, rds.outparams as getMmbScore from initial_table r join `prx_spr4_platform_spr_4_0`.`com_sbt_bm_calculations_dto_tsa4_strategystepdto` rds on rds.executedstrategyid = r.rquid where r.strategyid like 'mmb-application%' and r.shadow = false and rds.stepbusinessid = 'getMmbScore' ), with_irb_sme_spr_v2 as ( select r.*, rds.outparams as getIrbSmeSprV2Score from with_mmb_score r join `prx_spr4_platform_spr_4_0`.`com_sbt_bm_calculations_dto_tsa4_strategystepdto` rds on rds.executedstrategyid = r.rquid where r.strategyid like 'mmb-application%' and r.shadow = false and rds.stepbusinessid = 'getIrbSmeSprV2Score' ) select r.*, rds.outparams as getRR2 from with_irb_sme_spr_v2 r join `prx_spr4_platform_spr_4_0`.`com_sbt_bm_calculations_dto_tsa4_strategystepdto` rds on rds.executedstrategyid = r.rquid where r.strategyid like 'mmb-application%' and r.shadow = false and rds.stepbusinessid = 'getRR2' order by r.exec_time;Что было исправлено:
- Убрано лишнее слово
andв начале условияwhereв секцииinitial_table. - Убедился, что соединения в каждом подзапросе выполняются корректно.
- Убедился, что каждый
withблок корректно использует нужные данные и передает их в следующее выражение.
Этот запрос теперь должен быть корректным при условии, что данные и таблицы существуют в том формате, как это предполагает запрос.
- Условие
- User
не достаются некоторые таблицы со 2 по 4. то есть некоторые столбцы отстутствуют. почему это может быть
- Assistant
Отсутствие некоторых столбцов может быть вызвано несколькими причинами. Рассмотрим основные:
-
Отсутствие данных в исходных таблицах:
- Если некоторые значения не заполнены в вашей основной таблице или в таблицах, которые используются для соединения, соответствующие столбцы могут быть пустыми в результирующем наборе данных.
-
Тип соединения:
- Если вы используете
JOINвместоLEFT JOIN, а соответствующих записей нет в других таблицах, данные из этих таблиц не будут включены в результат. - Вы можете изменить
JOINнаLEFT JOIN, чтобы включить все записи из основной таблицы, и увидеть, есть ли вообще соответствие в соединяемых таблицах.
- Если вы используете
-
Условие фильтрации:
- Проверьте условия, которые вы применяете в
WHEREразделе. Возможно, они слишком строгие и отфильтровывают нужные записи. - Проверьте, что все условия в ваш запрос должны совпадать с теми данными, которые вы ожидаете получить.
- Проверьте условия, которые вы применяете в
-
Ошибка в идентификаторах (например, в
chain_sidилиrquid):- Убедитесь, что используете правильные идентификаторы для соединения таблиц.
- Проверьте соответствие данных, поскольку не всегда столбцы могут содержать соответствующие значения.
-
Столбцы с таким же именем:
- При использовании
SELECT *, если в объединяемых таблицах есть столбцы с одинаковыми именами, некоторые из них могут быть перезаписаны или потеряны. Лучше указывать конкретные столбцы для получения, чтобы избежать конфликта имен.
- При использовании
Чтобы решить проблему:
- Используйте
LEFT JOIN: Попробуйте изменить объединение наLEFT JOIN, чтобы убедиться, что получаете все строки из основной таблицы. - Проверяйте наличие и корректность данных: Убедитесь, что данные есть и соответствуют заданным условиям.
- Выберите конкретные столбцы: Попробуйте выбрать конкретные столбцы, чтобы избежать потери данных при совпадении имен.
Попробуйте другой, более подробный запрос для диагностики:
select r.chain_sid, r.exec_time, r.inn, rds1.outparams as getMmbScore, rds2.outparams as getIrbSmeSprV2Score, rds3.outparams as getRR2 from prx_spr4_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_executedstrategydto r left join prx_spr4_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_strategystepdto rds1 on rds1.executedstrategyid = r.rquid and rds1.stepbusinessid = 'getMmbScore' left join prx_spr4_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_strategystepdto rds2 on rds2.executedstrategyid = r.rquid and rds2.stepbusinessid = 'getIrbSmeSprV2Score' left join prx_spr4_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_strategystepdto rds3 on rds3.executedstrategyid = r.rquid and rds3.stepbusinessid = 'getRR2' where r.strategyid like 'mmb-application%' and r.shadow = false and r.rscode = 0 and r.dateexec between '2024-08-14 00:00:00.000000' and '2024-08-22 00:00:00.000000' order by r.exec_time;Это упростит вашу диагностику, показывая, где именно в соединении может отсутствовать требуемая информация.
-