Skip to content
TheChatArchiveThe Chat Archive
gpt-4o-2024-08-06· OpenAIAi2 WildChat-4.8M (AI2)

что за ошибка ValueError Traceback (most recent call last)…

  1. User

    что за ошибка ValueError Traceback (most recent call last) in --> 1 appstepsdf appsteps toPandas() /usr/sdp/current/spark2-client/python/pysparк/sql/dataframe.py in toPandas(self) il pandas_type is not None and
    not(isinstance(field.dataType, IntegralType) and field.nullable and -> 2161 pdf[field.name].isnull().any()): dtypeffield name pandas_type 2163 /opt/sdp/py36zno20008661/lib64/python3.6/site-packages/pandas/core/generic.py in nonzero(self) def _________________________________________________________________________________________nonzero(self): raise ValueError( -> 1330 f"The truth value of a {type(self). name } is ambiguous. " 1331 "Use a.empty, a.bool(), a.item(), a.any() or a.all()." ) ValueError: The truth value of a Series is ambiguous. Use a.empty, a.bool(), a.item(), a.any() or a.all().

  2. Assistant

    Ошибка ValueError: The truth value of a Series is ambiguous в основном возникает в Pandas, когда код пытается использовать объект Series (или его элементы) в контексте, требующем булевого значения (например, в условии if или while).

    Ошибка, которую вы показали, может быть вызвана следующим:

    1. Аргумент toPandas(): Может быть, вы вызвали toPandas() без указания правильного контекста или данных. Возможно, ошибка произошла потому, что DataFrame не был корректно инициализирован.

    2. Пропущенный оператор или аргумент: Судя по строке appstepsdf appsteps toPandas(), похоже на то, что скопированная строка имеет синтаксические ошибки. Скорее всего, это должно быть appstepsdf.toPandas() или что-то подобное.

    Что можно сделать:

    • Проверьте синтаксис и убедитесь, что метод toPandas() вызывается правильно.
    • Убедитесь, что appstepsdf — это действительно Spark DataFrame.
    • Если у вас есть условия, использующие Series, замените выражения на a.empty, a.bool(), a.item(), a.any() или a.all(), как указано в сообщении об ошибке.

    Вы также можете попробовать следующее:

    • Убедитесь, что вы инициализировали appstepsdf как Spark DataFrame перед вызовом toPandas().
    • Проверьте, нет ли в вашем коде разрыва строки или пропущенного оператора, например точки перед toPandas().
    • Если в DataFrame есть пропущенные или некорректные данные, попробуйте очистить или перепроверить набор данных перед конвертацией в Pandas.

    Исправьте код, чтобы он выглядел корректно, например:

    appstepsdf = spark.read...  # Ваш код для чтения или создания DataFrame
    pdf = appstepsdf.toPandas()  # Корректный вызов метода
    

    Устранение ошибок в синтаксисе и правильное использование методов поможет вам избавиться от этой ошибки.

  3. User

    я не хочу создавать новые таблицы. перепиши запрос так чтобы получить конечную таблицу одним запросом без создания промежуточных таблиц create table table_2 as ( select r.chain_sid ,r.exec_time ,r.inn ,rd.inparams --Входное сообщение ,rd.outparams --Исходящие данные from table_1 r left join prx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_executedstrategydto rd on r.chain_sid = rd.chainid --Таблица с расчётами стратегий СПР (нераспаршенные json-ы) where 1=1 and r.rn = 1 --Только последний расчёт по заявке and rd.strategyid like 'Digital_Risk_SME%' and rd.rscode = 0 --Расчёт успешный and rd.shadow = 0 --Расчёт не теневой order by r.exec_time )

    Шаг 3. Затем из дочерней стратегии подтягиваем данные агрегатов MMBScore и IRB_SME_SPR_V2 и результат работы подстратегии расчёта рейтинга:

    create table table_3 as ( select r.* ,rds.outparams as getMmbScore --Исходящие данные from table_2 r join prx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_executedstrategydto rd on rd.chainid = r.chain_sid join prx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_strategystepdto rds on rds.executedstrategyid = rd.rquid where 1=1 and rd.strategyid like 'mmb-application%' --Код стратегии and rd.shadow = false --Расчёт не теневой and rds.stepbusinessid = 'getMmbScore' --Код шага стратегии order by r.exec_time )

    create table table_4 as ( select r.* ,rds.outparams as getIrbSmeSprV2Score --Исходящие данные from table_3 r join prx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_executedstrategydto rd on rd.chainid = r.chain_sid join prx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_strategystepdto rds on rds.executedstrategyid = rd.rquid where 1=1 and rd.strategyid like 'mmb-application%' --Код стратегии and rd.shadow = false --Расчёт не теневой and rds.stepbusinessid = 'getIrbSmeSprV2Score' --Код шага стратегии order by r.exec_time )

    create table table_5 as ( select r.* ,rds.outparams as getRating --Исходящие данные from table_4 irb r join prx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_executedstrategydto rd on rd.chainid = r.chain_sid join prx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_strategystepdto rds on rds.executedstrategyid = rd.rquid where 1=1 and rd.strategyid like 'mmb-application%' --Код стратегии and rd.shadow = false --Расчёт не теневой and rds.stepbusinessid = 'getRating' --Код шага стратегии order by r.exec_time )

  4. Assistant

    Чтобы объединить ваши запросы в один без создания промежуточных таблиц, можно использовать вложенные подзапросы и CTE (Common Table Expressions). Вот как это можно сделать:

    with initial_table as (
      select
        r.chain_sid,
        r.exec_time,
        r.inn,
        rd.inparams,
        rd.outparams
      from table_1 r
      left join prx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_executedstrategydto rd 
        on r.chain_sid = rd.chainid
      where 
        r.rn = 1
        and rd.strategyid like 'Digital_Risk_SME%'
        and rd.rscode = 0
        and rd.shadow = 0
    ),
    with_mmb_score as (
      select
        r.*,
        rds.outparams as getMmbScore
      from initial_table r
      join prx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_executedstrategydto rd 
        on rd.chainid = r.chain_sid
      join prx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_strategystepdto rds 
        on rds.executedstrategyid = rd.rquid
      where 
        rd.strategyid like 'mmb-application%'
        and rd.shadow = false
        and rds.stepbusinessid = 'getMmbScore'
    ),
    with_irb_sme_spr_v2 as (
      select
        r.*,
        rds.outparams as getIrbSmeSprV2Score
      from with_mmb_score r
      join prx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_executedstrategydto rd 
        on rd.chainid = r.chain_sid
      join prx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_strategystepdto rds 
        on rds.executedstrategyid = rd.rquid
      where 
        rd.strategyid like 'mmb-application%'
        and rd.shadow = false
        and rds.stepbusinessid = 'getIrbSmeSprV2Score'
    )
    select
      r.*,
      rds.outparams as getRating
    from with_irb_sme_spr_v2 r
    join prx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_executedstrategydto rd 
      on rd.chainid = r.chain_sid
    join prx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_strategystepdto rds 
      on rds.executedstrategyid = rd.rquid
    where 
      rd.strategyid like 'mmb-application%'
      and rd.shadow = false
      and rds.stepbusinessid = 'getRating'
    order by r.exec_time;
    
    • В этом запросе используется CTE для постепенной подготовки данных.
    • initial_table собирает данные из первой таблицы.
    • with_mmb_score подцепляет данные с использованием первого агрегата.
    • with_irb_sme_spr_v2 добавляет данные второго агрегата.

    Наконец, итоговый запрос выбирает данные готовой таблицы. Таким образом, вы избегаете создания промежуточных таблиц в базе данных.

  5. User

    вместо первого запроса где у тебя initial table я хочу сделать выбор полностью таблицы без джоинов prx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_executedstrategydto. перепиши запрос

  6. Assistant

    Конечно, если вы хотите отказаться от использования соединений с таблицей prx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_executedstrategydto в первом шаге и выбросить её данные в итоге, можно переписать запрос следующим образом:

    with initial_table as (
      select *
      from table_1
      where rn = 1
    ),
    with_mmb_score as (
      select
        r.*,
        rds.outparams as getMmbScore
      from initial_table r
      join prx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_executedstrategydto rd 
        on rd.chainid = r.chain_sid
      join prx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_strategystepdto rds 
        on rds.executedstrategyid = rd.rquid
      where 
        rd.strategyid like 'mmb-application%'
        and rd.shadow = false
        and rds.stepbusinessid = 'getMmbScore'
    ),
    with_irb_sme_spr_v2 as (
      select
        r.*,
        rds.outparams as getIrbSmeSprV2Score
      from with_mmb_score r
      join prx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_executedstrategydto rd 
        on rd.chainid = r.chain_sid
      join prx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_strategystepdto rds 
        on rds.executedstrategyid = rd.rquid
      where 
        rd.strategyid like 'mmb-application%'
        and rd.shadow = false
        and rds.stepbusinessid = 'getIrbSmeSprV2Score'
    )
    select
      r.*,
      rds.outparams as getRating
    from with_irb_sme_spr_v2 r
    join prx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_executedstrategydto rd 
      on rd.chainid = r.chain_sid
    join prx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_strategystepdto rds 
      on rds.executedstrategyid = rd.rquid
    where 
      rd.strategyid like 'mmb-application%'
      and rd.shadow = false
      and rds.stepbusinessid = 'getRating'
    order by r.exec_time;
    

    Теперь в initial_table просто выбираются все записи из table_1, соблюдая условие rn = 1. Остальные шаги не изменены, так как они предполагают работу с агрегированными данными и данными из таблицы prx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_executedstrategydto.

  7. User

    нет, у меня нет table_1, вместо нее я хочу просто отобрать все из таблицы prx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_executedstrategydto

  8. Assistant

    Если ваша цель — просто выбрать все записи из таблицы prx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_executedstrategydto, и затем производить необходимые соединения и фильтрования на следующих этапах, ваш запрос может выглядеть так:

    with initial_table as (
      select *
      from prx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_executedstrategydto
      where strategyid like 'Digital_Risk_SME%'
        and rscode = 0
        and shadow = 0
    ),
    with_mmb_score as (
      select
        r.*,
        rds.outparams as getMmbScore
      from initial_table r
      join prx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_strategystepdto rds 
        on rds.executedstrategyid = r.rquid
      where 
        r.strategyid like 'mmb-application%'
        and r.shadow = false
        and rds.stepbusinessid = 'getMmbScore'
    ),
    with_irb_sme_spr_v2 as (
      select
        r.*,
        rds.outparams as getIrbSmeSprV2Score
      from with_mmb_score r
      join prx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_strategystepdto rds 
        on rds.executedstrategyid = r.rquid
      where 
        r.strategyid like 'mmb-application%'
        and r.shadow = false
        and rds.stepbusinessid = 'getIrbSmeSprV2Score'
    )
    select
      r.*,
      rds.outparams as getRating
    from with_irb_sme_spr_v2 r
    join prx_spr_corp_kld_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_strategystepdto rds 
      on rds.executedstrategyid = r.rquid
    where 
      r.strategyid like 'mmb-application%'
      and r.shadow = false
      and rds.stepbusinessid = 'getRating'
    order by r.exec_time;
    
    • В initial_table теперь выбирается всё из com_sbt_bm_calculations_dto_tsa4_executedstrategydto с нужными условиями.
    • Используем Common Table Expressions (CTE) чтобы последовательно добавлять данные о getMmbScore, getIrbSmeSprV2Score, и getRating.
    • На каждом этапе применяются фильтры, специфичные для этого шага, для получения нужных результатов.
  9. User

    исправь запрос with initial_table as ( select * from prx_spr4_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_executedstrategydto where and strategyid like 'mmb-application%' and rscode = 0 and shadow = 0 and dateexec between '2024-08-14 00:00:00.000000' and '2024-08-22 00:00:00.000000' order by dateexec ), with_second_call_RR2 as ( select r., rds.outparams as getMmbScore from initial_table r join prx_spr4_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_executedstrategydto rd on rd.chainid = r.chain_sid join prx_spr4_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_strategystepdto rds on rds.executedstrategyid = rd.rquid where rd.strategyid like 'mmb-application%' and rd.shadow = false and rds.stepbusinessid = 'second_call_RR2' ), with_call_armodel_2_0 as ( select r., rds.outparams as getMmbScore from initial_table r join prx_spr4_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_executedstrategydto rd on rd.chainid = r.chain_sid join prx_spr4_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_strategystepdto rds on rds.executedstrategyid = rd.rquid where rd.strategyid like 'mmb-application%' and rd.shadow = false and rds.stepbusinessid = 'call_armodel_2.0' ), with_mmb_score as ( select r., rds.outparams as getMmbScore from initial_table r join prx_spr4_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_executedstrategydto rd on rd.chainid = r.chain_sid join prx_spr4_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_strategystepdto rds on rds.executedstrategyid = rd.rquid where rd.strategyid like 'mmb-application%' and rd.shadow = false and rds.stepbusinessid = 'getMmbScore' ), with_irb_sme_spr_v2 as ( select r., rds.outparams as getIrbSmeSprV2Score from with_mmb_score r join prx_spr4_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_executedstrategydto rd on rd.chainid = r.chain_sid join prx_spr4_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_strategystepdto rds on rds.executedstrategyid = rd.rquid where rd.strategyid like 'mmb-application%' and rd.shadow = false and rds.stepbusinessid = 'getIrbSmeSprV2Score' ) select r.*, rds.outparams as getRR2 from with_irb_sme_spr_v2 r join prx_spr4_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_executedstrategydto rd on rd.chainid = r.chain_sid join prx_spr4_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_strategystepdto rds on rds.executedstrategyid = rd.rquid where rd.strategyid like 'mmb-application%' and rd.shadow = false and rds.stepbusinessid = 'getRR2' order by r.exec_time;

  10. Assistant

    Есть несколько ошибок в вашем запросе, которые нужно исправить:

    1. Условие where в initial_table не должно начинаться с and.
    2. Следует убедиться, что все подзапросы корректно связаны друг с другом.
    3. Полное выделение всех подзапросов и вложенных условий требует обеспечения правильной передачи данных между подзапросами.

    Вот исправленный вариант вашего SQL-запроса:

    with initial_table as (
      select *
      from `prx_spr4_platform_spr_4_0`.`com_sbt_bm_calculations_dto_tsa4_executedstrategydto`
      where 
        strategyid like 'mmb-application%'
        and rscode = 0
        and shadow = 0
        and dateexec between '2024-08-14 00:00:00.000000' and '2024-08-22 00:00:00.000000'
      order by dateexec
    ),
    with_second_call_RR2 as (
      select
        r.*,
        rds.outparams as getMmbScore
      from initial_table r
      join `prx_spr4_platform_spr_4_0`.`com_sbt_bm_calculations_dto_tsa4_strategystepdto` rds 
        on rds.executedstrategyid = r.rquid
      where 
        r.strategyid like 'mmb-application%'
        and r.shadow = false
        and rds.stepbusinessid = 'second_call_RR2'
    ),
    with_call_armodel_2_0 as (
      select
        r.*,
        rds.outparams as getMmbScore
      from initial_table r
      join `prx_spr4_platform_spr_4_0`.`com_sbt_bm_calculations_dto_tsa4_strategystepdto` rds 
        on rds.executedstrategyid = r.rquid
      where 
        r.strategyid like 'mmb-application%'
        and r.shadow = false
        and rds.stepbusinessid = 'call_armodel_2.0'
    ),
    with_mmb_score as (
      select
        r.*,
        rds.outparams as getMmbScore
      from initial_table r
      join `prx_spr4_platform_spr_4_0`.`com_sbt_bm_calculations_dto_tsa4_strategystepdto` rds 
        on rds.executedstrategyid = r.rquid
      where 
        r.strategyid like 'mmb-application%'
        and r.shadow = false
        and rds.stepbusinessid = 'getMmbScore'
    ),
    with_irb_sme_spr_v2 as (
      select
        r.*,
        rds.outparams as getIrbSmeSprV2Score
      from with_mmb_score r
      join `prx_spr4_platform_spr_4_0`.`com_sbt_bm_calculations_dto_tsa4_strategystepdto` rds 
        on rds.executedstrategyid = r.rquid
      where 
        r.strategyid like 'mmb-application%'
        and r.shadow = false
        and rds.stepbusinessid = 'getIrbSmeSprV2Score'
    )
    select
      r.*,
      rds.outparams as getRR2
    from with_irb_sme_spr_v2 r
    join `prx_spr4_platform_spr_4_0`.`com_sbt_bm_calculations_dto_tsa4_strategystepdto` rds 
      on rds.executedstrategyid = r.rquid
    where 
      r.strategyid like 'mmb-application%'
      and r.shadow = false
      and rds.stepbusinessid = 'getRR2'
    order by r.exec_time;
    

    Что было исправлено:

    • Убрано лишнее слово and в начале условия where в секции initial_table.
    • Убедился, что соединения в каждом подзапросе выполняются корректно.
    • Убедился, что каждый with блок корректно использует нужные данные и передает их в следующее выражение.

    Этот запрос теперь должен быть корректным при условии, что данные и таблицы существуют в том формате, как это предполагает запрос.

  11. User

    не достаются некоторые таблицы со 2 по 4. то есть некоторые столбцы отстутствуют. почему это может быть

  12. Assistant

    Отсутствие некоторых столбцов может быть вызвано несколькими причинами. Рассмотрим основные:

    1. Отсутствие данных в исходных таблицах:

      • Если некоторые значения не заполнены в вашей основной таблице или в таблицах, которые используются для соединения, соответствующие столбцы могут быть пустыми в результирующем наборе данных.
    2. Тип соединения:

      • Если вы используете JOIN вместо LEFT JOIN, а соответствующих записей нет в других таблицах, данные из этих таблиц не будут включены в результат.
      • Вы можете изменить JOIN на LEFT JOIN, чтобы включить все записи из основной таблицы, и увидеть, есть ли вообще соответствие в соединяемых таблицах.
    3. Условие фильтрации:

      • Проверьте условия, которые вы применяете в WHERE разделе. Возможно, они слишком строгие и отфильтровывают нужные записи.
      • Проверьте, что все условия в ваш запрос должны совпадать с теми данными, которые вы ожидаете получить.
    4. Ошибка в идентификаторах (например, в chain_sid или rquid):

      • Убедитесь, что используете правильные идентификаторы для соединения таблиц.
      • Проверьте соответствие данных, поскольку не всегда столбцы могут содержать соответствующие значения.
    5. Столбцы с таким же именем:

      • При использовании SELECT *, если в объединяемых таблицах есть столбцы с одинаковыми именами, некоторые из них могут быть перезаписаны или потеряны. Лучше указывать конкретные столбцы для получения, чтобы избежать конфликта имен.

    Чтобы решить проблему:

    1. Используйте LEFT JOIN: Попробуйте изменить объединение на LEFT JOIN, чтобы убедиться, что получаете все строки из основной таблицы.
    2. Проверяйте наличие и корректность данных: Убедитесь, что данные есть и соответствуют заданным условиям.
    3. Выберите конкретные столбцы: Попробуйте выбрать конкретные столбцы, чтобы избежать потери данных при совпадении имен.

    Попробуйте другой, более подробный запрос для диагностики:

    select
      r.chain_sid,
      r.exec_time,
      r.inn,
      rds1.outparams as getMmbScore,
      rds2.outparams as getIrbSmeSprV2Score,
      rds3.outparams as getRR2
    from prx_spr4_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_executedstrategydto r
    left join prx_spr4_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_strategystepdto rds1 
      on rds1.executedstrategyid = r.rquid
      and rds1.stepbusinessid = 'getMmbScore'
    left join prx_spr4_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_strategystepdto rds2 
      on rds2.executedstrategyid = r.rquid
      and rds2.stepbusinessid = 'getIrbSmeSprV2Score'
    left join prx_spr4_platform_spr_4_0.com_sbt_bm_calculations_dto_tsa4_strategystepdto rds3 
      on rds3.executedstrategyid = r.rquid
      and rds3.stepbusinessid = 'getRR2'
    where 
      r.strategyid like 'mmb-application%'
      and r.shadow = false
      and r.rscode = 0
      and r.dateexec between '2024-08-14 00:00:00.000000' and '2024-08-22 00:00:00.000000'
    order by r.exec_time;
    

    Это упростит вашу диагностику, показывая, где именно в соединении может отсутствовать требуемая информация.