Приведи пример библиотеки python, которая позволяет рассчитать Cx (коэффициент…
- User
Приведи пример библиотеки python, которая позволяет рассчитать Cx (коэффициент сопротивления) для 3-d модели объекта
- Assistant
Расчет коэффициента сопротивления (Cx или Cd в англоязычной литературе, где d обозначает drag) для 3D-модели объекта — это сложная задача, которая обычно решается с помощью моделирования динамики жидкости (CFD). Для Python есть несколько библиотек, которые могут помочь в решении задач CFD, в том числе:
-
OpenFOAM: Это не чисто Python-библиотека, но полноценный набор инструментов CFD с открытым исходным кодом, который часто используется в индустрии и академических кругах для сложных моделирований. Для OpenFOAM разработаны различные оболочки и утилиты на Python, такие как pyFoam или fluiddyn, которые позволяют настраивать и запускать симуляции, а также обрабатывать результаты.
-
SU2: Это еще одна система открытого кода, предназначенная для аэрокосмического анализа и оптимизации. SU2 написан в основном на C++, но также имеет Python API, который позволяет управлять процессами моделирования и обработки данных.
-
FEniCS: Это высокоуровневая вычислительная платформа для решения уравнений в частных производных (PDE), включая уравнения Навье-Стокса, которые описывают движение жидкостей. Она не специально разработана для CFD, но может быть использована для этой цели при адекватной настройке.
-
SimScale: Это облачная платформа CFD, которая предоставляет Python API. Это коммерческая услуга, предоставляющая доступ к мощным вычислительным ресурсам для моделирования динамики жидкости без необходимости развертывания высокопроизводительных вычислительных кластеров на стороне пользователя.
-
PyFR: Открытая платформа на Python, которая использует методы спектральных элементов высокого порядка для решения уравнений, представляющих собой варианты уравнений Навье-Стокса.
Реальный пример кода для таких библиотек будет достаточно сложным и выходить за рамки простого ответа, поскольку он потребует не только владения соответствующей библиотекой и методами физического моделирования, но и наличия качественной 3D-модели объекта, сетки для CFD-расчетов и правильно настроенных граничных условий и свойств рабочей среды.
Для начала работы с CFD в Python, вам потребуется изучить основы динамики жидкости, после чего ознакомиться с документацией к выбранной библиотеке для интеграции ее в ваш рабочий процесс.
-
- User
14 s = ''' 15 select * from urrisk.zr_loans_ind_reserv 16 where report_date = '31.12.2021' 17 and credit_portfolio_type <> 'Mortgage loans' 18 ''' ---> 21 ur = pd.read_sql(s, con = connection)
File c:\Work\Anaconda3\envs\py_modeler\lib\site-packages\pandas\io\sql.py:654, in read_sql(sql, con, index_col, coerce_float, params, parse_dates, columns, chunksize, dtype_backend, dtype) 652 with pandasSQL_builder(con) as pandas_sql: 653 if isinstance(pandas_sql, SQLiteDatabase): ... DatabaseError: Execution failed on sql ' select * from urrisk.zr_loans_ind_reserv where report_date = '31.12.2021' and credit_portfolio_type <> 'Mortgage loans' ': ORA-01843: not a valid month
- Assistant
Ошибка
ORA-01843: not a valid monthуказывает на проблему с форматом даты в SQL-запросе, который вы выполняете на сервере Oracle. Проблема заключается в том, что формат даты'31.12.2021'не соответствует ожидаемому формату сервера.В SQL-запросах Oracle правильный формат даты обычно выглядит как
'DD-MM-YYYY'или'YYYY-MM-DD'. Вы можете явно указать формат даты в запросе, используя функциюTO_DATE, чтобы избежать подобных ошибок, связанных с форматом даты.Используйте
TO_DATEс указанием ожидаемого формата даты:select * from urrisk.zr_loans_ind_reserv where report_date = TO_DATE('31.12.2021', 'DD.MM.YYYY') and credit_portfolio_type <> 'Mortgage loans'При использовании функции
TO_DATEвторой аргумент - это строка формата, которая сообщает Oracle, как интерпретировать строку даты. В данном случае 'DD.MM.YYYY' указывает, что день обозначен первыми двумя символами, затем месяц и, наконец, год.Исправьте ваш SQL-запрос и попробуйте выполнить его снова. Это должно устранить ошибку с невалидным месяцем.
- User
29 proc sql inobs=10; 30 select app_id, contnum, target_orrb, operday 31 from orm.REF_AGGR_trte_all 32 where operday = '31DEC2021' 33 ; ERROR: Expression using equals (=) has components that are of different data types.
- Assistant
Ошибка, которую вы видите, происходит из-за несоответствия типов данных в выражении условия WHERE SQL-запроса. В строке 32 вашего запроса, где указано
where operday = '31DEC2021', столбецoperday, по-видимому, имеет тип данных, отличный от строки, которую вы пытаетесь с ним сравнить.Если
operdayявляется столбцом даты, то строку'31DEC2021'следует преобразовать в дату в соответствии с форматом даты базы данных. Например, если вы работаете с базой данных SAS, вы можете использовать функциюDATEдля преобразования строки в дату как показано ниже:proc sql inobs=10; select app_id, contnum, target_orrb, operday from orm.REF_AGGR_trte_all where operday = '31DEC2021'd ;Обратите внимание на
dпосле строки даты, которое SAS использует для идентификации строковых литералов дат. Это говорит компилятору SAS, что строка должна быть интерпретирована как дата.Убедитесь, что формат и литерал даты соответствуют тому, что ожидается в вашей конкретной среде базы данных. Если ошибка не исчезнет, проверьте тип данных столбца
operdayв вашей таблице и убедитесь, что вы используете правильный формат для сравнения с датами. - User
28 proc sql; 29 create table all_ur_tab as 30 select * from ur_tab 31 outer join all_tab ____ 73 76 ERROR 73-322: Expecting an UNION.
- Assistant
Ошибка
ERROR 73-322: Expecting an UNION.в SAS указывает на то, что в вашем SQL-запросе есть синтаксическая ошибка. Похоже, что вы пропустили ключевое словоUNIONилиUNION ALL, которое должно появиться в запросе, если вы пытаетесь объединить результаты двух или более запросов. Однако, судя по предоставленному коду, кажется, что ваша намеренная операция - это объединение таблиц (JOIN), а не объединение результатов (UNION).Ожидается использование присоединения (например,
INNER JOIN,LEFT JOIN,RIGHT JOINилиFULL JOIN) в следующем коде:proc sql; create table all_ur_tab as select * from ur_tab outer join all_tab ...Если вы пытаетесь выполнить полное внешнее соединение (FULL OUTER JOIN), код должен выглядеть так:
proc sql; create table all_ur_tab as select * from ur_tab full join all_tab on ur_tab.some_column = all_tab.some_column; /* Укажите условие соединения здесь */ quit;Обязательно укажите условие соединения после
on, гдеsome_column– это название столбца, по которому вы хотите выполнить соединение таблиц. Без условияonSQL-запрос в SAS не будет выполнен.Если же ваш первоначальный намерением было использование
UNIONдля объединения результатов нескольких запросов, то структура запроса будет иной.В случаях, когда синтаксический анализатор SAS ожидал увидеть слово
UNION, это может означать, что в другой части запроса есть ошибка, вызывающая неправильную интерпретацию вашего намерения соединения таблиц. Убедитесь, что весь запрос написан правильно и полностью. - User
28 proc sql; 29 create table tests8 as 30 select loan_cont_num, 31 min(PUT(INTNX('MONTH', loan_fact_close_date, 0, 'B'), ddmmyy10.)) as first_loan_fact_close_date, 32 min(PUT(INTNX('MONTH', rep_date_1y, 0, 'B'), ddmmyy10.)) as first_rep_date_1y, 33 min(PUT(INTNX('MONTH', restruct_date, 0, 'B'), ddmmyy10.)) as first_restruct_date, 34 min(PUT(INTNX('MONTH', bankrupt_date, 0, 'B'), ddmmyy10.)) as first_bankrupt_date, 35 min(PUT(INTNX('MONTH', ref_date, 0, 'B'), ddmmyy10.)) as first_ref_date, 36 min(PUT(INTNX('MONTH', least_date, 0, 'B'), ddmmyy10.)) as first_least_date_clip, 37 min(PUT(least_date, ddmmyy10.)) as first_least_date 38 from tests7 39 where def_id > 0 40 group by loan_cont_num; NOTE: Invalid argument to function INTNX. Missing values may be generated. NOTE: Invalid argument to function INTNX. Missing values may be generated. NOTE: Invalid (or missing) arguments to the INTNX function have caused the function to return a missing value. NOTE: Invalid (or missing) arguments to the INTNX function have caused the function to return a missing value. NOTE: Invalid (or missing) arguments to the INTNX function have caused the function to return a missing value. NOTE: Invalid argument to function INTNX. Missing values may be generated. ERROR: Date value out of range
- Assistant
Сообщения о проблемах с функцией
INTNXв SAS указывают на то, что существуют некорректные или отсутствующие аргументы, предоставленные этой функции, что ведёт к генерированию пустых значений.Функция
INTNXиспользуется для вычисления даты, которая находится на определённое количество интервалов времени от заданной даты. Она принимает четыре аргумента: интервальную константу (например, 'MONTH'), дату, количество интервалов, на которое следует смещаться, и опциональный 'alignment' аргумент, который указывает, как выровнять возвращаемую дату.Сообщение
NOTE: Invalid argument to function INTNX. Missing values may be generated.говорит о том, что один из аргументов даты в вашем коде отсутствует, неправильный или имеет неверный формат. Вам нужно убедиться, что даты, используемые как аргументы функцииINTNX, существуют (то есть они не должны быть пустыми) и имеют правильный формат даты в SAS. Если вместо даты предоставляется значение., это вызовет ошибку, так как.представляет пустое значение в SAS.Сообщение
ERROR: Date value out of rangeможет указывать на то, что одно из вычислений даты приводит к дате за пределами диапазона допустимых значений для дат SAS (от 01 января 1582 года до 31 декабря 20,000 года).Вот некоторые шаги, которые вы можете предпринять для устранения ошибок:
-
Убедитесь, что все переменные, которые передаются функции
INTNX, действительно содержат даты в формате SAS. Это означает, что они должны быть числовыми значениями, представляющими количество дней с 1 января 1960 года. -
Проверьте, что вы предоставляете корректное количество интервалов для сдвига от исходной даты. Если вы не хотите сдвигать дату, используйте значение
0. -
Удостоверьтесь в том, что исходные даты находятся в ожидаемом диапазоне дат SAS.
-
Устраните все строки, где даты могут быть пустыми или иметь неверные значения, перед вычислением функции
INTNX. -
Проверьте преобразования ваших дат в формат с помощью функции
PUT. Убедитесь, что вы правильно используете систему форматирования дат в SAS.
Например, вы можете добавить условие в запрос, которое исключает строки с пустыми или неправильными датами:
where def_id > 0 and loan_fact_close_date is not missing and ...Вам, возможно, придется исследовать данные в
tests7и убедиться, что все даты находятся в допустимом диапазоне и имеют правильный формат перед тем, как передавать их функцииINTNX. -
- User
как прочесть файл xlsx в proc sas?
- Assistant
Чтобы прочитать файл Excel (
.xlsx) в SAS, можно использовать несколько методов. Два распространённых способа — это использование процедурыPROC IMPORTили использование библиотекиLIBNAMEс движкомEXCEL.Использование PROC IMPORT
Пример кода для чтения файла Excel:
proc import datafile="C:\путь\к\файлу\имя_файла.xlsx" out=work.имя_выходной_таблицы dbms=xlsx replace; getnames=yes; /* Установите в 'no', если первая строка не содержит имена столбцов */ run;datafileуказывает на путь к файлу Excel,outуказывает на SAS датасет, куда данные будут импортированы,dbmsуказывает на формат файла (в данном случае xlsx), аreplaceговорит о том, что если SAS датасет уже существует, его следует заменить.getnames=yesуказывает SAS использовать первую строку Excel файла как имена переменных в создаваемом датасете.Использование LIBNAME Statement с движком EXCEL
Пример кода для чтения файла Excel:
libname mylib excel "C:\путь\к\файлу\имя_файла.xlsx"; data work.имя_выходной_таблицы; set mylib.имя_листа; /* Имя листа Excel используется как таблицы в библиотеке */ run; libname mylib clear; /* Освобождение библиотеки */При использовании
LIBNAMEс движкомEXCEL,mylibявляется псевдонимом библиотеки, который вы создаете, чтобы ссылаться на книгу Excel,имя_листаэто имя листа Excel без кавычек, которое SAS будет рассматривать как таблицу.Обратите внимание, что для доступа к файлам Excel может понадобиться установленный на компьютере Microsoft Excel или PC Files Server для SAS. Кроме того, доступы к специфичным операциям чтения Excel могут варьироваться в зависимости от версии SAS и операционной системы.
Перед использованием приведенных команд убедитесь, что путь к файлу и имя файла указаны корректно и что файл доступен для SAS.
- User
28 libname base1 excel '/vd2/data/2024/retail/beh/without_ik_v2/Сегмент.xlsx' 29
30 %LET _CLIENTTASKLABEL=; 31 %LET _CLIENTPROCESSFLOWNAME=; 32 %LET _CLIENTPROJECTPATH=; 33 %LET _CLIENTPROJECTPATHHOST=; 34 %LET _CLIENTPROJECTNAME=; 35 %LET _SASPROGRAMFILE=; 36 %LET _SASPROGRAMFILEHOST=; 37
38 ; ERROR: The EXCEL engine cannot be found. - Assistant
Ошибка
ERROR: The EXCEL engine cannot be found.указывает на то, что движокEXCELне может быть найден или не доступен в вашей текущей сессии SAS. Она может происходить по нескольким причинам:-
Не установлен SAS/ACCESS Interface to PC Files: Движок
EXCELявляется частью продукта SAS/ACCESS Interface to PC Files, который нужно установить отдельно. Если эта компонента не установлена, вы не сможете использоватьLIBNAMEс движкомEXCEL. -
Версия SAS: SAS 9.4 (начиная с Maintenance Release 3) поддерживает движок
XLSX, который используется без Microsoft Excel. Убедитесь, что у вас установлена подходящая версия SAS. -
Ошибка в пути или имени файла: Путь к файлу Excel должен быть указан правильно, и можно использовать движок
EXCELтолько тогда, когда путь доступен из вашей сессии SAS. Если вы работаете на SAS сервере, путь к файлу должен быть доступен именно серверу, а не локальной машине. -
Отсутствие Microsoft Excel (или PC Files Server, если работать на UNIX): Если SAS настроен на использование движка
EXCEL, которому для работы нужен Microsoft Excel, и если Excel не установлен, это может вызвать ошибку.
Если вы используете SAS University Edition или SAS OnDemand for Academics, учтите, что эти версии SAS не поддерживают движок
EXCEL, поскольку они работают на UNIX. В этих случаях вы можете использовать движокXLSXили сохранить ваш Excel файл как.csvи прочитать его с помощьюPROC IMPORTилиDATAstep.Для проверки и устранения возможной проблемы, рассмотрите следующие шаги:
-
Проверьте установлен ли SAS/ACCESS Interface to PC Files, используя procedure
PROC SETINIT; run;илиPROC PRODUCT_STATUS; run;. -
Определите, работаете ли вы на совместимой версии SAS, которая поддерживает движок
EXCELилиXLSX. -
Проверьте версию вашего Microsoft Excel, если это применимо, и убедитесь, что она совместима с вашей версией SAS.
-
Если возможно, используйте движок
XLSXтаким образом:libname base1 xlsx '/vd2/data/2024/retail/beh/without_ik_v2/Сегмент.xlsx'; -
Если вы работаете на UNIX сервере и у вас нет PC Files Server, рассмотрите возможность конвертации
.xlsxфайлов в.csvдля чтения в SAS. -
Проверьте, доступен ли файл по указанному пути для сервера SAS, а не только для вашей локальной машины.
-
- User
как считать parquet формата в proc sas?
- Assistant
Считывание файлов в формате Parquet в SAS можно выполнить с помощью SAS/ACCESS Interface to Hadoop. Формат Parquet — популярный столбцовый формат хранения данных в экосистеме Hadoop, однако его также можно использовать вне Hadoop.
Следующий пример демонстрирует использование процедуры
PROC SQLиLIBNAMEс драйверомHADOOPдля доступа к данным в формате Parquet:libname mylib hadoop '/path/to/parquet/files' STOREDAS=PARQUET; proc sql; create table mydata as select * from mylib.mytable; quit; libname mylib clear;В примере:
mylib- это libref, который ссылается на библиотеку Hadoop./path/to/parquet/files- это ваш путь к файлам Parquet в Hadoop File System (HDFS) или локальной файловой системе.STOREDAS=PARQUET- это опция, которая указывает SAS, что данные хранятся в формате Parquet.mylib.mytable-mytableэто имя файла Parquet (без расширения.parquet).
Прежде чем использовать данный пример, убедитесь в нескольких вещах:
- Установлен SAS/ACCESS Interface to Hadoop.
- Ваши партиции Hadoop настроены для SAS, и вы имеете доступ к HDFS.
- Путь к файлам Parquet верно указан и доступен для SAS.
- Имена таблиц и столбцов соответствуют тем, что хранятся в файлах Parquet.
Также SAS поддерживает чтение файлов формата Parquet через процедуру
PROC COPYили с помощьюDATA STEP, если настроить инструкциюFILENAMEдля доступа к файлам Parquet через соответствующий интерфейс к Hadoop или Cloud Storage.Для работы с Parquet файлами, которые расположены не в Hadoop, а, например, в Amazon S3 или другом облачном хранилище, требуется интеграция SAS/ACCESS с соответствующим облачным провайдером.
Пожалуйста, обратите внимание, что конкретная доступность и методы работы с файлами Parquet могут зависеть от версии SAS и доступных вам компонент SAS/ACCESS. Проверьте документацию SAS и настройки своей системы для получения подробных инструкций по работе с файлами Parquet.
- User
как считать файл csv.gzip в sas?
- Assistant
В SAS, чтобы прочитать файл в формате
.csv.gz(CSV файл, сжатый с использованием gzip), вы будете использовать функциюFILENAMEс описателем файла и опциейGZIP. Вот общий подход для чтения сжатого CSV файла в SAS:-
Установите
FILENAMEс опциейGZIP, чтобы указать путь к вашему сжатому файлу. С помощью этого описателя файла вы подготовите SAS к чтению сжатых данных. -
Используйте процедуру
PROC IMPORTдля импорта данных из файла или напишите шагDATA, который будет читать данные с помощьюINFILEиINPUT.
Пример использования
FILENAMEиPROC IMPORT:filename csv_gzip '/path/to/your_file.csv.gz' gzip; proc import datafile=csv_gzip out=work.imported_data dbms=csv replace; getnames=yes; /* Если первая строка содержит имена столбцов, установите 'yes' */ guessingrows=max; /* Сообщает SAS угадывать максимальное количество строк для определения типов данных */ run; filename csv_gzip clear;Или, если вы предпочитаете использовать шаг
DATA:filename csv_gzip '/path/to/your_file.csv.gz' gzip; data work.imported_data; infile csv_gzip dlm=',' dsd truncover firstobs=2 lrecl=32767; /* Устанавливаем параметры чтения файла */ /* Определите переменные, соответствующие столбцам в вашем CSV файле */ input Column1 $ Column2 Column3 $ ...; run; filename csv_gzip clear;Обратите внимание на следующее:
- Путь к файлу
/path/to/your_file.csv.gzдолжен быть заменён на текущий путь к вашему сжатому файлу. work.imported_data- это имя набора данных во временном хранилище work, которое будет содержать импортированные данные. Вы можете указать другое расположение и имя по вашему выбору.dlm=','определяет запятую как разделитель.dsdпозволяет правильно обрабатывать разделители и кавычки в строковых данных.truncoverпредотвращает обрезание данных если поле в исходном файле длиннее, чем заданная длина записи (lrecl).firstobs=2начинает чтение со второй строки, предполагая, что первая строка содержит заголовки столбцов. Установитеfirstobs=1если заголовков нет.lrecl=32767устанавливает максимальную длину каждой строки при чтении. Может быть увеличено при необходимости.inputопределяет структуру записи переменных.
filename csv_gzip clear;- это команда, которая освобождает описатель файла после завершения импорта.Перед выполнением кода убедитесь, что SAS имеет доступ к указанному пути и что файл существует. Синтаксис может потребовать некоторой настройки в зависимости от вашей конкретной конфигурации и данных.
-
- User
28 proc sql; 29 create table def_id_defs as 30 select loan_cont_num 31 min(least_date) as first_least_date format=datetime20., 32 min(coelesce(def_id, 0)) as def_id 33 from tests7 34 where def_id > 0 35 group by loan_cont_num 36 having def_id > 0 37 order by first_least_date 38 ; ERROR: Expression using minimum of (><) has components that are of different data types. ERROR: Function COELESCE could not be located. ERROR: Expression using greater than (>) has components that are of different data types.
- Assistant
Ваш SQL запрос содержит несколько ошибок, которые привели к сообщениям об ошибках. Давайте разберем их по одной и исправим:
Ошибка 1:
ERROR: Expression using minimum of (><) has components that are of different data types.Эта ошибка указывает, что в выражении с использованием функции
min()соединяются элементы разных типов данных. В вашем запросе функцияmin(least_date), возможно, пытается получить минимальное значение из столбца, который не является численным или датой. В SAS форматdatetime20.обычно применяется к значениям даты/времени, и может возникнуть ошибка, если столбецleast_dateне содержит данные в формате даты/времени.Ошибка 2:
ERROR: Function COELESCE could not be located.Функция
COALESCEв SAS написана с двумя буквами 'L':coalesce(), неcoelesce().Ошибка 3:
ERROR: Expression using greater than (>) has components that are of different data types.Это ошибка может возникать, если вы используете оператор
>между двумя переменными разных типов данных. Вwhereиhavingусловиях вы используетеdef_id > 0, это значит, чтоdef_idдолжен быть численным типом данных. Еслиdef_idне численный, то необходимо внести исправления.Исправленный запрос:
proc sql; create table def_id_defs as select loan_cont_num, min(least_date) as first_least_date format=datetime20., min(coalesce(def_id, 0)) as def_id from tests7 where def_id > 0 group by loan_cont_num having calculated def_id > 0 order by first_least_date; quit;Обратите внимание на следующие изменения и рекомендации:
- Исправлена опечатка
coalesce, а неcoelesce. - В условии
HAVINGизменено наcalculated def_id > 0, чтобы явно указать, что мы используем рассчитанный в группировке агрегированныйdef_id. - Проверьте, что столбец
least_dateдействительно содержит даты или даты/время, и используйте соответствующий формат. - Были добавлены запятые после каждого выделенного столбца для корректного разделения элементов списка в
select.
Убедитесь, что все данные соответствуют ожидаемым типам перед выполнением запроса.
- Исправлена опечатка