Проанализируй, пожалуйста, этот код: [code]
- User
Проанализируй, пожалуйста, этот код:
""" Модуль для загрузки и обработки данных недвижимости из Google Drive. """ import os import pickle import pandas as pd from modules.google_drive_manager import GoogleDriveManager def download_and_process_real_estate_data(auth_file_dir): """ Загружает данные недвижимости из Google Drive и обрабатывает их. :param auth_file_dir: Путь к папке с файлом аутентификации dubai-estate-7831cb4f621b.json :type auth_file_dir: str :return: None :rtype: None """ # Константы AUTH_FILE_NAME = "dubai-estate-7831cb4f621b.json" DRIVE_FOLDER_ID = "19i06Z_3xx1FDmIXWpijG_Jzm37eteySd" # Проверяем наличие файла аутентификации auth_file_path = os.path.join(auth_file_dir, AUTH_FILE_NAME) if not os.path.exists(auth_file_path): print( f"ОШИБКА: Файл аутентификации {AUTH_FILE_NAME} не найден в папке {auth_file_dir}" ) return # Определяем корневую папку проекта current_dir = os.getcwd() # Поднимаемся до корня проекта (предполагаем, что модуль в папке modules) if os.path.basename(current_dir) == "modules": project_root = os.path.dirname(current_dir) else: # Если запускаем не из папки modules, ищем корень проекта project_root = current_dir while not os.path.exists(os.path.join(project_root, "modules")): parent = os.path.dirname(project_root) if parent == project_root: # Достигли корня файловой системы project_root = current_dir break project_root = parent # Создаем папку cloud_data если её нет cloud_data_dir = os.path.join(project_root, "cloud_data") if not os.path.exists(cloud_data_dir): os.makedirs(cloud_data_dir) # Создаем папку data в корне проекта если её нет data_dir = os.path.join(project_root, "data") if not os.path.exists(data_dir): os.makedirs(data_dir) # Определяем пути для загрузки download_info_path = os.path.join(cloud_data_dir, "download_info.json") bayut_buildings_path = os.path.join(cloud_data_dir, "bayut_buildings.parquet") pf_buildings_path = os.path.join(cloud_data_dir, "pf_buildings.pkl") connection_ids_path = os.path.join(cloud_data_dir, "connection_IDS.parquet") # Создаем менеджер Google Drive try: manager = GoogleDriveManager( google_service_account_file=auth_file_path, download_info_file_path=download_info_path, drive_folder_id=DRIVE_FOLDER_ID, ) except Exception as error: print(f"ОШИБКА при инициализации Google Drive Manager: {error}") return # Определяем файлы для загрузки required_data = [ {"drive_name": "bayut_buildings.parquet", "local_path": bayut_buildings_path}, {"drive_name": "pf_buildings.pkl", "local_path": pf_buildings_path}, {"drive_name": "connection_IDS.parquet", "local_path": connection_ids_path}, ] # Загружаем файлы try: manager.download_files(required_data) except Exception as error: print(f"ОШИБКА при загрузке файлов: {error}") return # Обрабатываем pf_buildings try: # Загружаем pickle файл с подавлением предупреждений import warnings with warnings.catch_warnings(): warnings.simplefilter("ignore", DeprecationWarning) with open(pf_buildings_path, "rb") as file: pf_buildings_df = pickle.load(file) # Фильтруем по Дубаю pf_buildings_df = pf_buildings_df[ pf_buildings_df["url_city_slug"] == "dubai" ].copy() # Обрабатываем проблемные колонки для parquet def clean_column_for_parquet(series): """Очищает колонку от смешанных типов для сохранения в parquet""" return series.astype(str) # Проверяем и очищаем колонки с объектными типами for col in pf_buildings_df.columns: if pf_buildings_df[col].dtype == "object": # Проверяем, есть ли в колонке списки has_lists = ( pf_buildings_df[col].apply(lambda x: isinstance(x, list)).any() ) if has_lists: pf_buildings_df[col] = clean_column_for_parquet( pf_buildings_df[col] ) # Сохраняем в формате parquet pf_buildings_output_path = os.path.join(data_dir, "pf_buildings.parquet") pf_buildings_df.to_parquet(pf_buildings_output_path, index=False) except Exception as error: print(f"ОШИБКА при обработке pf_buildings: {error}") return # Копируем остальные файлы в папку data try: # Копируем bayut_buildings if os.path.exists(bayut_buildings_path): bayut_df = pd.read_parquet(bayut_buildings_path) bayut_output_path = os.path.join(data_dir, "bayut_buildings.parquet") bayut_df.to_parquet(bayut_output_path, index=False) # Копируем connection_IDS if os.path.exists(connection_ids_path): with warnings.catch_warnings(): warnings.simplefilter("ignore", DeprecationWarning) # with open(connection_ids_path, "rb") as file: # connection_ids = pickle.load(file) connection_ids = pd.read_parquet(connection_ids_path) # Сохраняем как parquet если это DataFrame, иначе как pickle if isinstance(connection_ids, pd.DataFrame): connection_output_path = os.path.join( data_dir, "connection_IDS.parquet" ) connection_ids.to_parquet(connection_output_path, index=False) else: connection_output_path = os.path.join(data_dir, "connection_IDS.pkl") with open(connection_output_path, "wb") as file: pickle.dump(connection_ids, file) # type: ignore except Exception as error: print(f"ОШИБКА при копировании файлов: {error}") return if __name__ == "__main__": # Пример использования (исправлен путь с raw string) auth_directory = r"../../../.assf/cloud_auth_file" download_and_process_real_estate_data(auth_directory) Assistant
Давайте проанализируем предоставленный код по частям.
Обзор
Этот скрипт предназначен для загрузки и обработки данных о недвижимости из Google Drive. Он включает в себя следующие этапы:
- Проверка наличия файла аутентификации.
- Определение корневой папки проекта.
- Создание необходимых папок.
- Инициализация менеджера Google Drive.
- Загрузка файлов с Google Drive.
- Обработка и сохранение загруженных данных.
Подробный анализ
Импорты
import os import pickle import pandas as pd from modules.google_drive_manager import GoogleDriveManager- os: Для работы с файловой системой.
- pickle: Для сериализации и десериализации объектов Python.
- pandas: Для работы с данными в формате DataFrame.
- GoogleDriveManager: Кастомный модуль для взаимодействия с Google Drive.
Константы
AUTH_FILE_NAME = "dubai-estate-7831cb4f621b.json" DRIVE_FOLDER_ID = "19i06Z_3xx1FDmIXWpijG_Jzm37eteySd"- AUTH_FILE_NAME: Имя файла аутентификации для доступа к Google Drive.
- DRIVE_FOLDER_ID: ID папки на Google Drive, из которой будут загружаться данные.
Проверка наличия файла аутентификации
auth_file_path = os.path.join(auth_file_dir, AUTH_FILE_NAME) if not os.path.exists(auth_file_path): print(f"ОШИБКА: Файл аутентификации {AUTH_FILE_NAME} не найден в папке {auth_file_dir}") returnЕсли файл аутентификации отсутствует, скрипт выводит сообщение об ошибке и завершает работу.
Определение корневой папки проекта
current_dir = os.getcwd() if os.path.basename(current_dir) == "modules": project_root = os.path.dirname(current_dir) else: project_root = current_dir while not os.path.exists(os.path.join(project_root, "modules")): parent = os.path.dirname(project_root) if parent == project_root: project_root = current_dir break project_root = parentСкрипт пытается определить корневую папку проекта. Если текущая папка —
modules, то корневой считается родительская папка. В противном случае, скрипт поднимается по дереву каталогов до тех пор, пока не найдёт папкуmodules.Создание папок
cloud_data_dir = os.path.join(project_root, "cloud_data") if not os.path.exists(cloud_data_dir): os.makedirs(cloud_data_dir) data_dir = os.path.join(project_root, "data") if not os.path.exists(data_dir): os.makedirs(data_dir)Создаются папки
cloud_dataиdata, если они не существуют.Инициализация менеджера Google Drive
try: manager = GoogleDriveManager( google_service_account_file=auth_file_path, download_info_file_path=download_info_path, drive_folder_id=DRIVE_FOLDER_ID, ) except Exception as error: print(f"ОШИБКА при инициализации Google Drive Manager: {error}") returnСоздаётся экземпляр
GoogleDriveManagerдля взаимодействия с Google Drive. В случае ошибки выводится сообщение и скрипт завершает работу.Загрузка файлов
required_data = [ {"drive_name": "bayut_buildings.parquet", "local_path": bayut_buildings_path}, {"drive_name": "pf_buildings.pkl", "local_path": pf_buildings_path}, {"drive_name": "connection_IDS.parquet", "local_path": connection_ids_path}, ] try: manager.download_files(required_data) except Exception as error: print(f"ОШИБКА при загрузке файлов: {error}") returnЗагружаются три файла:
bayut_buildings.parquet,pf_buildings.pklиconnection_IDS.parquet. В случае ошибки выводится сообщение и скрипт завершает работу.Обработка файла
pf_buildings.pkltry: import warnings with warnings.catch_warnings(): warnings.simplefilter("ignore", DeprecationWarning) with open(pf_buildings_path, "rb") as file: pf_buildings_df = pickle.load(file) pf_buildings_df = pf_buildings_df[pf_buildings_df["url_city_slug"] == "dubai"].copy() def clean_column_for_parquet(series): return series.astype(str) for col in pf_buildings_df.columns: if pf_buildings_df[col].dtype == "object": has_lists = pf_buildings_df[col].apply(lambda x: isinstance(x, list)).any() if has_lists: pf_buildings_df[col] = clean_column_for_parquet(pf_buildings_df[col]) pf_buildings_output_path = os.path.join(data_dir, "pf_buildings.parquet") pf_buildings_df.to_parquet(pf_buildings_output_path, index=False) except Exception as error: print(f"ОШИБКА при обработке pf_buildings: {error}") return- Загрузка и фильтрация данных:
- Загружается файл
pf_buildings.pklс подавлением предупреждений. - Данные фильтруются по городу Дубай.
- Загружается файл
- Очистка данных:
- Определяется функция
clean_column_for_parquetдля преобразования столбцов с объектными типами в строковые. - Проверяются и очищаются столбцы, содержащие списки.
- Определяется функция
- Сохранение данных:
- Очищенные данные сохраняются в формате
parquet.
- Очищенные данные сохраняются в формате
В случае ошибки выводится сообщение и скрипт завершает работу.
Копирование оставшихся файлов
try: if os.path.exists(bayut_buildings_path): bayut_df = pd.read_parquet(bayut_buildings_path) bayut_output_path = os.path.join(data_dir, "bayut_buildings.parquet") bayut_df.to_parquet(bayut_output_path, index=False) if os.path.exists(connection_ids_path): with warnings.catch_warnings(): warnings.simplefilter("ignore", DeprecationWarning) connection_ids = pd.read_parquet(connection_ids_path) if isinstance(connection_ids, pd.DataFrame): connection_output_path = os.path.join(data_dir, "connection_IDS.parquet") connection_ids.to_parquet(connection_output_path, index=False) else: connection_output_path = os.path.join(data_dir, "connection_IDS.pkl") with open(connection_output_path, "wb") as file: pickle.dump(connection_ids, file) except Exception as error: print(f"ОШИБКА при копировании файлов: {error}") returnbayut_buildings.parquet:- Если файл существует, он загружается и сохраняется в папку
data.
- Если файл существует, он загружается и сохраняется в папку
connection_IDS.parquet:- Если файл существует, он загружается.
- В зависимости от типа данных (
DataFrameили другой), файл сохраняется в форматеparquetилиpkl.
В случае ошибки выводится сообщение и скрипт завершает работу.
Запуск скрипта
if __name__ == "__main__": auth_directory = r"../../../.assf/cloud_auth_file" download_and_process_real_estate_data(auth_directory)Скрипт запускается с указанным путём к папке с файлом аутентификации.
Вывод
Скрипт хорошо структурирован и включает в себя обработку ошибок на каждом этапе. Он успешно выполняет задачи по загрузке и обработке данных из Google Drive, а также сохранению их в нужном формате.
Рекомендации
- Логирование: Вместо печати сообщений об ошибках можно использовать модуль
loggingдля более гибкого управления логами. - Тесты: Добавить unit-тесты для каждой функции, чтобы обеспечить надёжность кода.
- Документация: Добавить документацию для каждой функции и класса, чтобы упростить понимание и поддержку кода.
- User
Мне нужно его переделать:
- модуль должен скачать в папку cloud_data такие файлы:
- building_sales_features.pkl
- building_names_with_geo.pkl
- bayut_buildings.parquet
просто скачать, преобразовывать их не надо
- модуль должен скачать в папку cloud_data такие файлы:
Assistant
Конечно! Давайте переделаем скрипт так, чтобы он скачивал указанные файлы в папку
cloud_dataбез их преобразования. Вот обновлённый код:""" Модуль для загрузки данных недвижимости из Google Drive. """ import os from modules.google_drive_manager import GoogleDriveManager def download_real_estate_data(auth_file_dir): """ Загружает данные недвижимости из Google Drive. :param auth_file_dir: Путь к папке с файлом аутентификации dubai-estate-7831cb4f621b.json :type auth_file_dir: str :return: None :rtype: None """ # Константы AUTH_FILE_NAME = "dubai-estate-7831cb4f621b.json" DRIVE_FOLDER_ID = "19i06Z_3xx1FDmIXWpijG_Jzm37eteySd" # Проверяем наличие файла аутентификации auth_file_path = os.path.join(auth_file_dir, AUTH_FILE_NAME) if not os.path.exists(auth_file_path): print( f"ОШИБКА: Файл аутентификации {AUTH_FILE_NAME} не найден в папке {auth_file_dir}" ) return # Определяем корневую папку проекта current_dir = os.getcwd() # Поднимаемся до корня проекта (предполагаем, что модуль в папке modules) if os.path.basename(current_dir) == "modules": project_root = os.path.dirname(current_dir) else: # Если запускаем не из папки modules, ищем корень проекта project_root = current_dir while not os.path.exists(os.path.join(project_root, "modules")): parent = os.path.dirname(project_root) if parent == project_root: # Достигли корня файловой системы project_root = current_dir break project_root = parent # Создаем папку cloud_data если её нет cloud_data_dir = os.path.join(project_root, "cloud_data") if not os.path.exists(cloud_data_dir): os.makedirs(cloud_data_dir) # Определяем пути для загрузки building_sales_features_path = os.path.join(cloud_data_dir, "building_sales_features.pkl") building_names_with_geo_path = os.path.join(cloud_data_dir, "building_names_with_geo.pkl") bayut_buildings_path = os.path.join(cloud_data_dir, "bayut_buildings.parquet") # Создаем менеджер Google Drive try: manager = GoogleDriveManager( google_service_account_file=auth_file_path, drive_folder_id=DRIVE_FOLDER_ID, ) except Exception as error: print(f"ОШИБКА при инициализации Google Drive Manager: {error}") return # Определяем файлы для загрузки required_data = [ {"drive_name": "building_sales_features.pkl", "local_path": building_sales_features_path}, {"drive_name": "building_names_with_geo.pkl", "local_path": building_names_with_geo_path}, {"drive_name": "bayut_buildings.parquet", "local_path": bayut_buildings_path}, ] # Загружаем файлы try: manager.download_files(required_data) except Exception as error: print(f"ОШИБКА при загрузке файлов: {error}") return if __name__ == "__main__": # Пример использования (исправлен путь с raw string) auth_directory = r"../../../.assf/cloud_auth_file" download_real_estate_data(auth_directory)Изменения:
- Удалены импорты
pickleиpandas, так как преобразование данных больше не требуется. - Удалены все части кода, относящиеся к обработке и преобразованию данных.
- Обновлен список
required_dataдля загрузки новых файлов. - Упрощена функция
download_real_estate_dataдо загрузки файлов.
Теперь скрипт только загружает указанные файлы в папку
cloud_dataбез каких-либо преобразований.- Удалены импорты
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.