Нужно добавить перевод pkl файлов в parquet и сохранить их в data
- User
Нужно добавить перевод pkl файлов в parquet и сохранить их в data
Assistant
Давайте обновим скрипт так, чтобы он переводил
pklфайлы вparquetи сохранял их в папкуdata. Вот обновлённый код:""" Модуль для загрузки данных недвижимости из Google Drive. """ import os import pickle import pandas as pd from modules.google_drive_manager import GoogleDriveManager def download_and_convert_real_estate_data(auth_file_dir): """ Загружает данные недвижимости из Google Drive и конвертирует pkl в parquet. :param auth_file_dir: Путь к папке с файлом аутентификации dubai-estate-7831cb4f621b.json :type auth_file_dir: str :return: None :rtype: None """ # Константы AUTH_FILE_NAME = "dubai-estate-7831cb4f621b.json" DRIVE_FOLDER_ID = "19i06Z_3xx1FDmIXWpijG_Jzm37eteySd" # Проверяем наличие файла аутентификации auth_file_path = os.path.join(auth_file_dir, AUTH_FILE_NAME) if not os.path.exists(auth_file_path): print( f"ОШИБКА: Файл аутентификации {AUTH_FILE_NAME} не найден в папке {auth_file_dir}" ) return # Определяем корневую папку проекта current_dir = os.getcwd() # Поднимаемся до корня проекта (предполагаем, что модуль в папке modules) if os.path.basename(current_dir) == "modules": project_root = os.path.dirname(current_dir) else: # Если запускаем не из папки modules, ищем корень проекта project_root = current_dir while not os.path.exists(os.path.join(project_root, "modules")): parent = os.path.dirname(project_root) if parent == project_root: # Достигли корня файловой системы project_root = current_dir break project_root = parent # Создаем папку cloud_data если её нет cloud_data_dir = os.path.join(project_root, "cloud_data") if not os.path.exists(cloud_data_dir): os.makedirs(cloud_data_dir) # Создаем папку data если её нет data_dir = os.path.join(project_root, "data") if not os.path.exists(data_dir): os.makedirs(data_dir) # Определяем пути для загрузки building_sales_features_path = os.path.join(cloud_data_dir, "building_sales_features.pkl") building_names_with_geo_path = os.path.join(cloud_data_dir, "building_names_with_geo.pkl") bayut_buildings_path = os.path.join(cloud_data_dir, "bayut_buildings.parquet") # Создаем менеджер Google Drive try: manager = GoogleDriveManager( google_service_account_file=auth_file_path, drive_folder_id=DRIVE_FOLDER_ID, ) except Exception as error: print(f"ОШИБКА при инициализации Google Drive Manager: {error}") return # Определяем файлы для загрузки required_data = [ {"drive_name": "building_sales_features.pkl", "local_path": building_sales_features_path}, {"drive_name": "building_names_with_geo.pkl", "local_path": building_names_with_geo_path}, {"drive_name": "bayut_buildings.parquet", "local_path": bayut_buildings_path}, ] # Загружаем файлы try: manager.download_files(required_data) except Exception as error: print(f"ОШИБКА при загрузке файлов: {error}") return # Конвертируем pkl файлы в parquet try: # Конвертируем building_sales_features.pkl if os.path.exists(building_sales_features_path): with open(building_sales_features_path, "rb") as file: building_sales_features_df = pickle.load(file) building_sales_features_output_path = os.path.join(data_dir, "building_sales_features.parquet") building_sales_features_df.to_parquet(building_sales_features_output_path, index=False) # Конвертируем building_names_with_geo.pkl if os.path.exists(building_names_with_geo_path): with open(building_names_with_geo_path, "rb") as file: building_names_with_geo_df = pickle.load(file) building_names_with_geo_output_path = os.path.join(data_dir, "building_names_with_geo.parquet") building_names_with_geo_df.to_parquet(building_names_with_geo_output_path, index=False) except Exception as error: print(f"ОШИБКА при конвертации файлов: {error}") return if __name__ == "__main__": # Пример использования (исправлен путь с raw string) auth_directory = r"../../../.assf/cloud_auth_file" download_and_convert_real_estate_data(auth_directory)Изменения:
- Добавлен код для конвертации
pklфайлов вparquetс использованиемpickleиpandas. - Создаётся папка
data, если она не существует. - Обновлены пути для сохранения конвертированных файлов в папку
data.
Теперь скрипт не только загружает файлы из Google Drive, но и конвертирует
pklфайлы вparquet, сохраняя их в папкуdata.- Добавлен код для конвертации
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.