Skip to content
TheChatArchiveThe Chat Archive
Metallama-4-scout-17b-16e-instruct· MetaHugging Face LMArena Human Preference 140K

Нужно добавить перевод pkl файлов в parquet и сохранить их в data

From a Chatbot Arena battleThe same person sent this prompt to two anonymous models at once. Compare it with Qwenqwq-32b’s answer.
  1. User

    Нужно добавить перевод pkl файлов в parquet и сохранить их в data

  2. Meta Assistant

    Давайте обновим скрипт так, чтобы он переводил pkl файлы в parquet и сохранял их в папку data. Вот обновлённый код:

    """
    Модуль для загрузки данных недвижимости из Google Drive.
    """
    
    import os
    import pickle
    
    import pandas as pd
    
    from modules.google_drive_manager import GoogleDriveManager
    
    
    def download_and_convert_real_estate_data(auth_file_dir):
        """
        Загружает данные недвижимости из Google Drive и конвертирует pkl в parquet.
    
        :param auth_file_dir: Путь к папке с файлом аутентификации dubai-estate-7831cb4f621b.json
        :type auth_file_dir: str
        :return: None
        :rtype: None
        """
    
        # Константы
        AUTH_FILE_NAME = "dubai-estate-7831cb4f621b.json"
        DRIVE_FOLDER_ID = "19i06Z_3xx1FDmIXWpijG_Jzm37eteySd"
    
        # Проверяем наличие файла аутентификации
        auth_file_path = os.path.join(auth_file_dir, AUTH_FILE_NAME)
        if not os.path.exists(auth_file_path):
            print(
                f"ОШИБКА: Файл аутентификации {AUTH_FILE_NAME} не найден в папке {auth_file_dir}"
            )
            return
    
        # Определяем корневую папку проекта
        current_dir = os.getcwd()
        # Поднимаемся до корня проекта (предполагаем, что модуль в папке modules)
        if os.path.basename(current_dir) == "modules":
            project_root = os.path.dirname(current_dir)
        else:
            # Если запускаем не из папки modules, ищем корень проекта
            project_root = current_dir
            while not os.path.exists(os.path.join(project_root, "modules")):
                parent = os.path.dirname(project_root)
                if parent == project_root:  # Достигли корня файловой системы
                    project_root = current_dir
                    break
                project_root = parent
    
        # Создаем папку cloud_data если её нет
        cloud_data_dir = os.path.join(project_root, "cloud_data")
        if not os.path.exists(cloud_data_dir):
            os.makedirs(cloud_data_dir)
    
        # Создаем папку data если её нет
        data_dir = os.path.join(project_root, "data")
        if not os.path.exists(data_dir):
            os.makedirs(data_dir)
    
        # Определяем пути для загрузки
        building_sales_features_path = os.path.join(cloud_data_dir, "building_sales_features.pkl")
        building_names_with_geo_path = os.path.join(cloud_data_dir, "building_names_with_geo.pkl")
        bayut_buildings_path = os.path.join(cloud_data_dir, "bayut_buildings.parquet")
    
        # Создаем менеджер Google Drive
        try:
            manager = GoogleDriveManager(
                google_service_account_file=auth_file_path,
                drive_folder_id=DRIVE_FOLDER_ID,
            )
        except Exception as error:
            print(f"ОШИБКА при инициализации Google Drive Manager: {error}")
            return
    
        # Определяем файлы для загрузки
        required_data = [
            {"drive_name": "building_sales_features.pkl", "local_path": building_sales_features_path},
            {"drive_name": "building_names_with_geo.pkl", "local_path": building_names_with_geo_path},
            {"drive_name": "bayut_buildings.parquet", "local_path": bayut_buildings_path},
        ]
    
        # Загружаем файлы
        try:
            manager.download_files(required_data)
        except Exception as error:
            print(f"ОШИБКА при загрузке файлов: {error}")
            return
    
        # Конвертируем pkl файлы в parquet
        try:
            # Конвертируем building_sales_features.pkl
            if os.path.exists(building_sales_features_path):
                with open(building_sales_features_path, "rb") as file:
                    building_sales_features_df = pickle.load(file)
                building_sales_features_output_path = os.path.join(data_dir, "building_sales_features.parquet")
                building_sales_features_df.to_parquet(building_sales_features_output_path, index=False)
    
            # Конвертируем building_names_with_geo.pkl
            if os.path.exists(building_names_with_geo_path):
                with open(building_names_with_geo_path, "rb") as file:
                    building_names_with_geo_df = pickle.load(file)
                building_names_with_geo_output_path = os.path.join(data_dir, "building_names_with_geo.parquet")
                building_names_with_geo_df.to_parquet(building_names_with_geo_output_path, index=False)
    
        except Exception as error:
            print(f"ОШИБКА при конвертации файлов: {error}")
            return
    
    
    if __name__ == "__main__":
        # Пример использования (исправлен путь с raw string)
        auth_directory = r"../../../.assf/cloud_auth_file"
        download_and_convert_real_estate_data(auth_directory)
    

    Изменения:

    1. Добавлен код для конвертации pkl файлов в parquet с использованием pickle и pandas.
    2. Создаётся папка data, если она не существует.
    3. Обновлены пути для сохранения конвертированных файлов в папку data.

    Теперь скрипт не только загружает файлы из Google Drive, но и конвертирует pkl файлы в parquet, сохраняя их в папку data.

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.

Identical first prompt