Skip to content
TheChatArchiveThe Chat Archive
Amazon Novaamazon-nova-experimental-chat-05-14· AmazonHugging Face LMArena Human Preference 140K

Проанализируй, пожалуйста, этот код: [code]

From a Chatbot Arena battleThe same person sent this prompt to two anonymous models at once. Compare it with Metallama-4-maverick-03-26-experimental’s answer.
  1. User

    Проанализируй, пожалуйста, этот код:

    """
    Модуль для загрузки и обработки данных недвижимости из Google Drive.
    """
    
    import os
    import pickle
    
    import pandas as pd
    
    from modules.google_drive_manager import GoogleDriveManager
    
    
    def download_and_process_real_estate_data(auth_file_dir):
        """
        Загружает данные недвижимости из Google Drive и обрабатывает их.
    
        :param auth_file_dir: Путь к папке с файлом аутентификации dubai-estate-7831cb4f621b.json
        :type auth_file_dir: str
        :return: None
        :rtype: None
        """
    
        # Константы
        AUTH_FILE_NAME = "dubai-estate-7831cb4f621b.json"
        DRIVE_FOLDER_ID = "19i06Z_3xx1FDmIXWpijG_Jzm37eteySd"
    
        # Проверяем наличие файла аутентификации
        auth_file_path = os.path.join(auth_file_dir, AUTH_FILE_NAME)
        if not os.path.exists(auth_file_path):
            print(
                f"ОШИБКА: Файл аутентификации {AUTH_FILE_NAME} не найден в папке {auth_file_dir}"
            )
            return
    
        # Определяем корневую папку проекта
        current_dir = os.getcwd()
        # Поднимаемся до корня проекта (предполагаем, что модуль в папке modules)
        if os.path.basename(current_dir) == "modules":
            project_root = os.path.dirname(current_dir)
        else:
            # Если запускаем не из папки modules, ищем корень проекта
            project_root = current_dir
            while not os.path.exists(os.path.join(project_root, "modules")):
                parent = os.path.dirname(project_root)
                if parent == project_root:  # Достигли корня файловой системы
                    project_root = current_dir
                    break
                project_root = parent
    
        # Создаем папку cloud_data если её нет
        cloud_data_dir = os.path.join(project_root, "cloud_data")
        if not os.path.exists(cloud_data_dir):
            os.makedirs(cloud_data_dir)
    
        # Создаем папку data в корне проекта если её нет
        data_dir = os.path.join(project_root, "data")
        if not os.path.exists(data_dir):
            os.makedirs(data_dir)
    
        # Определяем пути для загрузки
        download_info_path = os.path.join(cloud_data_dir, "download_info.json")
        bayut_buildings_path = os.path.join(cloud_data_dir, "bayut_buildings.parquet")
        pf_buildings_path = os.path.join(cloud_data_dir, "pf_buildings.pkl")
        connection_ids_path = os.path.join(cloud_data_dir, "connection_IDS.parquet")
    
        # Создаем менеджер Google Drive
        try:
            manager = GoogleDriveManager(
                google_service_account_file=auth_file_path,
                download_info_file_path=download_info_path,
                drive_folder_id=DRIVE_FOLDER_ID,
            )
        except Exception as error:
            print(f"ОШИБКА при инициализации Google Drive Manager: {error}")
            return
    
        # Определяем файлы для загрузки
        required_data = [
            {"drive_name": "bayut_buildings.parquet", "local_path": bayut_buildings_path},
            {"drive_name": "pf_buildings.pkl", "local_path": pf_buildings_path},
            {"drive_name": "connection_IDS.parquet", "local_path": connection_ids_path},
        ]
    
        # Загружаем файлы
        try:
            manager.download_files(required_data)
        except Exception as error:
            print(f"ОШИБКА при загрузке файлов: {error}")
            return
    
        # Обрабатываем pf_buildings
        try:
            # Загружаем pickle файл с подавлением предупреждений
            import warnings
    
            with warnings.catch_warnings():
                warnings.simplefilter("ignore", DeprecationWarning)
                with open(pf_buildings_path, "rb") as file:
                    pf_buildings_df = pickle.load(file)
    
            # Фильтруем по Дубаю
            pf_buildings_df = pf_buildings_df[
                pf_buildings_df["url_city_slug"] == "dubai"
            ].copy()
    
            # Обрабатываем проблемные колонки для parquet
            def clean_column_for_parquet(series):
                """Очищает колонку от смешанных типов для сохранения в parquet"""
                return series.astype(str)
    
            # Проверяем и очищаем колонки с объектными типами
            for col in pf_buildings_df.columns:
                if pf_buildings_df[col].dtype == "object":
                    # Проверяем, есть ли в колонке списки
                    has_lists = (
                        pf_buildings_df[col].apply(lambda x: isinstance(x, list)).any()
                    )
                    if has_lists:
                        pf_buildings_df[col] = clean_column_for_parquet(
                            pf_buildings_df[col]
                        )
    
            # Сохраняем в формате parquet
            pf_buildings_output_path = os.path.join(data_dir, "pf_buildings.parquet")
            pf_buildings_df.to_parquet(pf_buildings_output_path, index=False)
    
        except Exception as error:
            print(f"ОШИБКА при обработке pf_buildings: {error}")
            return
    
        # Копируем остальные файлы в папку data
        try:
            # Копируем bayut_buildings
            if os.path.exists(bayut_buildings_path):
                bayut_df = pd.read_parquet(bayut_buildings_path)
                bayut_output_path = os.path.join(data_dir, "bayut_buildings.parquet")
                bayut_df.to_parquet(bayut_output_path, index=False)
    
            # Копируем connection_IDS
            if os.path.exists(connection_ids_path):
                with warnings.catch_warnings():
                    warnings.simplefilter("ignore", DeprecationWarning)
                    # with open(connection_ids_path, "rb") as file:
                    #     connection_ids = pickle.load(file)
                    connection_ids = pd.read_parquet(connection_ids_path)
    
                # Сохраняем как parquet если это DataFrame, иначе как pickle
                if isinstance(connection_ids, pd.DataFrame):
                    connection_output_path = os.path.join(
                        data_dir, "connection_IDS.parquet"
                    )
                    connection_ids.to_parquet(connection_output_path, index=False)
                else:
                    connection_output_path = os.path.join(data_dir, "connection_IDS.pkl")
                    with open(connection_output_path, "wb") as file:
                        pickle.dump(connection_ids, file)  # type: ignore
    
        except Exception as error:
            print(f"ОШИБКА при копировании файлов: {error}")
            return
    
    
    if __name__ == "__main__":
        # Пример использования (исправлен путь с raw string)
        auth_directory = r"../../../.assf/cloud_auth_file"
        download_and_process_real_estate_data(auth_directory)
    
  2. Amazon Nova Assistant

    Давайте проанализируем предоставленный код по частям.

    Обзор

    Этот скрипт предназначен для загрузки и обработки данных о недвижимости из Google Drive. Он включает в себя следующие этапы:

    1. Проверка наличия файла аутентификации.
    2. Определение корневой папки проекта.
    3. Создание необходимых папок.
    4. Инициализация менеджера Google Drive.
    5. Загрузка файлов с Google Drive.
    6. Обработка и сохранение загруженных данных.

    Подробный анализ

    Импорты

    import os
    import pickle
    
    import pandas as pd
    
    from modules.google_drive_manager import GoogleDriveManager
    
    • os: Для работы с файловой системой.
    • pickle: Для сериализации и десериализации объектов Python.
    • pandas: Для работы с данными в формате DataFrame.
    • GoogleDriveManager: Кастомный модуль для взаимодействия с Google Drive.

    Константы

    AUTH_FILE_NAME = "dubai-estate-7831cb4f621b.json"
    DRIVE_FOLDER_ID = "19i06Z_3xx1FDmIXWpijG_Jzm37eteySd"
    
    • AUTH_FILE_NAME: Имя файла аутентификации для доступа к Google Drive.
    • DRIVE_FOLDER_ID: ID папки на Google Drive, из которой будут загружаться данные.

    Проверка наличия файла аутентификации

    auth_file_path = os.path.join(auth_file_dir, AUTH_FILE_NAME)
    if not os.path.exists(auth_file_path):
        print(f"ОШИБКА: Файл аутентификации {AUTH_FILE_NAME} не найден в папке {auth_file_dir}")
        return
    

    Если файл аутентификации отсутствует, скрипт выводит сообщение об ошибке и завершает работу.

    Определение корневой папки проекта

    current_dir = os.getcwd()
    if os.path.basename(current_dir) == "modules":
        project_root = os.path.dirname(current_dir)
    else:
        project_root = current_dir
        while not os.path.exists(os.path.join(project_root, "modules")):
            parent = os.path.dirname(project_root)
            if parent == project_root:
                project_root = current_dir
                break
            project_root = parent
    

    Скрипт пытается определить корневую папку проекта. Если текущая папка — modules, то корневой считается родительская папка. В противном случае, скрипт поднимается по дереву каталогов до тех пор, пока не найдёт папку modules.

    Создание папок

    cloud_data_dir = os.path.join(project_root, "cloud_data")
    if not os.path.exists(cloud_data_dir):
        os.makedirs(cloud_data_dir)
    
    data_dir = os.path.join(project_root, "data")
    if not os.path.exists(data_dir):
        os.makedirs(data_dir)
    

    Создаются папки cloud_data и data, если они не существуют.

    Инициализация менеджера Google Drive

    try:
        manager = GoogleDriveManager(
            google_service_account_file=auth_file_path,
            download_info_file_path=download_info_path,
            drive_folder_id=DRIVE_FOLDER_ID,
        )
    except Exception as error:
        print(f"ОШИБКА при инициализации Google Drive Manager: {error}")
        return
    

    Создаётся экземпляр GoogleDriveManager для взаимодействия с Google Drive. В случае ошибки выводится сообщение и скрипт завершает работу.

    Загрузка файлов

    required_data = [
        {"drive_name": "bayut_buildings.parquet", "local_path": bayut_buildings_path},
        {"drive_name": "pf_buildings.pkl", "local_path": pf_buildings_path},
        {"drive_name": "connection_IDS.parquet", "local_path": connection_ids_path},
    ]
    
    try:
        manager.download_files(required_data)
    except Exception as error:
        print(f"ОШИБКА при загрузке файлов: {error}")
        return
    

    Загружаются три файла: bayut_buildings.parquet, pf_buildings.pkl и connection_IDS.parquet. В случае ошибки выводится сообщение и скрипт завершает работу.

    Обработка файла pf_buildings.pkl

    try:
        import warnings
        with warnings.catch_warnings():
            warnings.simplefilter("ignore", DeprecationWarning)
            with open(pf_buildings_path, "rb") as file:
                pf_buildings_df = pickle.load(file)
    
        pf_buildings_df = pf_buildings_df[pf_buildings_df["url_city_slug"] == "dubai"].copy()
    
        def clean_column_for_parquet(series):
            return series.astype(str)
    
        for col in pf_buildings_df.columns:
            if pf_buildings_df[col].dtype == "object":
                has_lists = pf_buildings_df[col].apply(lambda x: isinstance(x, list)).any()
                if has_lists:
                    pf_buildings_df[col] = clean_column_for_parquet(pf_buildings_df[col])
    
        pf_buildings_output_path = os.path.join(data_dir, "pf_buildings.parquet")
        pf_buildings_df.to_parquet(pf_buildings_output_path, index=False)
    
    except Exception as error:
        print(f"ОШИБКА при обработке pf_buildings: {error}")
        return
    
    1. Загрузка и фильтрация данных:
      • Загружается файл pf_buildings.pkl с подавлением предупреждений.
      • Данные фильтруются по городу Дубай.
    2. Очистка данных:
      • Определяется функция clean_column_for_parquet для преобразования столбцов с объектными типами в строковые.
      • Проверяются и очищаются столбцы, содержащие списки.
    3. Сохранение данных:
      • Очищенные данные сохраняются в формате parquet.

    В случае ошибки выводится сообщение и скрипт завершает работу.

    Копирование оставшихся файлов

    try:
        if os.path.exists(bayut_buildings_path):
            bayut_df = pd.read_parquet(bayut_buildings_path)
            bayut_output_path = os.path.join(data_dir, "bayut_buildings.parquet")
            bayut_df.to_parquet(bayut_output_path, index=False)
    
        if os.path.exists(connection_ids_path):
            with warnings.catch_warnings():
                warnings.simplefilter("ignore", DeprecationWarning)
                connection_ids = pd.read_parquet(connection_ids_path)
    
            if isinstance(connection_ids, pd.DataFrame):
                connection_output_path = os.path.join(data_dir, "connection_IDS.parquet")
                connection_ids.to_parquet(connection_output_path, index=False)
            else:
                connection_output_path = os.path.join(data_dir, "connection_IDS.pkl")
                with open(connection_output_path, "wb") as file:
                    pickle.dump(connection_ids, file)
    
    except Exception as error:
        print(f"ОШИБКА при копировании файлов: {error}")
        return
    
    1. bayut_buildings.parquet:
      • Если файл существует, он загружается и сохраняется в папку data.
    2. connection_IDS.parquet:
      • Если файл существует, он загружается.
      • В зависимости от типа данных (DataFrame или другой), файл сохраняется в формате parquet или pkl.

    В случае ошибки выводится сообщение и скрипт завершает работу.

    Запуск скрипта

    if __name__ == "__main__":
        auth_directory = r"../../../.assf/cloud_auth_file"
        download_and_process_real_estate_data(auth_directory)
    

    Скрипт запускается с указанным путём к папке с файлом аутентификации.

    Вывод

    Скрипт хорошо структурирован и включает в себя обработку ошибок на каждом этапе. Он успешно выполняет задачи по загрузке и обработке данных из Google Drive, а также сохранению их в нужном формате.

    Рекомендации

    1. Логирование: Вместо печати сообщений об ошибках можно использовать модуль logging для более гибкого управления логами.
    2. Тесты: Добавить unit-тесты для каждой функции, чтобы обеспечить надёжность кода.
    3. Документация: Добавить документацию для каждой функции и класса, чтобы упростить понимание и поддержку кода.
  3. User

    Мне нужно его переделать:

    • модуль должен скачать в папку cloud_data такие файлы:
      • building_sales_features.pkl
      • building_names_with_geo.pkl
      • bayut_buildings.parquet

    просто скачать, преобразовывать их не надо

  4. Amazon Nova Assistant

    Конечно! Давайте переделаем скрипт так, чтобы он скачивал указанные файлы в папку cloud_data без их преобразования. Вот обновлённый код:

    """
    Модуль для загрузки данных недвижимости из Google Drive.
    """
    
    import os
    
    from modules.google_drive_manager import GoogleDriveManager
    
    
    def download_real_estate_data(auth_file_dir):
        """
        Загружает данные недвижимости из Google Drive.
    
        :param auth_file_dir: Путь к папке с файлом аутентификации dubai-estate-7831cb4f621b.json
        :type auth_file_dir: str
        :return: None
        :rtype: None
        """
    
        # Константы
        AUTH_FILE_NAME = "dubai-estate-7831cb4f621b.json"
        DRIVE_FOLDER_ID = "19i06Z_3xx1FDmIXWpijG_Jzm37eteySd"
    
        # Проверяем наличие файла аутентификации
        auth_file_path = os.path.join(auth_file_dir, AUTH_FILE_NAME)
        if not os.path.exists(auth_file_path):
            print(
                f"ОШИБКА: Файл аутентификации {AUTH_FILE_NAME} не найден в папке {auth_file_dir}"
            )
            return
    
        # Определяем корневую папку проекта
        current_dir = os.getcwd()
        # Поднимаемся до корня проекта (предполагаем, что модуль в папке modules)
        if os.path.basename(current_dir) == "modules":
            project_root = os.path.dirname(current_dir)
        else:
            # Если запускаем не из папки modules, ищем корень проекта
            project_root = current_dir
            while not os.path.exists(os.path.join(project_root, "modules")):
                parent = os.path.dirname(project_root)
                if parent == project_root:  # Достигли корня файловой системы
                    project_root = current_dir
                    break
                project_root = parent
    
        # Создаем папку cloud_data если её нет
        cloud_data_dir = os.path.join(project_root, "cloud_data")
        if not os.path.exists(cloud_data_dir):
            os.makedirs(cloud_data_dir)
    
        # Определяем пути для загрузки
        building_sales_features_path = os.path.join(cloud_data_dir, "building_sales_features.pkl")
        building_names_with_geo_path = os.path.join(cloud_data_dir, "building_names_with_geo.pkl")
        bayut_buildings_path = os.path.join(cloud_data_dir, "bayut_buildings.parquet")
    
        # Создаем менеджер Google Drive
        try:
            manager = GoogleDriveManager(
                google_service_account_file=auth_file_path,
                drive_folder_id=DRIVE_FOLDER_ID,
            )
        except Exception as error:
            print(f"ОШИБКА при инициализации Google Drive Manager: {error}")
            return
    
        # Определяем файлы для загрузки
        required_data = [
            {"drive_name": "building_sales_features.pkl", "local_path": building_sales_features_path},
            {"drive_name": "building_names_with_geo.pkl", "local_path": building_names_with_geo_path},
            {"drive_name": "bayut_buildings.parquet", "local_path": bayut_buildings_path},
        ]
    
        # Загружаем файлы
        try:
            manager.download_files(required_data)
        except Exception as error:
            print(f"ОШИБКА при загрузке файлов: {error}")
            return
    
    
    if __name__ == "__main__":
        # Пример использования (исправлен путь с raw string)
        auth_directory = r"../../../.assf/cloud_auth_file"
        download_real_estate_data(auth_directory)
    

    Изменения:

    1. Удалены импорты pickle и pandas, так как преобразование данных больше не требуется.
    2. Удалены все части кода, относящиеся к обработке и преобразованию данных.
    3. Обновлен список required_data для загрузки новых файлов.
    4. Упрощена функция download_real_estate_data до загрузки файлов.

    Теперь скрипт только загружает указанные файлы в папку cloud_data без каких-либо преобразований.

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.