Skip to content
TheChatArchiveThe Chat Archive
gpt-4-0125-preview· openaiHugging Face Suzhen/CodeChat

Как записать список словарей в формат json

  1. User

    Как записать список словарей в формат json

  2. Assistant

    Для записи списка словарей в формат JSON в Python можно использовать модуль json. Он предоставляет простые методы для преобразования данных в строку JSON (json.dumps()) и записи этих данных в файл (json.dump()). Ниже приведен пример, демонстрирующий оба способа.

    Пример 1: Преобразование списка словарей в строку JSON

    Допустим, у нас есть следующий список словарей:

    data = [
        {'name': 'John Doe', 'age': 30, 'city': 'New York'},
        {'name': 'Jane Doe', 'age': 25, 'city': 'Paris'}
    ]
    

    Чтобы преобразовать этот список в строку JSON, используем метод json.dumps():

    import json
    
    json_string = json.dumps(data, indent=4)
    print(json_string)
    

    Этот код выводит строку в формате JSON с отступом в 4 пробела для удобочитаемости. Вместо indent=4 можно использовать другое значение или опустить этот аргумент, если отступы не нужны.

    Пример 2: Запись списка словарей в файл JSON

    Чтобы записать данные напрямую в файл, используется метод json.dump():

    import json
    
    data = [
        {'name': 'John Doe', 'age': 30, 'city': 'New York'},
        {'name': 'Jane Doe', 'age': 25, 'city': 'Paris'}
    ]
    
    # Открытие файла в режиме записи
    with open('data.json', 'w') as f:
        # Запись списка словарей в файл в формате JSON
        json.dump(data, f, indent=4)
    

    В этом случае данные будут записаны в файл data.json в удобочитаемом формате с отступами.

    Важно! Методы json.dumps() и json.dump() принимают различные дополнительные аргументы для контроля над процессом сериализации, такие как ensure_ascii для работы с нелатинскими символами и sort_keys для сортировки ключей словаря при записи.

  3. User

    task["res_dse"] = [{'entity_group': 'Начало', 'score': 0.9230613, 'word': 'Добрый день.', 'start': 1362, 'end': 1374}, {'entity_group': 'Начало', 'score': 0.5664966, 'word': ', могла бы', 'start': 1377, 'end': 1387}, {'entity_group': 'Начало', 'score': 0.6779848, 'word': 'зовут', 'start': 1400, 'end': 1405}]

    task_res = pipelineFunction( task, *args, **kwargs ) File "/mnt/vol_b/https:/bitbucket.org/inbiz/srv-gpu-dse/dse_main.py", line 59, in workerThreadNER jsonResult = json.dumps(task["res_dse"]) File "/usr/lib/python3.10/json/init.py", line 231, in dumps return _default_encoder.encode(obj) File "/usr/lib/python3.10/json/encoder.py", line 199, in encode chunks = self.iterencode(o, _one_shot=True) File "/usr/lib/python3.10/json/encoder.py", line 257, in iterencode return _iterencode(o, 0) File "/usr/lib/python3.10/json/encoder.py", line 179, in default raise TypeError(f'Object of type {o.class.name} ' TypeError: Object of type float32 is not JSON serializable

  4. Assistant

    Ошибка "TypeError: Object of type float32 is not JSON serializable" указывает на то, что Python не может преобразовать объект типа float32 (обычно используемый в библиотеках для научных вычислений, таких как NumPy) в формат JSON напрямую. Модуль json в стандартной библиотеке Python может сериализовать встроенные типы данных, такие как int, float, str, list, dict, но не numpy.float32 или другие специализированные типы данных.

    Чтобы решить эту проблему, вы можете явно преобразовать значения типа float32 к стандартному типу float перед сериализацией в JSON. В вашем случае ошибку вызывает попытка сериализации score, который, вероятно, является numpy.float32.

    Пример решения задачи с помощью пользовательской функции для сериализации:

    import json
    import numpy as np
    
    # Ваш исходный список словарей
    task = {}
    task["res_dse"] = [
        {'entity_group': 'Начало', 'score': np.float32(0.9230613), 'word': 'Добрый день.', 'start': 1362, 'end': 1374},
        {'entity_group': 'Начало', 'score': np.float32(0.5664966), 'word': ', могла бы', 'start': 1377, 'end': 1387},
        {'entity_group': 'Начало', 'score': np.float32(0.6779848), 'word': 'зовут', 'start': 1400, 'end': 1405}
    ]
    
    def default_converter(obj):
        """Функция для преобразования неподдерживаемых типов"""
        if isinstance(obj, np.float32):
            return float(obj)  # Преобразование np.float32 в обычный float
        raise TypeError(f'Object of type {obj.__class__.__name__} is not JSON serializable')
    
    # Использование custom converter функции при сериализации в JSON
    jsonResult = json.dumps(task["res_dse"], default=default_converter)
    
    print(jsonResult)
    

    В примере функция default_converter проверяет, является ли объект типом np.float32, и если да, то преобразует его в стандартный float. Это позволяет функции json.dumps() успешно сериализовать данные, содержащие числа типа float32, в строку JSON.

    Обратите внимание, что если у вас в данных могут быть и другие специальные типы (например, numpy массивы или другие числовые типы, такие как numpy.int64), вам может потребоваться расширить функцию default_converter для обработки этих типов.

  5. User

    Нужно пройтись по списку словарей и преобразовать тип поля score на обычный флоат

  6. Assistant

    Если ваша задача состоит в том, чтобы пройтись по списку словарей и преобразовать тип поля score из numpy.float32 в обычный Python float (или любой другой специальный числовой тип в стандартный тип), вы можете сделать это с помощью цикла. Вот простой пример, как это можно осуществить:

    import numpy as np
    
    # Предположим, это ваш исходный список словарей
    task_res_dse = [
        {'entity_group': 'Начало', 'score': np.float32(0.9230613), 'word': 'Добрый день.', 'start': 1362, 'end': 1374},
        {'entity_group': 'Начало', 'score': np.float32(0.5664966), 'word': ', могла бы', 'start': 1377, 'end': 1387},
        {'entity_group': 'Начало', 'score': np.float32(0.6779848), 'word': 'зовут', 'start': 1400, 'end': 1405}
    ]
    
    # Пройтись по списку словарей и преобразовать score из numpy.float32 в float
    for item in task_res_dse:
        item['score'] = float(item['score'])
    
    # Проверка результата
    print(task_res_dse)
    

    Этот кусок кода пройдёт по каждому словарю в вашем списке task_res_dse и преобразует значение score из numpy.float32 в стандартный тип float. После этого преобразования вы сможете сериализовать ваш список словарей в формат JSON с использованием json.dumps() без необходимости использования пользовательской функции для конвертации типов, как в предыдущем ответе.

  7. User

    получить разницу между файлами через консоль линукс

  8. Assistant

    Чтобы получить разницу между двумя файлами в консоли Linux, можно использовать команду diff. Эта команда сравнивает содержимое двух файлов построчно и выводит различия. Если команда не выводит ничего, это означает, что файлы идентичны.

    Синтаксис команды diff в самом базовом виде выглядит так:

    diff файл1 файл2
    

    Опции команды diff

    diff предлагает ряд полезных опций для более детального и управляемого сравнения. Вот несколько распространённых опций:

    • -c или --context: Показывает несколько строк контекста вокруг различий. Это может помочь лучше понять, где и почему произошли различия.
    • -u, --unified: Эта опция аналогична -c, но выводит результаты в так называемом "унифицированном" формате, который часто предпочитают разработчики, так как он компактнее и удобнее для чтения.
    • -i: Игнорирует различия в регистре букв.
    • -w: Игнорирует все пробелы.
    • -B: Игнорирует изменения, состоящие исключительно из добавления или удаления пустых строк.

    Пример использования

    Предположим, у вас есть два файла, file1.txt и file2.txt, и вы хотите сравнить их, получив контекстные строки вокруг изменений. Команда будет выглядеть следующим образом:

    diff -c file1.txt file2.txt
    

    Или если хотите унифицированный формат вывода:

    diff -u file1.txt file2.txt
    

    Применение diff для каталогов

    diff также может быть использована для сравнения файлов в двух каталогах. Она рекурсивно проходит по каталогам и сравнивает файлы с одинаковыми именами.

    diff -r dir1 dir2
    

    -r указывает diff на необходимость рекурсивного сравнения.

    Визуализация различий с colordiff

    colordiff - это оболочка для diff и дает те же результаты, но с цветным выделением, делая их более читаемыми. Если colordiff не установлен, его можно установить с помощью менеджера пакетов вашего дистрибутива, например, так:

    # Для систем на базе Debian/Ubuntu
    sudo apt-get install colordiff
    
    # Для систем на базе Red Hat/Fedora
    sudo dnf install colordiff
    

    Использовать colordiff так же просто, как и diff:

    colordiff file1.txt file2.txt
    

    Эти инструменты и методы позволяют эффективно находить и анализировать различия между файлами и каталогами в системах Linux и Unix.

  9. User

    Почему вот так код отрабатывает правильно class TaskSender(): def init(self, task_type, content_type=None, conn_timeout=10, data_timeout=300, pool_connections=10, task_timeout=60, max_parallel_requests=100, streamer_mode = False):

     if data_timeout < task_timeout:
         raise Exception (" data_timeout < task_timeout. Wrong config.")
    
     self.conn_timeout = conn_timeout
     self.data_timeout = data_timeout
     self.content_type = content_type
     self.streamer_mode = streamer_mode
    
     self.pool_connections = pool_connections
     self.max_parallel_requests = max_parallel_requests
    
     self.task_type = task_type
     self.task_timeout = task_timeout
     
     # запустить тред а в треде запустить корутину
     self.taskServers = base_urls.GpuTaskServers( task_type = task_type, stats_workaround=False )
     
     self.r_session = base_urls.SrvGpuFixedHttpsSession( pool_connections, timeout=( conn_timeout, data_timeout), allow_redirects=False )
       
    
     self._tasks = queue.Queue(maxsize = max_parallel_requests)
    
     self._stop_event = threading.Event()
    
     self._corutine_thread = threading.Thread( target=self.runCorutineThread, args=(), daemon=True )
     self._corutine_thread.start()
    

    def exit(self, *args): self._stop_event.set() self._corutine_thread.join() self.taskServers.stop()

    А вот так нет

    class TaskSender():

    task_timeout - это время протухания таска на сервере

    def init(self, task_type, content_type=None, conn_timeout=10, data_timeout=300, pool_connections=10, task_timeout=60, max_parallel_requests=100, streamer_mode = False):

     if data_timeout < task_timeout:
         raise Exception (" data_timeout < task_timeout. Wrong config.")
    
     self.conn_timeout = conn_timeout
     self.data_timeout = data_timeout
     self.content_type = content_type
     self.streamer_mode = streamer_mode
    
     self.pool_connections = pool_connections
     self.max_parallel_requests = max_parallel_requests
    
     self.task_type = task_type
     self.task_timeout = task_timeout
    
     
     self.r_session = base_urls.SrvGpuFixedHttpsSession( pool_connections, timeout=( conn_timeout, data_timeout), allow_redirects=False )
       
    
     self._tasks = queue.Queue(maxsize = max_parallel_requests)
    

    def enter(self): self.taskServers = base_urls.GpuTaskServers( task_type = self.task_type, stats_workaround=False )

     # запустить тред а в треде запустить корутину
     self._stop_event = threading.Event()
     self._corutine_thread = threading.Thread( target=self.runCorutineThread, args=(), daemon=True )
     self._corutine_thread.start()
     return self
    

    def exit(self, *args): self._stop_event.set() self._corutine_thread.join() self.taskServers.stop()

  10. Assistant

    Основное различие между двумя приведенными вами фрагментами кода заключается в том, как и когда инициализируются некоторые атрибуты и объекты в классе TaskSender.

    В первом примере код отрабатывает "правильно", потому что в методе __init__ происходит инициализация всех необходимых атрибутов и объектов сразу при создании экземпляра класса. Это означает, что после того, как объект TaskSender создан, он уже имеет все нужные атрибуты и готов к использованию.

    Во втором примере вы пытаетесь использовать контекстный менеджер (методы __enter__ и __exit__), который изменяет логику инициализации и использования вашего объекта.

    • Метод __enter__ должен быть вызван с помощью конструкции with для корректной инициализации объекта, которая в вашем случае включает создание серверов задач (taskServers), инициализацию потока (_corutine_thread) и установку события остановки (_stop_event).
    • Это изменение логики влечет за собой, что если вы просто создадите объект TaskSender без использования with, то атрибуты taskServers, _stop_event, и _corutine_thread не будут инициализированы, пока не будет вызвана контекстная управляющая конструкция with, и попытка обращения к ним до этого вызовет ошибку.

    Таким образом, если во втором примере код "не отрабатывает правильно", скорее всего проблема в неиспользовании конструкции with, которая необходима для вызова метода __enter__ и соответствующей инициализации объекта.

    Для того чтобы во втором случае код работал корректно, вы должны использовать объект TaskSender следующим образом:

    with TaskSender(...) as sender:
        # здесь код, использующий sender после полной инициализации
    

    Только после входа в блок with атрибут taskServers будет инициализирован, и поток _corutine_thread будет запущен, тем самым обеспечивая "правильную" работу кода аналогично первому примеру без использования контекстных менеджеров.

  11. User

    Как тогда правильно переписать эту функцию def Dialog_start_end(file_path, is_high_priority, taskSender=None, params=None):

    if taskSender == None:
        taskSender = srv_gpu_task.TaskSender(task_type="dialog_start_end", task_timeout=60, max_parallel_requests=5) # 5 минут впарралель процессится 80-90 секунд на 3090, плюс в очереди еще на сервере задач сколько простоит
    # ОТПРАВЛЯЕМ json 
    file_to_send = get_text_from_stt(file_path)
    
    task = SendTextFile(file_to_send, taskSender, high_priority=is_high_priority)
    sended_task = ({
            "task": task
            })
    
    print(sended_task)
    
    print('WAIT')
    
    task_res = taskSender.waitResult(task)
    
    print("All tasks got results")
    
    return task_res
    
  12. Assistant

    Если ваша цель — правильно использовать TaskSender как во втором примере, где он реализован с помощью контекстного менеджера (__enter__ и __exit__), вы можете адаптировать функцию Dialog_start_end для работы с этим подходом. Для этого функция должна создавать и использовать экземпляр TaskSender внутри блока with, чтобы автоматически вызывать методы __enter__ и __exit__ для инициализации и корректного закрытия ресурсов.

    Вот пример, как можно переписать вашу функцию с соблюдением этого подхода:

    def Dialog_start_end(file_path, is_high_priority, taskSender=None, params=None):
        # Проверяем, был ли передан экземпляр TaskSender или его нужно создать
        if taskSender is None:
            # Используем TaskSender в контекстном блоке, чтобы гарантировать корректную инициализацию и закрытие
            with srv_gpu_task.TaskSender(task_type="dialog_start_end", task_timeout=60, max_parallel_requests=5) as taskSender:
                return _process_dialog_start_end(file_path, is_high_priority, taskSender, params)
        else:
            # Если TaskSender уже был передан, используем его напрямую
            return _process_dialog_start_end(file_path, is_high_priority, taskSender, params)
    
    def _process_dialog_start_end(file_path, is_high_priority, taskSender, params):
        # ОТПРАВЛЯЕМ json
        file_to_send = get_text_from_stt(file_path)
        task = SendTextFile(file_to_send, taskSender, high_priority=is_high_priority)
        sended_task = ({
            "task": task
        })
    
        print(sended_task)
        print('WAIT')
    
        task_res = taskSender.waitResult(task)
    
        print("All tasks got results")
    
        return task_res
    

    В этом примере мы разделили логику на две части:

    1. Внешняя функция Dialog_start_end решает, нужно ли создать новый экземпляр TaskSender с использованием контекстного блока with (если taskSender не передан) или использовать существующий экземпляр.
    2. Внутренняя (вспомогательная) функция _process_dialog_start_end занимается непосредственной отправкой задачи и ожиданием её выполнения. Эта функция вызывается как при создании нового экземпляра TaskSender, так и при использовании уже существующего экземпляра.

    Такой подход сохраняет гибкость использования TaskSender как с автоматической инициализацией и закрытием ресурсов (через контекстный менеджер), так и без такового (если объект передаётся как аргумент функции).

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.