Как записать список словарей в формат json
- User
Как записать список словарей в формат json
- Assistant
Для записи списка словарей в формат JSON в Python можно использовать модуль
json. Он предоставляет простые методы для преобразования данных в строку JSON (json.dumps()) и записи этих данных в файл (json.dump()). Ниже приведен пример, демонстрирующий оба способа.Пример 1: Преобразование списка словарей в строку JSON
Допустим, у нас есть следующий список словарей:
data = [ {'name': 'John Doe', 'age': 30, 'city': 'New York'}, {'name': 'Jane Doe', 'age': 25, 'city': 'Paris'} ]Чтобы преобразовать этот список в строку JSON, используем метод
json.dumps():import json json_string = json.dumps(data, indent=4) print(json_string)Этот код выводит строку в формате JSON с отступом в 4 пробела для удобочитаемости. Вместо
indent=4можно использовать другое значение или опустить этот аргумент, если отступы не нужны.Пример 2: Запись списка словарей в файл JSON
Чтобы записать данные напрямую в файл, используется метод
json.dump():import json data = [ {'name': 'John Doe', 'age': 30, 'city': 'New York'}, {'name': 'Jane Doe', 'age': 25, 'city': 'Paris'} ] # Открытие файла в режиме записи with open('data.json', 'w') as f: # Запись списка словарей в файл в формате JSON json.dump(data, f, indent=4)В этом случае данные будут записаны в файл
data.jsonв удобочитаемом формате с отступами.Важно! Методы
json.dumps()иjson.dump()принимают различные дополнительные аргументы для контроля над процессом сериализации, такие какensure_asciiдля работы с нелатинскими символами иsort_keysдля сортировки ключей словаря при записи. - User
task["res_dse"] = [{'entity_group': 'Начало', 'score': 0.9230613, 'word': 'Добрый день.', 'start': 1362, 'end': 1374}, {'entity_group': 'Начало', 'score': 0.5664966, 'word': ', могла бы', 'start': 1377, 'end': 1387}, {'entity_group': 'Начало', 'score': 0.6779848, 'word': 'зовут', 'start': 1400, 'end': 1405}]
task_res = pipelineFunction( task, *args, **kwargs ) File "/mnt/vol_b/https:/bitbucket.org/inbiz/srv-gpu-dse/dse_main.py", line 59, in workerThreadNER jsonResult = json.dumps(task["res_dse"]) File "/usr/lib/python3.10/json/init.py", line 231, in dumps return _default_encoder.encode(obj) File "/usr/lib/python3.10/json/encoder.py", line 199, in encode chunks = self.iterencode(o, _one_shot=True) File "/usr/lib/python3.10/json/encoder.py", line 257, in iterencode return _iterencode(o, 0) File "/usr/lib/python3.10/json/encoder.py", line 179, in default raise TypeError(f'Object of type {o.class.name} ' TypeError: Object of type float32 is not JSON serializable
- Assistant
Ошибка "TypeError: Object of type float32 is not JSON serializable" указывает на то, что Python не может преобразовать объект типа
float32(обычно используемый в библиотеках для научных вычислений, таких как NumPy) в формат JSON напрямую. Модульjsonв стандартной библиотеке Python может сериализовать встроенные типы данных, такие какint,float,str,list,dict, но неnumpy.float32или другие специализированные типы данных.Чтобы решить эту проблему, вы можете явно преобразовать значения типа
float32к стандартному типуfloatперед сериализацией в JSON. В вашем случае ошибку вызывает попытка сериализацииscore, который, вероятно, являетсяnumpy.float32.Пример решения задачи с помощью пользовательской функции для сериализации:
import json import numpy as np # Ваш исходный список словарей task = {} task["res_dse"] = [ {'entity_group': 'Начало', 'score': np.float32(0.9230613), 'word': 'Добрый день.', 'start': 1362, 'end': 1374}, {'entity_group': 'Начало', 'score': np.float32(0.5664966), 'word': ', могла бы', 'start': 1377, 'end': 1387}, {'entity_group': 'Начало', 'score': np.float32(0.6779848), 'word': 'зовут', 'start': 1400, 'end': 1405} ] def default_converter(obj): """Функция для преобразования неподдерживаемых типов""" if isinstance(obj, np.float32): return float(obj) # Преобразование np.float32 в обычный float raise TypeError(f'Object of type {obj.__class__.__name__} is not JSON serializable') # Использование custom converter функции при сериализации в JSON jsonResult = json.dumps(task["res_dse"], default=default_converter) print(jsonResult)В примере функция
default_converterпроверяет, является ли объект типомnp.float32, и если да, то преобразует его в стандартныйfloat. Это позволяет функцииjson.dumps()успешно сериализовать данные, содержащие числа типаfloat32, в строку JSON.Обратите внимание, что если у вас в данных могут быть и другие специальные типы (например,
numpyмассивы или другие числовые типы, такие какnumpy.int64), вам может потребоваться расширить функциюdefault_converterдля обработки этих типов. - User
Нужно пройтись по списку словарей и преобразовать тип поля score на обычный флоат
- Assistant
Если ваша задача состоит в том, чтобы пройтись по списку словарей и преобразовать тип поля
scoreизnumpy.float32в обычный Python float (или любой другой специальный числовой тип в стандартный тип), вы можете сделать это с помощью цикла. Вот простой пример, как это можно осуществить:import numpy as np # Предположим, это ваш исходный список словарей task_res_dse = [ {'entity_group': 'Начало', 'score': np.float32(0.9230613), 'word': 'Добрый день.', 'start': 1362, 'end': 1374}, {'entity_group': 'Начало', 'score': np.float32(0.5664966), 'word': ', могла бы', 'start': 1377, 'end': 1387}, {'entity_group': 'Начало', 'score': np.float32(0.6779848), 'word': 'зовут', 'start': 1400, 'end': 1405} ] # Пройтись по списку словарей и преобразовать score из numpy.float32 в float for item in task_res_dse: item['score'] = float(item['score']) # Проверка результата print(task_res_dse)Этот кусок кода пройдёт по каждому словарю в вашем списке
task_res_dseи преобразует значениеscoreизnumpy.float32в стандартный типfloat. После этого преобразования вы сможете сериализовать ваш список словарей в формат JSON с использованиемjson.dumps()без необходимости использования пользовательской функции для конвертации типов, как в предыдущем ответе. - User
получить разницу между файлами через консоль линукс
- Assistant
Чтобы получить разницу между двумя файлами в консоли Linux, можно использовать команду
diff. Эта команда сравнивает содержимое двух файлов построчно и выводит различия. Если команда не выводит ничего, это означает, что файлы идентичны.Синтаксис команды
diffв самом базовом виде выглядит так:diff файл1 файл2Опции команды
diffdiffпредлагает ряд полезных опций для более детального и управляемого сравнения. Вот несколько распространённых опций:-cили--context: Показывает несколько строк контекста вокруг различий. Это может помочь лучше понять, где и почему произошли различия.-u,--unified: Эта опция аналогична-c, но выводит результаты в так называемом "унифицированном" формате, который часто предпочитают разработчики, так как он компактнее и удобнее для чтения.-i: Игнорирует различия в регистре букв.-w: Игнорирует все пробелы.-B: Игнорирует изменения, состоящие исключительно из добавления или удаления пустых строк.
Пример использования
Предположим, у вас есть два файла,
file1.txtиfile2.txt, и вы хотите сравнить их, получив контекстные строки вокруг изменений. Команда будет выглядеть следующим образом:diff -c file1.txt file2.txtИли если хотите унифицированный формат вывода:
diff -u file1.txt file2.txtПрименение
diffдля каталоговdiffтакже может быть использована для сравнения файлов в двух каталогах. Она рекурсивно проходит по каталогам и сравнивает файлы с одинаковыми именами.diff -r dir1 dir2-rуказываетdiffна необходимость рекурсивного сравнения.Визуализация различий с
colordiffcolordiff- это оболочка дляdiffи дает те же результаты, но с цветным выделением, делая их более читаемыми. Еслиcolordiffне установлен, его можно установить с помощью менеджера пакетов вашего дистрибутива, например, так:# Для систем на базе Debian/Ubuntu sudo apt-get install colordiff # Для систем на базе Red Hat/Fedora sudo dnf install colordiffИспользовать
colordiffтак же просто, как иdiff:colordiff file1.txt file2.txtЭти инструменты и методы позволяют эффективно находить и анализировать различия между файлами и каталогами в системах Linux и Unix.
- User
Почему вот так код отрабатывает правильно class TaskSender(): def init(self, task_type, content_type=None, conn_timeout=10, data_timeout=300, pool_connections=10, task_timeout=60, max_parallel_requests=100, streamer_mode = False):
if data_timeout < task_timeout: raise Exception (" data_timeout < task_timeout. Wrong config.") self.conn_timeout = conn_timeout self.data_timeout = data_timeout self.content_type = content_type self.streamer_mode = streamer_mode self.pool_connections = pool_connections self.max_parallel_requests = max_parallel_requests self.task_type = task_type self.task_timeout = task_timeout # запустить тред а в треде запустить корутину self.taskServers = base_urls.GpuTaskServers( task_type = task_type, stats_workaround=False ) self.r_session = base_urls.SrvGpuFixedHttpsSession( pool_connections, timeout=( conn_timeout, data_timeout), allow_redirects=False ) self._tasks = queue.Queue(maxsize = max_parallel_requests) self._stop_event = threading.Event() self._corutine_thread = threading.Thread( target=self.runCorutineThread, args=(), daemon=True ) self._corutine_thread.start()def exit(self, *args): self._stop_event.set() self._corutine_thread.join() self.taskServers.stop()
А вот так нет
class TaskSender():
task_timeout - это время протухания таска на сервере
def init(self, task_type, content_type=None, conn_timeout=10, data_timeout=300, pool_connections=10, task_timeout=60, max_parallel_requests=100, streamer_mode = False):
if data_timeout < task_timeout: raise Exception (" data_timeout < task_timeout. Wrong config.") self.conn_timeout = conn_timeout self.data_timeout = data_timeout self.content_type = content_type self.streamer_mode = streamer_mode self.pool_connections = pool_connections self.max_parallel_requests = max_parallel_requests self.task_type = task_type self.task_timeout = task_timeout self.r_session = base_urls.SrvGpuFixedHttpsSession( pool_connections, timeout=( conn_timeout, data_timeout), allow_redirects=False ) self._tasks = queue.Queue(maxsize = max_parallel_requests)def enter(self): self.taskServers = base_urls.GpuTaskServers( task_type = self.task_type, stats_workaround=False )
# запустить тред а в треде запустить корутину self._stop_event = threading.Event() self._corutine_thread = threading.Thread( target=self.runCorutineThread, args=(), daemon=True ) self._corutine_thread.start() return selfdef exit(self, *args): self._stop_event.set() self._corutine_thread.join() self.taskServers.stop()
- Assistant
Основное различие между двумя приведенными вами фрагментами кода заключается в том, как и когда инициализируются некоторые атрибуты и объекты в классе
TaskSender.В первом примере код отрабатывает "правильно", потому что в методе
__init__происходит инициализация всех необходимых атрибутов и объектов сразу при создании экземпляра класса. Это означает, что после того, как объектTaskSenderсоздан, он уже имеет все нужные атрибуты и готов к использованию.Во втором примере вы пытаетесь использовать контекстный менеджер (методы
__enter__и__exit__), который изменяет логику инициализации и использования вашего объекта.- Метод
__enter__должен быть вызван с помощью конструкцииwithдля корректной инициализации объекта, которая в вашем случае включает создание серверов задач (taskServers), инициализацию потока (_corutine_thread) и установку события остановки (_stop_event). - Это изменение логики влечет за собой, что если вы просто создадите объект
TaskSenderбез использованияwith, то атрибутыtaskServers,_stop_event, и_corutine_threadне будут инициализированы, пока не будет вызвана контекстная управляющая конструкцияwith, и попытка обращения к ним до этого вызовет ошибку.
Таким образом, если во втором примере код "не отрабатывает правильно", скорее всего проблема в неиспользовании конструкции
with, которая необходима для вызова метода__enter__и соответствующей инициализации объекта.Для того чтобы во втором случае код работал корректно, вы должны использовать объект
TaskSenderследующим образом:with TaskSender(...) as sender: # здесь код, использующий sender после полной инициализацииТолько после входа в блок
withатрибутtaskServersбудет инициализирован, и поток_corutine_threadбудет запущен, тем самым обеспечивая "правильную" работу кода аналогично первому примеру без использования контекстных менеджеров. - Метод
- User
Как тогда правильно переписать эту функцию def Dialog_start_end(file_path, is_high_priority, taskSender=None, params=None):
if taskSender == None: taskSender = srv_gpu_task.TaskSender(task_type="dialog_start_end", task_timeout=60, max_parallel_requests=5) # 5 минут впарралель процессится 80-90 секунд на 3090, плюс в очереди еще на сервере задач сколько простоит # ОТПРАВЛЯЕМ json file_to_send = get_text_from_stt(file_path) task = SendTextFile(file_to_send, taskSender, high_priority=is_high_priority) sended_task = ({ "task": task }) print(sended_task) print('WAIT') task_res = taskSender.waitResult(task) print("All tasks got results") return task_res - Assistant
Если ваша цель — правильно использовать
TaskSenderкак во втором примере, где он реализован с помощью контекстного менеджера (__enter__и__exit__), вы можете адаптировать функциюDialog_start_endдля работы с этим подходом. Для этого функция должна создавать и использовать экземплярTaskSenderвнутри блокаwith, чтобы автоматически вызывать методы__enter__и__exit__для инициализации и корректного закрытия ресурсов.Вот пример, как можно переписать вашу функцию с соблюдением этого подхода:
def Dialog_start_end(file_path, is_high_priority, taskSender=None, params=None): # Проверяем, был ли передан экземпляр TaskSender или его нужно создать if taskSender is None: # Используем TaskSender в контекстном блоке, чтобы гарантировать корректную инициализацию и закрытие with srv_gpu_task.TaskSender(task_type="dialog_start_end", task_timeout=60, max_parallel_requests=5) as taskSender: return _process_dialog_start_end(file_path, is_high_priority, taskSender, params) else: # Если TaskSender уже был передан, используем его напрямую return _process_dialog_start_end(file_path, is_high_priority, taskSender, params) def _process_dialog_start_end(file_path, is_high_priority, taskSender, params): # ОТПРАВЛЯЕМ json file_to_send = get_text_from_stt(file_path) task = SendTextFile(file_to_send, taskSender, high_priority=is_high_priority) sended_task = ({ "task": task }) print(sended_task) print('WAIT') task_res = taskSender.waitResult(task) print("All tasks got results") return task_resВ этом примере мы разделили логику на две части:
- Внешняя функция
Dialog_start_endрешает, нужно ли создать новый экземплярTaskSenderс использованием контекстного блокаwith(еслиtaskSenderне передан) или использовать существующий экземпляр. - Внутренняя (вспомогательная) функция
_process_dialog_start_endзанимается непосредственной отправкой задачи и ожиданием её выполнения. Эта функция вызывается как при создании нового экземпляраTaskSender, так и при использовании уже существующего экземпляра.
Такой подход сохраняет гибкость использования
TaskSenderкак с автоматической инициализацией и закрытием ресурсов (через контекстный менеджер), так и без такового (если объект передаётся как аргумент функции). - Внешняя функция
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.