У меня есть json сохраненный по строчкам {} {} ... Как мне его считать в список…
- User
У меня есть json сохраненный по строчкам {} {} ... Как мне его считать в список словарей, и затем таким же образом сохранить (списком словарей)
- Assistant
Для считывания JSON, который сохранен построчно (каждая строка является отдельным JSON объектом), и затем для его сохранения обратно в таком же формате, вы можете использовать Python. Ниже приведу пример кода для выполнения этих задач.
Чтение JSON файлов, сохранённых по строкам
Предположим, у вас есть файл
data.json, где каждая строка - это отдельный JSON-объект:{"name": "Alice", "age": 25} {"name": "Bob", "age": 30}Для считывания такого файла в список словарей на Python можно использовать следующий код:
import json def read_json_lines(filename): data = [] with open(filename, 'r') as file: for line in file: data.append(json.loads(line)) return data # Использование функции data = read_json_lines('data.json') print(data)Сохранение списка словарей в JSON файл, где каждый словарь на новой строке
Теперь, если вы хотите сохранить этот список словарей обратно в файл в формате, где каждый словарь находится на новой строке, вы можете использовать следующую функцию:
def write_json_lines(data, filename): with open(filename, 'w') as file: for item in data: file.write(json.dumps(item) + '\n') # Использование функции для сохранения данных write_json_lines(data, 'new_data.json')В этом коде используется
json.dumps(), чтобы преобразовать каждый словарь в JSON строку, и записать каждую такую строку в файл, добавляя перевод строки после каждой записи.Эти функции обеспечивают удобное считывание и запись данных в JSON формате по одному объекту на строку, что может быть полезно при работе с большими объемами данных или для облегчения читаемости файлов данных.
- User
Мне нужно сохранить json списком словарей
- Assistant
Если вам нужно сохранить данные в формате, где весь JSON представляет собой один список словарей (где весь список словарей находится в одном JSON массиве), вы можете модифицировать приведенные выше функции для чтения и записи.
Чтение файлов JSON, где каждая строка - это отдельный объект
Прежде всего, давайте полагать, что чтение файла по строкам уже осуществляется с помощью функции
read_json_lines(filename), которая была предложена ранее. Теперь, если вы желаете изменить способ записи в файл для сохранения списка словарей как единого JSON-обьекта, следует использовать другой подход.Сохранение списка словарей как одного массива JSON
Для сохранения списка словарей как одного массива JSON используйте следующую функцию:
def save_list_of_dicts_to_json(data, filename): with open(filename, 'w') as file: # Преобразование списка словарей в форматированный JSON и его запись в файл json.dump(data, file, indent=4) # indent=4 делает вывод читабельным # Пример использования функции data = [ {"name": "Alice", "age": 25}, {"name": "Bob", "age": 30} ] save_list_of_dicts_to_json(data, 'output.json')В данной функции
json.dump()используется для преобразования всего спискаdataв JSON и записи его в файл. Параметрindent=4делает JSON в файле более читабельным, так как добавляет отступы.Теперь,
output.jsonбудет выглядеть следующим образом:[ { "name": "Alice", "age": 25 }, { "name": "Bob", "age": 30 } ]Таким образом, весь список словарей будет сохранен в одном файле как массив JSON. Этот метод хорошо подходит для случаев, когда нужно сохранить структурированные данные в читаемом и легко обрабатываемом виде.
- User
Что добавит чтобы при сохранении символы были читаемыми
- Assistant
Для сохранения JSON в файл так, чтобы все символы, включая кириллицу и другие не ASCII символы, сохранялись в читаемом виде (а не в виде Unicode escape-последовательностей), вы можете использовать параметр
ensure_ascii=Falseв функцииjson.dump()илиjson.dumps(). Этот параметр говорит библиотеке JSON не преобразовывать символы в ASCII-escape последовательности, что позволяет символам оставаться в оригинальном виде.Модификация функции сохранения
Вот как может выглядеть ваша функция для сохранения списка словарей в JSON с учетом отображения символов в читаемом виде:
import json def save_list_of_dicts_to_json(data, filename): with open(filename, 'w', encoding='utf-8') as file: # Включаем параметр ensure_ascii=False для сохранения символов в читаемом виде # и indent=4 для форматирования вывода json.dump(data, file, ensure_ascii=False, indent=4) # Пример использования функции data = [ {"name": "Алиса", "age": 25}, {"name": "Боб", "age": 30} ] save_list_of_dicts_each_to_json(data, 'output.json')Теперь, при открытии файла
output.json, вы увидите:[ { "name": "Алиса", "age": 25 }, { "name": "Боб", "age": 30 } ]Здесь русские буквы и другие не ASCII символы отображаются нормально, без использования кодов Unicode.
Дополнительные заметки
-
Форматирование: Параметр
indent=4улучшает читаемость, добавляя отступы в выводимом JSON. Вы можете адаптировать этот параметр под свои нужды или убрать его, если предпочитаете минималистичный JSON без пробелов и переносов. -
Кодировка: Параметр
encoding='utf-8'в функцииopen()гарантирует корректное отображение и сохранение символов в формате UTF-8, что является рекомендуемой практикой для обработки текста на многих языках.
Используя эти подходы, вы можете эффективно управлять сохранением сложных текстовых данных в формате JSON.
-
- User
CalledProcessError Traceback (most recent call last) File ~/.local/lib/python3.10/site-packages/whisper/audio.py:58, in load_audio(file, sr) 57 try: ---> 58 out = run(cmd, capture_output=True, check=True).stdout 59 except CalledProcessError as e:
File /usr/lib/python3.10/subprocess.py:526, in run(input, capture_output, timeout, check, *popenargs, **kwargs) 525 if check and retcode: --> 526 raise CalledProcessError(retcode, process.args, 527 output=stdout, stderr=stderr) 528 return CompletedProcess(process.args, retcode, stdout, stderr)
CalledProcessError: Command '['ffmpeg', '-nostdin', '-threads', '0', '-i', '/mnt/vol_b/sc-personal-osipova/ft_whisper/vad_audio/10.8.2.56_badge.24_1704952800_1704956400.wav.m4a.segment_68.m4a', '-f', 's16le', '-ac', '1', '-acodec', 'pcm_s16le', '-ar', '16000', '-']' returned non-zero exit status 1.
The above exception was the direct cause of the following exception:
RuntimeError Traceback (most recent call last) Cell In[17], line 2 1 from tqdm import tqdm ----> 2 predicted_transcripts = [transcribe_audio(model, audio) for audio in tqdm(audio_files, desc='Transcribing')]
Cell In[17], line 2 1 from tqdm import tqdm ----> 2 predicted_transcripts = [transcribe_audio(model, audio) for audio in tqdm(audio_files, desc='Transcribing')] ... Duration: 00:00:00.00, bitrate: N/A Codec AVOption threads (set the number of threads) specified for input file #0 (/mnt/vol_b/sc-personal-osipova/ft_whisper/vad_audio/10.8.2.56_badge.24_1704952800_1704956400.wav.m4a.segment_68.m4a) has not been used for any stream. The most likely reason is either wrong type (e.g. a video option with no video streams) or that it is a private option of some decoder which was not actually used for any stream. Output #0, s16le, to 'pipe:': Output file #0 does not contain any stream
- Assistant
Ошибка, которую вы встретили, указывает на то, что процесс
ffmpeg, используемый для загрузки и преобразования аудиоданных в нужный формат, завершился с ошибкой. Ошибка подсказывает, что входной файл не содержит потоков, которые могли бы быть обработаны, или указанные параметры не использовались. Это может быть вызвано различными причинами:-
Неправильный путь или формат файла: Убедитесь, что путь к файлу корректен и файл доступен. Проверьте, поддерживает ли
ffmpegформат файла. Некоторые форматы могут требовать дополнительных кодеков. -
Параметры команды
ffmpeg: Указанные параметры команды могут быть несовместимы с вашим файлом. Например, опция-acodec pcm_s16leтребует, чтобы входной файл мог быть декодирован в PCM. -
Проблемы с
ffmpeg: Убедитесь, чтоffmpegустановлен корректно и его версия соответствует требуемой. Также, некоторые сборкиffmpegмогут не включать поддержку определённых кодеков или форматов.
Чтобы решить проблему, можно попробовать следующие шаги:
Проверка и уточнение формата аудио-файла
Вы можете использовать
ffmpegдля получения информации об аудио-файле и проверить, действительно ли файл содержит аудиопотоки:ffmpeg -i ваш_файлЭта команда покажет информацию о потоках файла. Если потоков нет, это может объяснить проблему.
Тестирование
ffmpegна другом файлеПопробуйте конвертировать другой аудиофайл с известным и поддерживаемым форматом, чтобы убедиться в работоспособности
ffmpeg.Коррекция команды
ffmpegЕсли изначальная команда не работает, попробуйте упростить её, исключив некоторые параметры для проверки:
ffmpeg -i ваш_файл -f s16le -ac 1 -ar 16000 output.wavЭта команда преобразует аудио в WAV формат с одним каналом и частотой 16000 Гц, что может помочь в диагностике.
Обновление
ffmpegПроверьте, что у вас установлена последняя версия
ffmpeg. Обновите её при необходимости.Проверка кодеков
Убедитесь, что в вашей версии
ffmpegдоступны все нужные кодеки для работы с вашим форматом файла.Надеюсь, эти шаги помогут вам идентифицировать и устранить проблему с
ffmpeg. В случае сохранения трудностей, возможно, потребуется более детальная диагностика конкретных параметров и форматов вашего файла. -
- User
Как загрузить audio с помощью pydub
- Assistant
Библиотека pydub позволяет легко работать с аудиофайлами в Python. Для начала работы с pydub вам нужно установить эту библиотеку и
ffmpeg, который используется pydub для работы с различными аудиоформатами. Ниже приведены шаги для загрузки аудиофайлов с использованием pydub.Установка pydub и ffmpeg
-
Установите
pydubс помощью pip:pip install pydub -
Убедитесь, что
ffmpegустановлен, так как он требуется для многих операций в pydub. Установитьffmpegможно разными способами в зависимости от вашей операционной системы:- Для Linux (Ubuntu):
sudo apt-get install ffmpeg - Для macOS:
brew install ffmpeg - Для Windows можно скачать сборки с официального сайта FFmpeg и добавить путь к исполняемым файлам ffmpeg в переменную среды PATH.
- Для Linux (Ubuntu):
Использование pydub для загрузки аудио
Для загрузки аудиофайлов с использованием pydub, следуйте указанным ниже шагам:
from pydub import AudioSegment # Загрузите ваш аудиофайл audio = AudioSegment.from_file("path_to_your_audio_file.mp3", format="mp3") # Выполните операции с аудио, например, play audio # Требуется simpleaudio или другие библиотеки для воспроизведения аудио # play(audio)Дополнительные замечания:
from_fileфункция pydub может загружать аудиофайлы различных форматов. В аргументеformatукажите формат файла, если pydub не может автоматически его определить.- Pydub также поддерживает изменение файлов, например, вы можете конвертировать аудио в другой формат:
audio.export("output.wav", format="wav") - Вы можете обрабатывать аудио, например, нарезать определенный временной интервал:
segment = audio[1000:2000] # Временной интервал с 1000мс до 2000мс
Используя pydub, вы можете легко загружать, обрабатывать и сохранять аудиофайлы, что делает её удобным инструментом для работы с аудиоданными в Python.
-
- User
Мне нужно удалить строку из датафрейма у которой столбец server_vad_audio_path равен /mnt/vol_b/sc-personal-osipova/ft_whisper/vad_audio/10.8.2.56_badge.24_1704952800_1704956400.wav.m4a.segment_68.m4a
- Assistant
Для удаления строк из DataFrame в Python, используя библиотеку pandas, для которых значение определенного столбца равно заданной строке, вы можете использовать метод
drop()или просто отфильтровать DataFrame. Ниже приведено, как это можно сделать на практике.Допустим, у вас есть DataFrame с именем
dfи столбцемserver_vad_audio_path, и вы хотите удалить строку, гдеserver_vad_audio_pathравен указанному пути.Вариант 1: Использование логической индексации для фильтрации DataFrame
import pandas as pd # Предположим, что df - это ваш DataFrame # Создаем новый DataFrame без нужной строки df_filtered = df[df['server_vad_audio_path'] != '/mnt/vol_b/sc-personal-osipova/ft_whisper/vad_audio/10.8.2.56_badge.24_1704952800_1704956400.wav.m4a.segment_68.m4a']В этом подходе
df_filteredбудет содержать все строки исходного DataFrame, за исключением тех, где значение в столбцеserver_vad_audio_pathсоответствует указанному пути.Вариант 2: Использование метода
drop()Если вы знаете индексы строк, которые нужно удалить, что может быть не всегда удобно:
# Находим индексы строк, которые нужно удалить indices_to_drop = df[df['server_vad_audio_path'] == '/mnt/vol_b/sc-personal-osipova/ft_whisper/vad_audio/10.8.2.56_badge.24_1704952800_1704956400.wav.m4a.segment_68.m4a'].index # Удаляем строки по этим индексам df = df.drop(indices_to_drop)Здесь
drop()используется для удаления строк, индексы которых находятся вindices_to_wrap.Обновление индекса после изменений
После удаления строк может быть полезно обновить индексы DataFrame, чтобы они оставались последовательными:
# Сброс индекса df.reset_index(drop=True, inplace=True)Эти подходы позволяют эффективно управлять данными в DataFrame, удаляя строки по условию на значения в столбце. Выбор метода зависит от конкретных условий задачи и предпочтений в работе с pandas.