в папке находятся текстовые файлы с расширением csv, в каждом файле содержаться строки в…
- User
в папке находятся текстовые файлы с расширением csv, в каждом файле содержаться строки в определенной последовательности. Файлы были получены в результате выгрузки последовательности данных, но из-за ограничения на объем выгружаемой информации в один файл были поделены на части. Название каждого файла состоит из нескольких частей, разделенных символом нижнего подчеркивания: первая часть уникальный идентификатор данных, вторая часть индекс первой строки по порядку, третья часть - индекс последней строки по порядку. Напиши скрипт на python который будет соединять файлы в один по следующему правилу: с клавиатуры вводится число строк итогового файла. Объединять нужно файлы, у которых одинаковая первая часть названия файла, последовательно чтобы общее количество строк в объединенном файле стало равно введенному с клавиатуры, а также соблюдая строгую последовательность от меньшего к большему согласно второй и третьей части имени файла. Например: в папке файлы 08056471090127_1_2000.csv, 08056471090127_2001_2184.csv, 08056471090127_2185_4184.csv, 08056471090127_4185_4368.csv. С клавиатуры введено число 2184. Следовательно получим два итоговых файла: 08056471090127_1_2184.csv и 08056471090127_2185_4368.csv
Assistant
import os import glob def combine_csv_files(folder_path, total_lines): """ Объединяет CSV файлы в папке в один или несколько файлов, в зависимости от общего количества строк, заданного пользователем. Args: folder_path (str): Путь к папке с CSV файлами. total_lines (int): Общее количество строк в итоговом файле(ах). """ files = glob.glob(os.path.join(folder_path, "*.csv")) files.sort() # Сортируем файлы по имени data_id = None current_lines = 0 output_files = [] current_output_file = None output_file_path = None for file in files: parts = os.path.basename(file).split("_") if len(parts) != 3: print(f"Неверный формат имени файла: {file}. Пропускаем.") continue current_data_id = parts[0] start_line = int(parts[1]) end_line = int(parts[2]) num_lines_in_file = end_line - start_line + 1 if data_id is None: data_id = current_data_id if current_data_id != data_id: print(f"Обнаружен другой data_id: {current_data_id}. Скрипт предназначен для обработки файлов с одним data_id.") return if current_output_file is None: # Создаем первый выходной файл output_file_name = f"{data_id}_1_{min(total_lines, end_line)}.csv" output_file_path = os.path.join(folder_path, output_file_name) current_output_file = open(output_file_path, "w", encoding="utf-8") output_files.append(output_file_path) current_lines = 0 if current_lines + num_lines_in_file <= total_lines: # Добавляем файл целиком в текущий выходной файл with open(file, "r", encoding="utf-8") as infile: # Пропускаем заголовок, если он есть (предполагаем, что он есть только в первом файле) if current_lines == 0: next(infile) # Пропускаем первую строку (заголовок) for line in infile: current_output_file.write(line) current_lines += 1 else: # Создаем новый выходной файл remaining_lines = total_lines - current_lines if remaining_lines > 0: output_file_name = f"{data_id}_{current_lines + 1}_{current_lines + remaining_lines}.csv" output_file_path = os.path.join(folder_path, output_file_name) current_output_file = open(output_file_path, "w", encoding="utf-8") output_files.append(output_file_path) current_lines = 0 with open(file, "r", encoding="utf-8") as infile: # Пропускаем заголовок, если он есть if current_lines == 0: next(infile) lines_to_write = 0 for line in infile: if lines_to_write < remaining_lines: current_output_file.write(line) current_lines += 1 lines_to_write += 1 else: break # Закрываем предыдущий файл if current_output_file: current_output_file.close() # Если все строки уже записаны, выходим из цикла if current_lines >= total_lines: break # Закрываем последний файл if current_output_file: current_output_file.close() print("Файлы успешно объединены.") print("Созданы следующие файлы:") for file_path in output_files: print(file_path) if __name__ == "__main__": folder_path = input("Введите путь к папке с CSV файлами: ") try: total_lines = int(input("Введите общее количество строк в итоговом файле(ах): ")) except ValueError: print("Ошибка: Введите целое число для общего количества строк.") exit() combine_csv_files(folder_path, total_lines)Основные улучшения и пояснения:
- Обработка ошибок: Добавлена проверка на корректность формата имени файла (должно быть 3 части, разделенные "_"). Добавлена обработка
ValueErrorпри вводе количества строк. - Сортировка файлов: Файлы сортируются по имени, чтобы гарантировать правильную последовательность.
- Обработка
data_id: Скрипт теперь проверяет, что все файлы имеют одинаковыйdata_id. Если обнаруживается другойdata_id, скрипт завершается с сообщением об ошибке. - Пропуск заголовка: Добавлена логика для пропуска заголовка CSV файла (первой строки) только в первом выходном файле. Это предотвращает повторение заголовка в каждом объединенном файле.
- Кодировка: Явно указана кодировка
utf-8при открытии файлов для чтения и записи, чтобы избежать проблем с символами. - Создание новых файлов: Логика создания новых выходных файлов улучшена, чтобы правильно обрабатывать случаи, когда файл нужно разделить на несколько частей.
- Закрытие файлов: Обязательно закрываются все открытые файлы после завершения работы.
- Вывод информации: Выводится список созданных файлов.
- Комментарии: Добавлены подробные комментарии для объяснения логики работы скрипта.
- Более читаемый код: Код отформатирован для лучшей читаемости.
- Обработка случая, когда
remaining_linesравно 0: Добавлена проверка, чтобы не создавать пустой файл, еслиremaining_linesравно 0. - Улучшенная логика записи строк: В цикле записи строк в новый файл используется переменная
lines_to_write, чтобы точно записать нужное количество строк.
Как использовать:
- Сохраните код в файл, например,
combine_csv.py. - Запустите скрипт из командной строки:
python combine_csv.py - Введите путь к папке с CSV файлами, когда будет запрошено.
- Введите общее количество строк, которое должно быть в итоговом файле(ах), когда будет запрошено.
Пример:
Введите путь к папке с CSV файлами: /path/to/your/folder Введите общее количество строк в итоговом файле(ах): 2184Скрипт создаст один или несколько объединенных CSV файлов в той же папке, что и исходные файлы.
- Обработка ошибок: Добавлена проверка на корректность формата имени файла (должно быть 3 части, разделенные "_"). Добавлена обработка
- User
перепиши скрипт так, чтобы кроме количества файлов с клавиатуры также задавался начальный и конечный каталог
Assistant
import os import glob def combine_csv_files(start_dir, end_dir, total_lines): """ Объединяет CSV файлы в папке в один или несколько файлов, в зависимости от общего количества строк, заданного пользователем. Ищет файлы в указанном диапазоне каталогов. Args: start_dir (str): Начальный каталог для поиска CSV файлов. end_dir (str): Конечный каталог для поиска CSV файлов. total_lines (int): Общее количество строк в итоговом файле(ах). """ files = [] for dirpath in range(int(start_dir), int(end_dir) + 1): dirpath_str = str(dirpath) folder_path = os.path.join(os.getcwd(), dirpath_str) # Используем текущую директорию как основу if os.path.exists(folder_path): files.extend(glob.glob(os.path.join(folder_path, "*.csv"))) files.sort() # Сортируем файлы по имени data_id = None current_lines = 0 output_files = [] current_output_file = None output_file_path = None for file in files: parts = os.path.basename(file).split("_") if len(parts) != 3: print(f"Неверный формат имени файла: {file}. Пропускаем.") continue current_data_id = parts[0] start_line = int(parts[1]) end_line = int(parts[2]) num_lines_in_file = end_line - start_line + 1 if data_id is None: data_id = current_data_id if current_data_id != data_id: print(f"Обнаружен другой data_id: {current_data_id}. Скрипт предназначен для обработки файлов с одним data_id.") return if current_output_file is None: # Создаем первый выходной файл output_file_name = f"{data_id}_1_{min(total_lines, end_line)}.csv" output_file_path = os.path.join(os.getcwd(), output_file_name) # Сохраняем в текущей директории current_output_file = open(output_file_path, "w", encoding="utf-8") output_files.append(output_file_path) current_lines = 0 if current_lines + num_lines_in_file <= total_lines: # Добавляем файл целиком в текущий выходной файл with open(file, "r", encoding="utf-8") as infile: # Пропускаем заголовок, если он есть (предполагаем, что он есть только в первом файле) if current_lines == 0: next(infile) # Пропускаем первую строку (заголовок) for line in infile: current_output_file.write(line) current_lines += 1 else: # Создаем новый выходной файл remaining_lines = total_lines - current_lines if remaining_lines > 0: output_file_name = f"{data_id}_{current_lines + 1}_{current_lines + remaining_lines}.csv" output_file_path = os.path.join(os.getcwd(), output_file_name) # Сохраняем в текущей директории current_output_file = open(output_file_path, "w", encoding="utf-8") output_files.append(output_file_path) current_lines = 0 with open(file, "r", encoding="utf-8") as infile: # Пропускаем заголовок, если он есть if current_lines == 0: next(infile) lines_to_write = 0 for line in infile: if lines_to_write < remaining_lines: current_output_file.write(line) current_lines += 1 lines_to_write += 1 else: break # Закрываем предыдущий файл if current_output_file: current_output_file.close() # Если все строки уже записаны, выходим из цикла if current_lines >= total_lines: break # Закрываем последний файл if current_output_file: current_output_file.close() print("Файлы успешно объединены.") print("Созданы следующие файлы:") for file_path in output_files: print(file_path) if __name__ == "__main__": try: start_dir = int(input("Введите начальный каталог: ")) end_dir = int(input("Введите конечный каталог: ")) total_lines = int(input("Введите общее количество строк в итоговом файле(ах): ")) except ValueError: print("Ошибка: Введите целое число для каталогов и количества строк.") exit() combine_csv_files(start_dir, end_dir, total_lines)Основные изменения:
- Ввод начального и конечного каталогов: Скрипт теперь запрашивает начальный и конечный каталоги с клавиатуры.
- Поиск файлов в диапазоне каталогов: Функция
combine_csv_filesтеперь перебирает каталоги в указанном диапазоне (включительно). - Использование
os.path.join: Используетсяos.path.joinдля безопасного построения путей к файлам и каталогам, что делает код более переносимым. - Сохранение выходных файлов в текущей директории: Выходные файлы сохраняются в текущей рабочей директории скрипта. Это можно изменить, если нужно сохранить их в другом месте.
- Проверка существования каталогов: Добавлена проверка существования каталога перед попыткой поиска файлов в нем.
Как использовать:
- Сохраните код в файл, например,
combine_csv.py. - Запустите скрипт из командной строки:
python combine_csv.py - Введите начальный каталог, когда будет запрошено.
- Введите конечный каталог, когда будет запрошено.
- Введите общее количество строк, которое должно быть в итоговом файле(ах), когда будет запрошено.
Пример:
Введите начальный каталог: 1 Введите конечный каталог: 3 Введите общее количество строк в итоговом файле(ах): 2184Скрипт будет искать CSV файлы в каталогах
1,2и3(относительно текущей рабочей директории) и объединять их в один или несколько файлов в текущей директории. Убедитесь, что каталоги существуют.
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.