объясни код: from openpyxl import loadworkbook import pandas as pd, datetime from os…
- User
объясни код: from openpyxl import load_workbook import pandas as pd, datetime from os import listdir from os.path import isfile, join
def report(path_n, file_n, sheet_n): df = pd.read_excel(f'{path_n}/{file_n}', sheet_name=sheet_n) df_add_help = list(df.keys()) nums = 0 for i in range(3): if 'Unnamed' not in df_add_help[i]: nums += 1 for i in range(len(df_add_help)): if i > 0: if type(df_add_help[i]) is str: if 'Unnamed' in df_add_help[i]: df_add_help[i] = df_add_help[i-1] else: if type(df_add_help[i]) is str: if 'Unnamed' in df_add_help[i]: df_add_help[i] = 'forDrop' if nums > 1: df_add = pd.DataFrame([df_add_help], columns=df.keys()) df = pd.concat([df_add, df]) df.reset_index(drop=True, inplace=True) if 'Unnamed: 0' in df.keys(): df = df.drop(['Unnamed: 0'], axis=1) # Определение начала таблицы for i, row in df.iterrows(): k = 0 for j in row: if type(j) is str: k+=1 if k > 2: k = i break # Определение начала данных таблицы for i, row in df.iterrows(): l = 0 for j in row: if (type(j) is (int or float)) and (str(j) != 'nan'): l+=1 if l > 0: l = i break
# Есть ли номера столбцов после названий colnumbs = 0 for i, row in df.iterrows(): if l == i: if type(row[1]) is int and type(row[2]) is int: if row[1] == row[2] - 1: colnumbs = 1 # Составление описания main, hs1, hs2, hs3, hs4 = [], '', '', '', '' for col_name, data in df.items(): # print("col_name:", col_name, "\ndata:", data[k]) # Название строки column_name = '' for per in range(l-k): if str(data[k+per]) == 'nan': if per == 0: column_name = hs1 if per == 1 and str(data[k]) == 'nan': column_name += ' //'+str(hs2) elif per == 1: if str(data[k+1]) != 'nan': column_name += ' //'+str(data[k+1]) if per == 2 and str(data[k+1]) == 'nan' and str(data[k]) == 'nan': column_name += ' //'+str(hs3) elif per == 2: if str(data[k+2]) != 'nan': column_name += ' //'+str(data[k+2]) if per == 3 and str(data[k+2]) == 'nan' and str(data[k+1]) == 'nan' and str(data[k]) == 'nan': column_name += ' //'+str(hs4) elif per == 3: if str(data[k+3]) != 'nan': column_name += ' //'+str(data[k+3]) else: if per == 0: column_name += str(data[k+per]) else: column_name += ' //'+str(data[k+per]) if per == 0 and str(data[k]) != 'nan': hs1 = data[k] if l-k > 1: hs2 = data[k+1] if l-k > 2: hs3 = data[k+2] if l-k > 3: hs4 = data[k+3] elif per == 1 and str(data[k+1]) != 'nan': hs2 = data[k+1] if l-k > 2: hs3 = data[k+2] if l-k > 3: hs4 = data[k+3] elif per == 2 and str(data[k+2]) != 'nan': hs3 = data[k+2] if l-k > 3: hs4 = data[k+3] elif per == 3 and str(data[k+3]) == 'nan': hs4 = data[k+3] typeis = 'string' decimal_types = 0 for i in data: if (type(i) is int or type(i) is float) and str(i) != 'nan': decimal_types += 1 if colnumbs == 1: if decimal_types > 1: typeis = 'decimal' else: if decimal_types > 0: typeis = 'decimal' if type(i) is datetime.datetime: typeis = 'datetime' break priznak = 'Признак' if typeis == 'decimal': priznak = 'Показатель' main.append([path_n, file_n, sheet_n, column_name, typeis, priznak]) return main#---------------------------------------------------------------------------------------------------------------- cols = ['Организация', 'Наименование отчёта', 'Наименование листа', 'Наименование атрибута', 'Тип данных', 'Признак/Показатель'] df = pd.DataFrame(columns=cols) folders = listdir('.') folders = [i for i in folders if '.' not in i] print(folders) for folder in folders: files = [f for f in listdir(f'{folder}') if isfile(join(f'{folder}', f))] files = [i for i in files if 'ДАННЫЕ' not in i] files = [i for i in files if 'Таблица ИТ' not in i] print(files) for file in files: if '.xlsx' in file: print(file) wb = load_workbook(filename=f'{folder}/{file}') print('fff') for i in wb.sheetnames: #if 'порядок' not in i: print(i) try: df = pd.concat([df, pd.DataFrame(report(folder, file, i), columns=cols)], axis=0) print(df) except IndexError: continue df.to_excel('report.xlsx', index=False)
- Assistant
Этот код выполняет следующие действия:
- Импортирует необходимые модули и библиотеки.
- Определяет функцию "report", которая принимает путь к файлу, имя файла и имя листа в качестве аргументов. Функция открывает файл Excel с помощью библиотеки openpyxl и считывает данные с указанного листа с помощью pandas. Затем функция обрабатывает данные, определяет начало таблицы и начало данных таблицы. Далее функция проверяет, есть ли номера столбцов после названий и составляет описания для каждого столбца. Наконец, функция возвращает список описаний.
- Определяет список названий столбцов для создания пустого DataFrame.
- Создает пустой DataFrame с указанными столбцами.
- Получает список папок в текущей директории и фильтрует его, оставляя только папки (исключая файлы).
- Проходит по каждой папке и получает список файлов внутри каждой папки, исключая файлы с определенными именами.
- Для каждого файла, если он имеет расширение .xlsx, открывает его и проходит по каждому листу. Затем вызывает функцию "report" для каждого листа и добавляет полученные описания в DataFrame.
- Сохраняет DataFrame в файл report.xlsx.
- User
Есть ли номера столбцов после названий
colnumbs = 0 for i, row in df.iterrows(): if l == i: if type(row[1]) is int and type(row[2]) is int: if row[1] == row[2] - 1: colnumbs = 1 что делает вот эта часть?
- Assistant
Этот код проверяет, есть ли номера столбцов после названий в таблице данных.
- Инициализируется переменная "colnumbs" со значением 0.
- Затем производится итерация по каждой строке (row) в DataFrame (df) с помощью метода iterrows().
- Для каждой строки, проверяется, равно ли текущий индекс (i) значению переменной "l" (которая содержит индекс начала данных таблицы).
- Если индекс строки соответствует "l", то проверяется следующее условие:
- Проверяется тип значения во втором столбце (row[1]) и третьем столбце (row[2]). Если оба типа являются целыми числами (int), то выполняется следующее условие.
- Сравнивается, равно ли значение во втором столбце значению в третьем столбце минус 1. Если равно, то устанавливается значение переменной "colnumbs" равным 1.
- По завершении цикла, переменная "colnumbs" будет содержать значение 1, если номера столбцов после названий присутствуют, и 0 в противном случае.
- User
опиши подробно каждый цикл коде
- Assistant
Код содержит несколько циклов, давайте разберем каждый из них.
- Цикл for для переменной i:
for i in range(3): if 'Unnamed' not in df_add_help[i]: nums += 1Этот цикл выполняется 3 раза (i принимает значения 0, 1, 2). Внутри цикла проверяется, есть ли в элементе массива df_add_help строка "Unnamed". Если строка "Unnamed" отсутствует, то переменная nums увеличивается на 1.
- Цикл for для переменной i:
for i in range(len(df_add_help)): if i > 0: if type(df_add_help[i]) is str: if 'Unnamed' in df_add_help[i]: df_add_help[i] = df_add_help[i-1] else: if type(df_add_help[i]) is str: if 'Unnamed' in df_add_help[i]: df_add_help[i] = 'forDrop'Этот цикл выполняется для каждого элемента в массиве df_add_help. Внутри цикла проверяется, является ли элемент строки. Если элемент является строкой и содержит "Unnamed", то он заменяется предыдущим элементом массива df_add_help. Если элемент находится на первой позиции (i равно 0), то замена происходит на строку "forDrop".
- Цикл for для переменной i и row:
for i, row in df.iterrows(): k = 0 for j in row: if type(j) is str: k+=1 if k > 2: k = i breakЭтот цикл выполняется для каждой строки в DataFrame df. Внутри цикла производится итерация по значениям в строке (row) и проверяется, является ли значение строкой. Если в строке более двух строковых значений (k > 2), то переменная k получает значение текущего индекса строки i и цикл прерывается с помощью break.
- Цикл for для переменной i и row:
for i, row in df.iterrows(): l = 0 for j in row: if (type(j) is (int or float)) and (str(j) != 'nan'): l+=1 if l > 0: l = i breakЭтот цикл выполняется похожим образом на предыдущий цикл, но в данном случае проверяется, является ли значение числом (целым или десятичным) и не является ли оно пустым значением ('nan'). Если в строке хотя бы одно числовое значение (l > 0), то переменная l получает значение текущего индекса строки i и цикл прерывается.
Все эти циклы используются для установления значений переменных k и l, которые являются индексами начала таблицы и начала данных таблицы соответственно.
- User
опиши подробно функцию report
- Assistant
Определение функции report:
def report(path_n, file_n, sheet_n): df = pd.read_excel(f'{path_n}/{file_n}', sheet_name=sheet_n) df_add_help = list(df.keys()) nums = 0 for i in range(3): if 'Unnamed' not in df_add_help[i]: nums += 1 for i in range(len(df_add_help)): if i > 0: if type(df_add_help[i]) is str: if 'Unnamed' in df_add_help[i]: df_add_help[i] = df_add_help[i-1] else: if type(df_add_help[i]) is str: if 'Unnamed' in df_add_help[i]: df_add_help[i] = 'forDrop' if nums > 1: df_add = pd.DataFrame([df_add_help], columns=df.keys()) df = pd.concat([df_add, df]) df.reset_index(drop=True, inplace=True) if 'Unnamed: 0' in df.keys(): df = df.drop(['Unnamed: 0'], axis=1)Описание функции: Функция report принимает три аргумента: path_n (путь к файлу), file_n (имя файла) и sheet_n (имя листа в файле Excel).
- Внутри функции загружается excel-файл на указанном пути(path_n) и считывается данные с указанного листа(sheet_n) с помощью метода read_excel из библиотеки pandas. Результат сохраняется в переменной df (DataFrame).
- Создается список df_add_help, который содержит названия столбцов DataFrame df.
- Инициализируется переменная nums со значением 0. Затем выполняется цикл for, который проходит 3 раза. Внутри цикла проверяется, если в элементе df_add_help отсутствует строка "Unnamed", то переменная nums увеличивается на 1.
- Выполняется второй цикл for, который проходит по каждому элементу в df_add_help. Если индекс элемента больше 0 и тип элемента является строкой, а в названии столбца содержится "Unnamed", то этот элемент заменяется на предыдущий элемент в списке.
- Если переменная nums больше 1, то создается DataFrame df_add, который содержит список df_add_help в качестве данных, и названия столбцов берутся из df.keys(). Затем этот DataFrame добавляется в начало DataFrame df с помощью метода concat.
- Сбрасывается индекс DataFrame df с помощью метода reset_index с параметром inplace=True, чтобы переиндексировать строки по порядку.
- Если в ключах DataFrame df присутствует 'Unnamed: 0', то этот столбец удаляется с помощью метода drop.
- Процесс завершается, и DataFrame df будет содержать только данные из указанного листа, готовые для дальнейшего анализа и обработки.
Функция report возвращает DataFrame df, содержащий обработанные данные из указанного файла и листа. Отформатированные данные могут быть использованы для создания отчета или дальнейшего анализа.