def call(self, razbor): line = " ".join([["text"] for in razbor]) processed =…
- User
def call(self, razbor): line = " ".join([["text"] for _ in razbor]) processed = self.pipeline.process(line, self.error) answer = '\n'.join(re.findall("^\d+.+\n", processed, re.M)) # answer = "\n".join([s for s in answer.split("\n") if s and s[0].isdigit()]) answer = f"Id\tForm\tLemma\tUPosTag\tXPosTag\tFeats\tHead\tDepRel\tDeps\tMisc\n{answer}" df = pd.read_csv(StringIO(answer), sep="\t", quoting=3) for (, row), d in zip(df.iterrows(), razbor): feats = row.Feats.split("|") if "|" in row.Feats else [] self.update_token(d, { "head_id": int(row.Head), "rel": row.DepRel, "pos": row.UPosTag, **UD2OpenCorpora({.split("=")[0]: _.split("=")[1] for _ in feats},) }) можно ли в этой функции заменить использование библиотеки pandas на другие функции, не требующих сторонней библиотеки?
- Assistant
Да, возможно заменить использование библиотеки pandas на другие функции. Вместо использования
pd.read_csvдля чтения данных в DataFrame, можно написать собственную функцию для чтения и обработки данных в нужном формате. Например, можно использовать встроенные модулиcsvилиjsonдля чтения и обработки данных.В данном случае можно заменить использование pandas следующим образом:
- Чтение и обработка данных:
import csv def process_answer(answer): rows = answer.strip().split('\n') headers = rows[0].split('\t') data = [row.split('\t') for row in rows[1:]] result = [] for row in data: token = {header: value for header, value in zip(headers, row)} feats = token["Feats"].split("|") if "|" in token["Feats"] else [] token["Feats"] = {_.split("=")[0]: _.split("=")[1] for _ in feats} result.append(token) return result answer = '\n'.join(re.findall("^\d+.+\n", processed, re.M)) processed_data = process_answer(answer)- Обновление токенов:
def update_tokens(razbor, processed_data): for token, data in zip(razbor, processed_data): token["head_id"] = int(data["Head"]) token["rel"] = data["DepRel"] token["pos"] = data["UPosTag"] for key, value in data["Feats"].items(): token[key] = value # Использование: update_tokens(razbor, processed_data)Таким образом, можно заменить использование pandas на более легковесные и встроенные функции для чтения и обработки данных.
- User
перепиши функцию без использования pandas
- Assistant
Ниже приведен пример переписанной функции без использования библиотеки pandas:
def process_answer(answer): rows = answer.strip().split('\n') headers = rows[0].split('\t') data = [row.split('\t') for row in rows[1:]] result = [] for row in data: token = {} for header, value in zip(headers, row): token[header] = value feats = token["Feats"].split("|") if "|" in token["Feats"] else [] token["Feats"] = {_.split("=")[0]: _.split("=")[1] for _ in feats} result.append(token) return result answer = '\n'.join(re.findall("^\d+.+\n", processed, re.M)) processed_data = process_answer(answer) def update_tokens(razbor, processed_data): for token, data in zip(razbor, processed_data): token["head_id"] = int(data["Head"]) token["rel"] = data["DepRel"] token["pos"] = data["UPosTag"] for key, value in data["Feats"].items(): token[key] = value # Использование: update_tokens(razbor, processed_data)В переписанной функции используется
splitдля разделения строк на столбцы иzipдля соответствия заголовков столбцов и значений. Затем создается словарь для каждой строки данных, а затем выполняется обновление токенов аналогично предыдущей версии функции.