Untitled conversation
- User
async def get_api_generation(self) -> None: result = [] gen_models = [] for model_id in self.storage['model_id'].drop_duplicates(): url = await self.get_url_generations(int(model_id)) df = DataFrame(await self.fetch(url=url)) df['model_id'] = int(model_id) gen_models.append(df) data = DataFrame(pd.concat(gen_models, ignore_index=True).drop_duplicates().dropna()) for index, row in self.storage.iterrows(): res = data.loc[((data['model_id'] == row['model_id']) & (data['name'] == row['generation']))] if not res.empty: row['gen_id'] = res['id'].iloc[0] result.append(row) df = DataFrame(data=result) self.storage = dfНа строке
data = DataFrame...ошибка:TypeError("unhashable type: 'list'") Assistant
Ошибка возникает из-за того, что в DataFrame
df, который вы получаете изawait self.fetch(url=url), есть столбцы, содержащие списки (list). Когда вы пытаетесь использоватьdrop_duplicates()на DataFrame со столбцами, содержащими списки, pandas не может их хешировать для сравнения.Вот несколько способов решения:
Вариант 1: Исключить проблемные столбцы перед drop_duplicates()
async def get_api_generation(self) -> None: result = [] gen_models = [] for model_id in self.storage['model_id'].drop_duplicates(): url = await self.get_url_generations(int(model_id)) df = DataFrame(await self.fetch(url=url)) df['model_id'] = int(model_id) gen_models.append(df) # Объединяем все DataFrame combined_df = pd.concat(gen_models, ignore_index=True) # Определяем столбцы с нехешируемыми типами unhashable_cols = [] for col in combined_df.columns: try: combined_df[col].drop_duplicates() except TypeError: unhashable_cols.append(col) # Удаляем дубликаты только по хешируемым столбцам if unhashable_cols: hashable_cols = [col for col in combined_df.columns if col not in unhashable_cols] data = combined_df.drop_duplicates(subset=hashable_cols).dropna() else: data = combined_df.drop_duplicates().dropna() # Остальная логика остается той же for index, row in self.storage.iterrows(): res = data.loc[((data['model_id'] == row['model_id']) & (data['name'] == row['generation']))] if not res.empty: row['gen_id'] = res['id'].iloc[0] result.append(row) df = DataFrame(data=result) self.storage = dfВариант 2: Преобразовать списки в строки
async def get_api_generation(self) -> None: result = [] gen_models = [] for model_id in self.storage['model_id'].drop_duplicates(): url = await self.get_url_generations(int(model_id)) df = DataFrame(await self.fetch(url=url)) # Преобразуем списки в строки for col in df.columns: if df[col].apply(lambda x: isinstance(x, list)).any(): df[col] = df[col].apply(lambda x: str(x) if isinstance(x, list) else x) df['model_id'] = int(model_id) gen_models.append(df) data = DataFrame(pd.concat(gen_models, ignore_index=True).drop_duplicates().dropna()) # Остальная логика for index, row in self.storage.iterrows(): res = data.loc[((data['model_id'] == row['model_id']) & (data['name'] == row['generation']))] if not res.empty: row['gen_id'] = res['id'].iloc[0] result.append(row) df = DataFrame(data=result) self.storage = dfВариант 3: Указать конкретные столбцы для drop_duplicates()
Если вы знаете, какие столбцы важны для определения уникальности:
data = pd.concat(gen_models, ignore_index=True).drop_duplicates(subset=['model_id', 'name', 'id']).dropna()Рекомендую использовать вариант 2 или 3, в зависимости от вашей бизнес-логики. Вариант 3 будет самым быстрым, если вы точно знаете, по каким столбцам нужно определять уникальность записей.
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.