pandas分组
- User
pandas分组
Assistant
pandas分组 (Groupby) 详解
pandas中的
groupby函数是数据分析中非常强大的工具,它允许我们按照特定条件对数据进行分组,并在这些分组上执行聚合、转换或筛选操作。groupby的基本思路遵循"拆分-应用-合并"的模式:先将数据拆分成组,然后对每个组应用函数,最后将结果合并。基本概念
数据分组操作通常包含三个步骤:
- 分组(Splitting):根据一个或多个字段把数据集(DataFrame或Series)拆分成多个分组
- 应用函数(Applying):把一个函数应用到各个分组上产生聚合值
- 合并结果(Combining):把各个分组产生的聚合值合并到结果中[1][3]
创建GroupBy对象
使用
.groupby()方法可以创建一个GroupBy对象:# 基本语法 DataFrame.groupby(by=None, axis=0, level=None, as_index=True, sort=True, group_keys=True, dropna=True) Series.groupby(by=None, axis=0, level=None, as_index=True, sort=True, group_keys=True, dropna=True)主要参数说明:
by:用于确定分组的依据,可以是列名、列名列表、函数、字典或Series等axis:0表示按行分组,1表示按列分组(默认为0)level:对于多级索引,可按索引级别分组as_index:是否将分组标签作为索引(默认为True)sort:是否对分组键进行排序(默认为True)dropna:是否排除包含NA值的组(默认为True)[1][4][7]
示例
import pandas as pd import numpy as np # 创建示例数据 df = pd.DataFrame({ 'company': ['A', 'B', 'C', 'A', 'B', 'B', 'A', 'C', 'B'], 'salary': [43, 10, 8, 20, 21, 8, 23, 49, 17], 'age': [35, 17, 30, 22, 40, 30, 33, 19, 25] }) # 按单个列分组 grouped = df.groupby('company') # 按多个列分组 grouped_multi = df.groupby(['company', 'age'])GroupBy对象的属性和方法
当执行
groupby操作后,返回的是一个DataFrameGroupBy对象(而不是DataFrame或Series),它有许多特有的属性和方法[2][5]:主要属性
- groups:返回字典,显示所有分组情况({group name -> group labels})
- indices:返回字典,显示分组的索引({group name -> group indices})
- ngroups:返回分组数量[3][8]
# 查看分组情况 grouped.groups # 查看分组数量 len(grouped)获取分组数据
可以通过以下方式获取特定分组的数据:
# 使用get_group方法获取特定分组 group_a = grouped.get_group('A') # 获取company为A的组 # 通过迭代方式获取所有分组 for name, group in grouped: print(f"Group Name: {name}") print(group)分组操作类型
使用GroupBy对象,我们可以执行三类主要操作:聚合、转换和过滤[3][8]。
1. 聚合操作(Aggregation)
聚合操作是对每个分组应用一个函数,生成一个汇总结果:
# 计算每组的平均值 grouped.mean() # 计算每组的合计值 grouped.sum() # 计算每组的计数 grouped.count() # 使用agg函数进行多种聚合 grouped.agg(['mean', 'sum', 'count']) # 对不同列应用不同的聚合函数 grouped.agg({ 'salary': 'mean', 'age': ['min', 'max'] })常用的聚合函数包括:
mean(),sum(),count(),min(),max(),median(),std(),var(),first(),last()等[3][5]。2. 转换操作(Transform)
转换操作应用函数到每个分组,但返回与原始数据相同尺寸的数据集:
# 计算每组的均值,并填充回原始数据框 df['salary_mean'] = df.groupby('company')['salary'].transform('mean') # 自定义转换函数 def normalize(x): return (x - x.mean()) / x.std() df['salary_normalized'] = df.groupby('company')['salary'].transform(normalize)transform方法的特点是,同一组内的样本会有相同的转换值,并且返回结果的索引与原始数据一致[3][5]。3. 过滤操作(Filtration)
过滤操作基于分组计算结果返回原始数据的子集:
# 筛选出平均薪资超过20的公司组 def filter_func(x): return x['salary'].mean() > 20 filtered_df = df.groupby('company').filter(filter_func)分组后的数据处理
遍历分组数据
可以通过迭代方式处理每个分组:
for name, group in df.groupby('company'): print(f"Company: {name}") print(f"Average Salary: {group['salary'].mean()}") print(f"Average Age: {group['age'].mean()}") print("---")对分组数据应用函数(apply)
apply方法可以对每个分组应用更复杂的操作:# 对每个分组应用自定义函数 def top_n_salary(group, n=2): return group.nlargest(n, 'salary') top_salaries = df.groupby('company').apply(top_n_salary)apply与agg的区别是,前者可以返回任何形状的结果,而后者必须返回一个聚合值[3][5]。
高级分组操作
多级索引分组
对于多级索引的DataFrame,可以使用
level参数按索引级别分组:# 创建多级索引DataFrame arrays = [['Falcon', 'Falcon', 'Parrot', 'Parrot'], ['Captive', 'Wild', 'Captive', 'Wild']] index = pd.MultiIndex.from_arrays(arrays, names=('Animal', 'Type')) df_multi = pd.DataFrame({'Max Speed': [390., 350., 30., 20.]}, index=index) # 按第一级索引分组 df_multi.groupby(level=0).mean() # 按索引名称分组 df_multi.groupby(level='Type').mean()处理缺失值
默认情况下,
groupby会排除分组键中的NA值,但可以通过设置dropna=False来包含它们:# 创建包含NaN的DataFrame df_na = pd.DataFrame({ 'A': ['foo', 'bar', 'foo', None, 'bar', 'foo'], 'B': [1, 2, 3, 4, 5, 6] }) # 默认排除NA df_na.groupby('A').sum() # 包含NA df_na.groupby('A', dropna=False).sum()分组排序
默认情况下,
groupby会对分组键进行排序,但可以通过sort=False参数来保持原始顺序:# 默认排序 df.groupby('company').sum() # 不排序,保持原始顺序 df.groupby('company', sort=False).sum()实际应用示例
数据分析示例
# 分析不同公司的员工年龄和薪资情况 summary = df.groupby('company').agg({ 'salary': ['mean', 'median', 'std', 'min', 'max'], 'age': ['mean', 'median', 'min', 'max'] }) # 计算每个公司的员工数量 company_size = df.groupby('company').size() # 找出每个公司薪资最高的前两名员工 top_earners = df.groupby('company').apply(lambda x: x.nlargest(2, 'salary'))可视化分组数据
# 绘制不同公司的薪资分布 df.groupby('company')['salary'].plot(kind='kde', legend=True) # 绘制每个公司的平均薪资条形图 df.groupby('company')['salary'].mean().plot(kind='bar')总结
pandas的
groupby功能提供了强大而灵活的数据分组和聚合能力,是数据分析中不可或缺的工具。通过掌握groupby的基本用法和高级技巧,可以更高效地处理和分析复杂数据集,提取有价值的信息和洞见。
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.