Skip to content
TheChatArchiveThe Chat Archive
Perplexitysonar-reasoning-pro-high· PerplexityHugging Face LMArena Search Arena 24K

pandas分组

From a Chatbot Arena battleThe same person sent this prompt to two anonymous models at once. Compare it with Perplexitysonar-reasoning’s answer.
  1. User

    pandas分组

  2. Perplexity Assistant

    pandas分组 (Groupby) 详解

    pandas中的groupby函数是数据分析中非常强大的工具,它允许我们按照特定条件对数据进行分组,并在这些分组上执行聚合、转换或筛选操作。groupby的基本思路遵循"拆分-应用-合并"的模式:先将数据拆分成组,然后对每个组应用函数,最后将结果合并。

    基本概念

    数据分组操作通常包含三个步骤:

    1. 分组(Splitting):根据一个或多个字段把数据集(DataFrame或Series)拆分成多个分组
    2. 应用函数(Applying):把一个函数应用到各个分组上产生聚合值
    3. 合并结果(Combining):把各个分组产生的聚合值合并到结果中[1][3]

    创建GroupBy对象

    使用.groupby()方法可以创建一个GroupBy对象:

    # 基本语法
    DataFrame.groupby(by=None, axis=0, level=None, as_index=True, sort=True, group_keys=True, dropna=True)
    Series.groupby(by=None, axis=0, level=None, as_index=True, sort=True, group_keys=True, dropna=True)
    

    主要参数说明:

    • by:用于确定分组的依据,可以是列名、列名列表、函数、字典或Series等
    • axis:0表示按行分组,1表示按列分组(默认为0)
    • level:对于多级索引,可按索引级别分组
    • as_index:是否将分组标签作为索引(默认为True)
    • sort:是否对分组键进行排序(默认为True)
    • dropna:是否排除包含NA值的组(默认为True)[1][4][7]

    示例

    import pandas as pd
    import numpy as np
    
    # 创建示例数据
    df = pd.DataFrame({
        'company': ['A', 'B', 'C', 'A', 'B', 'B', 'A', 'C', 'B'],
        'salary': [43, 10, 8, 20, 21, 8, 23, 49, 17],
        'age': [35, 17, 30, 22, 40, 30, 33, 19, 25]
    })
    
    # 按单个列分组
    grouped = df.groupby('company')
    
    # 按多个列分组
    grouped_multi = df.groupby(['company', 'age'])
    

    GroupBy对象的属性和方法

    当执行groupby操作后,返回的是一个DataFrameGroupBy对象(而不是DataFrame或Series),它有许多特有的属性和方法[2][5]:

    主要属性

    1. groups:返回字典,显示所有分组情况({group name -> group labels})
    2. indices:返回字典,显示分组的索引({group name -> group indices})
    3. ngroups:返回分组数量[3][8]
    # 查看分组情况
    grouped.groups
    # 查看分组数量
    len(grouped)
    

    获取分组数据

    可以通过以下方式获取特定分组的数据:

    # 使用get_group方法获取特定分组
    group_a = grouped.get_group('A')  # 获取company为A的组
    
    # 通过迭代方式获取所有分组
    for name, group in grouped:
        print(f"Group Name: {name}")
        print(group)
    

    分组操作类型

    使用GroupBy对象,我们可以执行三类主要操作:聚合、转换和过滤[3][8]。

    1. 聚合操作(Aggregation)

    聚合操作是对每个分组应用一个函数,生成一个汇总结果:

    # 计算每组的平均值
    grouped.mean()
    
    # 计算每组的合计值
    grouped.sum()
    
    # 计算每组的计数
    grouped.count()
    
    # 使用agg函数进行多种聚合
    grouped.agg(['mean', 'sum', 'count'])
    
    # 对不同列应用不同的聚合函数
    grouped.agg({
        'salary': 'mean',
        'age': ['min', 'max']
    })
    

    常用的聚合函数包括:mean(), sum(), count(), min(), max(), median(), std(), var(), first(), last()等[3][5]。

    2. 转换操作(Transform)

    转换操作应用函数到每个分组,但返回与原始数据相同尺寸的数据集:

    # 计算每组的均值,并填充回原始数据框
    df['salary_mean'] = df.groupby('company')['salary'].transform('mean')
    
    # 自定义转换函数
    def normalize(x):
        return (x - x.mean()) / x.std()
    
    df['salary_normalized'] = df.groupby('company')['salary'].transform(normalize)
    

    transform方法的特点是,同一组内的样本会有相同的转换值,并且返回结果的索引与原始数据一致[3][5]。

    3. 过滤操作(Filtration)

    过滤操作基于分组计算结果返回原始数据的子集:

    # 筛选出平均薪资超过20的公司组
    def filter_func(x):
        return x['salary'].mean() > 20
    
    filtered_df = df.groupby('company').filter(filter_func)
    

    分组后的数据处理

    遍历分组数据

    可以通过迭代方式处理每个分组:

    for name, group in df.groupby('company'):
        print(f"Company: {name}")
        print(f"Average Salary: {group['salary'].mean()}")
        print(f"Average Age: {group['age'].mean()}")
        print("---")
    

    对分组数据应用函数(apply)

    apply方法可以对每个分组应用更复杂的操作:

    # 对每个分组应用自定义函数
    def top_n_salary(group, n=2):
        return group.nlargest(n, 'salary')
    
    top_salaries = df.groupby('company').apply(top_n_salary)
    

    apply与agg的区别是,前者可以返回任何形状的结果,而后者必须返回一个聚合值[3][5]。

    高级分组操作

    多级索引分组

    对于多级索引的DataFrame,可以使用level参数按索引级别分组:

    # 创建多级索引DataFrame
    arrays = [['Falcon', 'Falcon', 'Parrot', 'Parrot'],
              ['Captive', 'Wild', 'Captive', 'Wild']]
    index = pd.MultiIndex.from_arrays(arrays, names=('Animal', 'Type'))
    df_multi = pd.DataFrame({'Max Speed': [390., 350., 30., 20.]}, index=index)
    
    # 按第一级索引分组
    df_multi.groupby(level=0).mean()
    
    # 按索引名称分组
    df_multi.groupby(level='Type').mean()
    

    处理缺失值

    默认情况下,groupby会排除分组键中的NA值,但可以通过设置dropna=False来包含它们:

    # 创建包含NaN的DataFrame
    df_na = pd.DataFrame({
        'A': ['foo', 'bar', 'foo', None, 'bar', 'foo'],
        'B': [1, 2, 3, 4, 5, 6]
    })
    
    # 默认排除NA
    df_na.groupby('A').sum()
    
    # 包含NA
    df_na.groupby('A', dropna=False).sum()
    

    分组排序

    默认情况下,groupby会对分组键进行排序,但可以通过sort=False参数来保持原始顺序:

    # 默认排序
    df.groupby('company').sum()
    
    # 不排序,保持原始顺序
    df.groupby('company', sort=False).sum()
    

    实际应用示例

    数据分析示例

    # 分析不同公司的员工年龄和薪资情况
    summary = df.groupby('company').agg({
        'salary': ['mean', 'median', 'std', 'min', 'max'],
        'age': ['mean', 'median', 'min', 'max']
    })
    
    # 计算每个公司的员工数量
    company_size = df.groupby('company').size()
    
    # 找出每个公司薪资最高的前两名员工
    top_earners = df.groupby('company').apply(lambda x: x.nlargest(2, 'salary'))
    

    可视化分组数据

    # 绘制不同公司的薪资分布
    df.groupby('company')['salary'].plot(kind='kde', legend=True)
    
    # 绘制每个公司的平均薪资条形图
    df.groupby('company')['salary'].mean().plot(kind='bar')
    

    总结

    pandas的groupby功能提供了强大而灵活的数据分组和聚合能力,是数据分析中不可或缺的工具。通过掌握groupby的基本用法和高级技巧,可以更高效地处理和分析复杂数据集,提取有价值的信息和洞见。

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.