Skip to content
The Chat Archive
o1-preview-2024-09-12· OpenAI WildChat-4.8M (AI2)

import pandas as pd import matplotlib.pyplot as plt import os import numpy as np import…

  1. User

    import pandas as pd import matplotlib.pyplot as plt import os import numpy as np import matplotlib.cm as cm

    文件路径模板

    csv_template = r"C:\Users\jack8\OneDrive\LSTM and ARIMA\LSTM\Finish-excel\south{}.csv"

    设置年份范围

    years = range(2013, 2025)

    创建绘图窗口

    fig, ax = plt.subplots(figsize=(40, 20)) # 您可以根据需要调整绘图尺寸

    使用颜色映射为每个年份指定不同的颜色

    选择一个具有足够颜色数目的颜色映射,例如 'tab20' 或 'hsv'

    cmap = plt.get_cmap('tab20') # 'tab20' 包含 20 种不同的颜色 colors = [cmap(i) for i in np.linspace(0, 1, len(years))]

    为每个年份读取数据并绘制散点图

    for idx, year in enumerate(years): # 生成当前年份的文件路径 csv_path = csv_template.format(year)

    # 检查文件是否存在
    if os.path.exists(csv_path):
        # 读取 CSV 文件
        data = pd.read_csv(csv_path)
        
        # 检查是否存在 'x' 和 'y' 列
        if 'x' in data.columns and 'y' in data.columns:
            # 绘制散点图,指定颜色和更小的点大小
            ax.scatter(data['x'], data['y'], label=str(year), s=20, linewidths=0.5, alpha=0.7, color=colors[idx])
        else:
            print(f"警告: 在 {csv_path} 中未找到 'x' 或 'y' 列。")
    else:
        print(f"未找到文件: {csv_path}")
    

    设置坐标轴标签

    ax.set_xlabel("x") ax.set_ylabel("y")

    添加图例

    ax.legend(title="year", bbox_to_anchor=(1.05, 1), loc='upper left')

    添加标题

    plt.title("(2013-2024)")

    调整图形布局,以防止图例遮挡图像

    plt.tight_layout()

    显示图形

    plt.show()

    ##線性太多雜訊,而且還會凸出來,如何讓每個csv繪製一樣x,y值數量並保持乾淨無雜訊

  2. Assistant

    您好,

    根据您的描述,您在绘制多个年份的CSV数据时,发现散点图中有太多的噪声,并且可能存在突出的离群值。您希望让每个CSV绘制相同数量的x和y值,并保持图像干净、没有噪声。

    以下是一些建议,帮助您实现这个目标:

    1. 数据清理:

      • 去除离群值: 在绘图前,您可以从数据中去除离群值。这可以使用统计方法来实现,例如**z-score(标准分)或IQR(四分位距)**方法。

        • 使用z-score方法: 去除绝对z-score大于某个阈值(通常为3)的数据点。
          from scipy import stats
          # 假设data是您的DataFrame,'x'和'y'是列名
          data = data[(np.abs(stats.zscore(data[['x', 'y']])) < 3).all(axis=1)]
          
        • 使用IQR方法: 去除超出四分位距1.5倍范围的离群值。
          Q1 = data[['x', 'y']].quantile(0.25)
          Q3 = data[['x', 'y']].quantile(0.75)
          IQR = Q3 - Q1
          data = data[~((data < (Q1 - 1.5 * IQR)) |(data > (Q3 + 1.5 * IQR))).any(axis=1)]
          
      • 过滤特定范围: 如果您对x和y的取值范围有预期,可以过滤掉超出这些范围的数据点。例如:

        data = data[(data['x'] >= x_min) & (data['x'] <= x_max)]
        data = data[(data['y'] >= y_min) & (data['y'] <= y_max)]
        
    2. 数据抽样:

      • 随机抽样: 如果每个CSV文件的数据量不同,您可以从每个数据集中随机抽取相同数量的样本,以确保每个年份绘制的数据点数量相同。
        N = 1000  # 每个年份采样的点数
        if len(data) >= N:
            data = data.sample(n=N, random_state=42)
        else:
            print(f"年份 {year} 的数据不足 {N} 个点。")
        
      • 系统抽样: 如果数据有时间序列特性,您也可以考虑每隔固定间隔抽取一个数据点。
    3. 数据平滑:

      • 移动平均等平滑技术: 如果数据波动较大,可以使用平滑技术减少噪声。
        data['x'] = data['x'].rolling(window=5).mean()
        data['y'] = data['y'].rolling(window=5).mean()
        data = data.dropna()  # 滚动平均后需要去除NaN值
        
    4. 调整绘图参数:

      • 调整点的大小和透明度: 降低点的大小(s参数)和增加点的透明度(alpha参数)可以减少视觉上的“杂乱”。
      • 使用更合适的颜色映射: 选择颜色对比度较好的颜色映射,避免颜色过于相近。
    5. 确保数据一致性:

      • 统一数据格式: 确保所有CSV文件的列名和数据格式一致,避免由于格式问题导致的数据异常。

    以下是修改后的代码示例,将上述建议整合到您的代码中:

    import pandas as pd
    import matplotlib.pyplot as plt
    import os
    import numpy as np
    import matplotlib.cm as cm
    from scipy import stats
    
    # 文件路径模板
    csv_template = r"C:\Users\jack8\OneDrive\LSTM and ARIMA\LSTM\Finish-excel\south\{}.csv"
    
    # 设置年份范围
    years = range(2013, 2025)
    
    # 每个数据集期望的数据点数量
    N = 1000  # 您可以根据需要调整这个数值
    
    # 创建绘图窗口
    fig, ax = plt.subplots(figsize=(20, 10))  # 调整绘图尺寸以适应屏幕
    
    # 使用颜色映射为每个年份指定不同的颜色
    cmap = plt.get_cmap('tab20')
    colors = [cmap(i) for i in np.linspace(0, 1, len(years))]
    
    # 为每个年份读取数据并绘制散点图
    for idx, year in enumerate(years):
        # 生成当前年份的文件路径
        csv_path = csv_template.format(year)
        
        # 检查文件是否存在
        if os.path.exists(csv_path):
            # 读取 CSV 文件
            data = pd.read_csv(csv_path)
            
            # 检查是否存在 'x' 和 'y' 列
            if 'x' in data.columns and 'y' in data.columns:
                # 数据清理
                # 去除NaN值
                data = data.dropna(subset=['x', 'y'])
                
                # 去除离群值(使用z-score方法)
                data = data[(np.abs(stats.zscore(data[['x', 'y']])) < 3).all(axis=1)]
                
                # 随机抽样,确保每个年份的数据量一致
                if len(data) >= N:
                    data = data.sample(n=N, random_state=42)
                else:
                    print(f"年份 {year} 的数据不足 {N} 个点,已使用可用的 {len(data)} 个数据点。")
                    # 也可以选择跳过该年份,使用continue
                    # continue
                
                # 绘制散点图,指定颜色和更小的点大小
                ax.scatter(data['x'], data['y'], label=str(year), s=10, linewidths=0.5, alpha=0.5, color=colors[idx])
            else:
                print(f"警告: 在 {csv_path} 中未找到 'x' 或 'y' 列。")
        else:
            print(f"未找到文件: {csv_path}")
            
    # 设置坐标轴标签
    ax.set_xlabel("x")
    ax.set_ylabel("y")
    
    # 添加图例
    ax.legend(title="Year", bbox_to_anchor=(1.05, 1), loc='upper left')
    
    # 添加标题
    plt.title("Scatter Plot of x vs y (2013-2024)")
    
    # 调整图形布局,以防止图例遮挡图像
    plt.tight_layout()
    
    # 显示图形
    plt.show()
    

    附加说明:

    • 离群值处理: 使用scipy库中的stats.zscore函数计算标准分,以去除异常值。这有助于减少噪声数据的影响。

    • 数据抽样: 使用data.sample()函数对数据进行随机抽样,确保每个年份的数据点数量相同,提高图形的可比性。

    • 数据平滑: 如果仍然存在噪声,可以考虑对x和y进行平滑处理,如移动平均(上述示例中提供了相关代码)。

    • 绘图参数调整: 减小点的大小s和降低透明度alpha,可以使得大量的数据点看起来更清晰。

    • 错误和警告处理: 在处理每个CSV文件时,程序会检查文件是否存在以及必要的列是否存在,并给出相应的提示。

    通过以上方法,您应该能够获得更清晰、更干净的散点图,每个年份的数据点数量一致,并减少了噪声和离群值的影响。

    希望这些建议对您有所帮助!


    如果您还有其他问题或需要进一步的帮助,请随时提问。