import pandas as pd import matplotlib.pyplot as plt import os import numpy as np import…
- User
import pandas as pd import matplotlib.pyplot as plt import os import numpy as np import matplotlib.cm as cm
文件路径模板
csv_template = r"C:\Users\jack8\OneDrive\LSTM and ARIMA\LSTM\Finish-excel\south{}.csv"
设置年份范围
years = range(2013, 2025)
创建绘图窗口
fig, ax = plt.subplots(figsize=(40, 20)) # 您可以根据需要调整绘图尺寸
使用颜色映射为每个年份指定不同的颜色
选择一个具有足够颜色数目的颜色映射,例如 'tab20' 或 'hsv'
cmap = plt.get_cmap('tab20') # 'tab20' 包含 20 种不同的颜色 colors = [cmap(i) for i in np.linspace(0, 1, len(years))]
为每个年份读取数据并绘制散点图
for idx, year in enumerate(years): # 生成当前年份的文件路径 csv_path = csv_template.format(year)
# 检查文件是否存在 if os.path.exists(csv_path): # 读取 CSV 文件 data = pd.read_csv(csv_path) # 检查是否存在 'x' 和 'y' 列 if 'x' in data.columns and 'y' in data.columns: # 绘制散点图,指定颜色和更小的点大小 ax.scatter(data['x'], data['y'], label=str(year), s=20, linewidths=0.5, alpha=0.7, color=colors[idx]) else: print(f"警告: 在 {csv_path} 中未找到 'x' 或 'y' 列。") else: print(f"未找到文件: {csv_path}")设置坐标轴标签
ax.set_xlabel("x") ax.set_ylabel("y")
添加图例
ax.legend(title="year", bbox_to_anchor=(1.05, 1), loc='upper left')
添加标题
plt.title("(2013-2024)")
调整图形布局,以防止图例遮挡图像
plt.tight_layout()
显示图形
plt.show()
##線性太多雜訊,而且還會凸出來,如何讓每個csv繪製一樣x,y值數量並保持乾淨無雜訊
- Assistant
您好,
根据您的描述,您在绘制多个年份的CSV数据时,发现散点图中有太多的噪声,并且可能存在突出的离群值。您希望让每个CSV绘制相同数量的
x和y值,并保持图像干净、没有噪声。以下是一些建议,帮助您实现这个目标:
-
数据清理:
-
去除离群值: 在绘图前,您可以从数据中去除离群值。这可以使用统计方法来实现,例如**z-score(标准分)或IQR(四分位距)**方法。
- 使用z-score方法: 去除绝对z-score大于某个阈值(通常为3)的数据点。
from scipy import stats # 假设data是您的DataFrame,'x'和'y'是列名 data = data[(np.abs(stats.zscore(data[['x', 'y']])) < 3).all(axis=1)] - 使用IQR方法: 去除超出四分位距1.5倍范围的离群值。
Q1 = data[['x', 'y']].quantile(0.25) Q3 = data[['x', 'y']].quantile(0.75) IQR = Q3 - Q1 data = data[~((data < (Q1 - 1.5 * IQR)) |(data > (Q3 + 1.5 * IQR))).any(axis=1)]
- 使用z-score方法: 去除绝对z-score大于某个阈值(通常为3)的数据点。
-
过滤特定范围: 如果您对
x和y的取值范围有预期,可以过滤掉超出这些范围的数据点。例如:data = data[(data['x'] >= x_min) & (data['x'] <= x_max)] data = data[(data['y'] >= y_min) & (data['y'] <= y_max)]
-
-
数据抽样:
- 随机抽样: 如果每个CSV文件的数据量不同,您可以从每个数据集中随机抽取相同数量的样本,以确保每个年份绘制的数据点数量相同。
N = 1000 # 每个年份采样的点数 if len(data) >= N: data = data.sample(n=N, random_state=42) else: print(f"年份 {year} 的数据不足 {N} 个点。") - 系统抽样: 如果数据有时间序列特性,您也可以考虑每隔固定间隔抽取一个数据点。
- 随机抽样: 如果每个CSV文件的数据量不同,您可以从每个数据集中随机抽取相同数量的样本,以确保每个年份绘制的数据点数量相同。
-
数据平滑:
- 移动平均等平滑技术: 如果数据波动较大,可以使用平滑技术减少噪声。
data['x'] = data['x'].rolling(window=5).mean() data['y'] = data['y'].rolling(window=5).mean() data = data.dropna() # 滚动平均后需要去除NaN值
- 移动平均等平滑技术: 如果数据波动较大,可以使用平滑技术减少噪声。
-
调整绘图参数:
- 调整点的大小和透明度: 降低点的大小(
s参数)和增加点的透明度(alpha参数)可以减少视觉上的“杂乱”。 - 使用更合适的颜色映射: 选择颜色对比度较好的颜色映射,避免颜色过于相近。
- 调整点的大小和透明度: 降低点的大小(
-
确保数据一致性:
- 统一数据格式: 确保所有CSV文件的列名和数据格式一致,避免由于格式问题导致的数据异常。
以下是修改后的代码示例,将上述建议整合到您的代码中:
import pandas as pd import matplotlib.pyplot as plt import os import numpy as np import matplotlib.cm as cm from scipy import stats # 文件路径模板 csv_template = r"C:\Users\jack8\OneDrive\LSTM and ARIMA\LSTM\Finish-excel\south\{}.csv" # 设置年份范围 years = range(2013, 2025) # 每个数据集期望的数据点数量 N = 1000 # 您可以根据需要调整这个数值 # 创建绘图窗口 fig, ax = plt.subplots(figsize=(20, 10)) # 调整绘图尺寸以适应屏幕 # 使用颜色映射为每个年份指定不同的颜色 cmap = plt.get_cmap('tab20') colors = [cmap(i) for i in np.linspace(0, 1, len(years))] # 为每个年份读取数据并绘制散点图 for idx, year in enumerate(years): # 生成当前年份的文件路径 csv_path = csv_template.format(year) # 检查文件是否存在 if os.path.exists(csv_path): # 读取 CSV 文件 data = pd.read_csv(csv_path) # 检查是否存在 'x' 和 'y' 列 if 'x' in data.columns and 'y' in data.columns: # 数据清理 # 去除NaN值 data = data.dropna(subset=['x', 'y']) # 去除离群值(使用z-score方法) data = data[(np.abs(stats.zscore(data[['x', 'y']])) < 3).all(axis=1)] # 随机抽样,确保每个年份的数据量一致 if len(data) >= N: data = data.sample(n=N, random_state=42) else: print(f"年份 {year} 的数据不足 {N} 个点,已使用可用的 {len(data)} 个数据点。") # 也可以选择跳过该年份,使用continue # continue # 绘制散点图,指定颜色和更小的点大小 ax.scatter(data['x'], data['y'], label=str(year), s=10, linewidths=0.5, alpha=0.5, color=colors[idx]) else: print(f"警告: 在 {csv_path} 中未找到 'x' 或 'y' 列。") else: print(f"未找到文件: {csv_path}") # 设置坐标轴标签 ax.set_xlabel("x") ax.set_ylabel("y") # 添加图例 ax.legend(title="Year", bbox_to_anchor=(1.05, 1), loc='upper left') # 添加标题 plt.title("Scatter Plot of x vs y (2013-2024)") # 调整图形布局,以防止图例遮挡图像 plt.tight_layout() # 显示图形 plt.show()附加说明:
-
离群值处理: 使用
scipy库中的stats.zscore函数计算标准分,以去除异常值。这有助于减少噪声数据的影响。 -
数据抽样: 使用
data.sample()函数对数据进行随机抽样,确保每个年份的数据点数量相同,提高图形的可比性。 -
数据平滑: 如果仍然存在噪声,可以考虑对
x和y进行平滑处理,如移动平均(上述示例中提供了相关代码)。 -
绘图参数调整: 减小点的大小
s和降低透明度alpha,可以使得大量的数据点看起来更清晰。 -
错误和警告处理: 在处理每个CSV文件时,程序会检查文件是否存在以及必要的列是否存在,并给出相应的提示。
通过以上方法,您应该能够获得更清晰、更干净的散点图,每个年份的数据点数量一致,并减少了噪声和离群值的影响。
希望这些建议对您有所帮助!
如果您还有其他问题或需要进一步的帮助,请随时提问。
-