Skip to content
TheChatArchiveThe Chat Archive
o1-preview-2024-09-12· OpenAIAi2 WildChat-4.8M (AI2)

请编写代码,完成对六个数据集的读取、预处理、整理到dataframe. 数据集1-4已经处理,并且按照顺序参考代码附后,5,6的数据集为网格式,类似数据集1的第二种处理。…

  1. User

    请编写代码,完成对六个数据集的读取、预处理、整理到dataframe. 数据集1-4已经处理,并且按照顺序参考代码附后,5,6的数据集为网格式,类似数据集1的第二种处理。 六个数据集的基本信息如下: 中国数字高程图(1km)文件位置与缺值处理方式,参考后面代码(有两种) 数据集描述: 该数据集包含中国的数字高程信息,分辨率为1公里,采用两种不同的坐标系。 文件格式: GeoTIFF 路径: 解压后 Albers_105 文件夹为正轴割圆锥等面积投影数据,Geo/TIFF 文件夹下为WGS84地理坐标系数据。 主要文件: chinadem_geo.tif (地表每个像素代表海拔高度,单位为米) 中国0.1°近地表气温数据集(1979-2018年)文件位置与处理方式,参考后面代码 数据集描述: 包含1979-2018年每日中国近地表气温的分布,分辨率为0.1度。 文件格式: GeoTIFF 路径: 每一年数据为一个文件夹,文件夹中包含该年1月1日至12月31日每日气温的GeoTIFF文件。 主要文件: 每天的气温数据保存为GeoTIFF格式文件,文件夹以年份命名。 中国大陆0.25°逐日降水数据集(1961-2022年)文件位置与处理方式,参考后面代码 数据集描述: 包含1961-2022年每日中国大陆的降水分布,分辨率为0.25度。 文件格式: NetCDF 路径: 文件包含22645层图像,每一层对应从1961年1月1日至2022年12月31日每日的降水分布。 主要文件: NetCDF格式文件,包含每日降水量(单位为毫米)。 中国0.5°土地利用和覆盖变化数据集(1900-2019年)文件位置与处理方式,参考后面代码 数据集描述: 包含耕地、林地、草地、灌木丛、湿地五种土地覆被类型的时空分布,分辨率为0.5度。 文件格式: GeoTIFF 路径: 每一类覆被类型的数据文件命名为类型英文名加年份,如cropland_2019.tif。 主要文件: 不同覆被类型的数据按年份保存为多个GeoTIFF文件。 中国大陆1km逐年历史人口空间分布公里网格数据集(1990-2015年)文件位置如F:\HuaweiCup\DATA\data5\pop_output\pop1990\pop1990.tif 数据集描述: 包含1990-2015年每年中国大陆的人口分布,分辨率为1公里。 文件格式: GeoTIFF 路径: 每一年的数据存储在单独的文件夹中,图像以GeoTIFF格式保存。 主要文件: 每年的人口空间分布以GeoTIFF格式保存,文件夹以年份命名。 中国大陆1km逐年历史GDP空间分布公里网格数据集(1990-2015年)文件位置如F:\HuaweiCup\DATA\data6\GDP_output\gdp1990.tif 数据集描述: 包含1990-2015年中国大陆每年GDP的空间分布,分辨率为1公里。 文件格式: GeoTIFF 路径: 每一年的数据存储在单独的文件夹中,图像以GeoTIFF格式保存。 主要文件: 每年GDP的空间分布以GeoTIFF格式保存,文件夹以年份命名。 这些数据主要为GeoTIFF和NetCDF格式,Python可以使用rasterio库处理GeoTIFF数据,netCDF4库处理NetCDF数据。

    %% [markdown]

    ## 高程 经纬度

    %%

    import os import rasterio import numpy as np import matplotlib.pyplot as plt

    设置中文字体支持

    plt.rcParams['font.sans-serif'] = ['SimHei'] plt.rcParams['axes.unicode_minus'] = False

    定义 Geo 文件夹下的 TIFF 文件路径

    tif_file_path = r"F:\HuaweiCup\DATA\data1\Geo\TIFF\chinadem_geo.tif"

    检查文件是否存在

    if not os.path.exists(tif_file_path): print(f"文件 {tif_file_path} 不存在,请检查路径。") else: # 打开并读取 TIFF 文件 with rasterio.open(tif_file_path) as src: data = src.read(1) # 读取第一波段的数据(DEM 高程值) bounds = src.bounds # 获取图像的边界 nodata = src.nodata # 获取缺失值标识符 resolution = src.res # 获取像素分辨率 width, height = src.width, src.height # 图像的宽度和高度 total_pixels = width * height # 计算总的数据点数(像素数)

        # 如果有缺失值标识符,替换为 np.nan
        if nodata is not None:
            data = np.where(data == nodata, np.nan, data)
    
        # 计算去除缺失值后的有效数据点总数
        valid_pixels = np.count_nonzero(~np.isnan(data))
    
        # 输出精度、规模等信息
        print(f"文件:{tif_file_path}")
        print(f"像素分辨率:{resolution[0]} x {resolution[1]} 度")
        print(f"图像大小:宽 {width} 像素, 高 {height} 像素")
        print(f"数据点总数(像素总数):{total_pixels}")
        print(f"有效数据点总数(去除缺失值):{valid_pixels}")
        print(f"地理范围:")
        print(f"   经:{bounds.left}° 至 经:{bounds.right}°")
        print(f"   纬:{bounds.bottom}° 至 纬:{bounds.top}°")
    
    # 确定图像的显示范围(extent)以匹配地理坐标
    extent = [bounds.left, bounds.right, bounds.bottom, bounds.top]
    
    # 绘制数据,使用灰色调 cmap='YlOrRd' 显示海拔数据
    plt.figure(figsize=(10, 8))
    plt.imshow(data, cmap='YlOrRd', extent=extent)
    plt.colorbar(label="海拔高度 (米)")
    plt.title("中国数字高程图 (1km 分辨率)", fontsize=16)
    plt.xlabel("经度", fontsize=12)
    plt.ylabel("纬度", fontsize=12)
    plt.show()
    

    %% [markdown]

    ## 高程 平面

    %%

    设置中文字体支持

    plt.rcParams['font.sans-serif'] = ['SimHei'] plt.rcParams['axes.unicode_minus'] = False

    定义 Albers_105 文件夹下的 TIFF 文件路径

    base_dir = r"F:\HuaweiCup\DATA\data1\Albers_105\TIFF"

    文件路径

    dem_file = os.path.join(base_dir, "chdem_105.tif") aspect_file = os.path.join(base_dir, "chdem_Aspect.tif") slope_file = os.path.join(base_dir, "chdem_Slope.tif") hillshade_file = os.path.join(base_dir, "chdem_hillshade.tif")

    def read_and_display_tiff(file_path, title, cmap='terrain', label=''): # 检查文件是否存在 if not os.path.exists(file_path): print(f"文件 {file_path} 不存在,请检查路径。") return

    # 打开并读取 TIFF 文件
    with rasterio.open(file_path) as src:
        data = src.read(1)  # 读取第一波段的数据
        bounds = src.bounds  # 获取图像的边界
        nodata = src.nodata  # 获取缺失值标识符
        resolution = src.res  # 获取像素分辨率
        width, height = src.width, src.height  # 图像的宽度和高度
        total_pixels = width * height  # 计算总的数据点数(像素数)
    
        # 如果有缺失值标识符,替换为 np.nan
        if nodata is not None:
            data = np.where(data == nodata, np.nan, data)
    
        # 计算去除缺失值后的有效数据点总数
        valid_pixels = np.count_nonzero(~np.isnan(data))
    
        # 输出精度、规模等信息
        print(f"文件:{file_path}")
        print(f"像素分辨率:{resolution[0]} x {resolution[1]} 单位")
        print(f"图像大小:宽 {width} 像素, 高 {height} 像素")
        print(f"数据点总数(像素总数):{total_pixels}")
        print(f"有效数据点总数(去除缺失值):{valid_pixels}")
        print(f"地理范围:")
        print(f"   经:{bounds.left}° 至 经:{bounds.right}°")
        print(f"   纬:{bounds.bottom}° 至 纬:{bounds.top}°")
    
    # 确定图像的显示范围(extent)以匹配地理坐标
    extent = [bounds.left, bounds.right, bounds.bottom, bounds.top]
    
    # 绘制数据
    plt.figure(figsize=(10, 8))
    plt.imshow(data, cmap=cmap, extent=extent)
    plt.colorbar(label=label)
    plt.title(title, fontsize=16)
    plt.xlabel("经度", fontsize=12)
    plt.ylabel("纬度", fontsize=12)
    plt.show()
    

    读取并显示 DEM(高程)数据

    read_and_display_tiff(dem_file, "中国高程图 (Albers 投影)", cmap='terrain', label="海拔高度 (米)")

    读取并显示坡向数据

    read_and_display_tiff(aspect_file, "中国坡向图 (Albers 投影)", cmap='twilight', label="坡向 (度)")

    读取并显示坡度数据

    read_and_display_tiff(slope_file, "中国坡度图 (Albers 投影)", cmap='viridis', label="坡度 (度)")

    读取并显示阴影图

    read_and_display_tiff(hillshade_file, "中国阴影图 (Albers 投影)", cmap='Greys', label="阴影")

    %% [markdown]

    ## 气温

    %% [markdown]

    地区 城市 经度 (°E) 纬度 (°N)

    华东 上海 121.4737 31.2304

    华南 广州 113.2644 23.1291

    华中 武汉 114.3055 30.5928

    华北 北京 116.4074 39.9042

    西南 成都 104.0665 30.5723

    西北 西安 108.9398 34.3416

    东北 沈阳 123.4315 41.8057

    %% [markdown]

    ## 找有效值

    %%

    from rasterio.transform import xy import os import rasterio import numpy as np import matplotlib.pyplot as plt

    设置中文字体支持

    plt.rcParams['font.sans-serif'] = ['SimHei'] plt.rcParams['axes.unicode_minus'] = False

    定义数据根目录

    data_dir = r"F:\HuaweiCup\DATA\data2\day_avg"

    获取年份目录列表

    years = [d for d in os.listdir( data_dir) if os.path.isdir(os.path.join(data_dir, d))]

    初始化总有效数据点的计数

    total_valid_pixels = 0 total_pixels = 0

    遍历每个年份

    for year in years: year_dir = os.path.join(data_dir, year)

    # 获取该年份下所有TIFF文件
    tiff_files = [f for f in os.listdir(year_dir) if f.endswith('_avg.tif')]
    
    # 遍历每个TIFF文件
    for tiff_file in tiff_files:
        tif_file_path = os.path.join(year_dir, tiff_file)
    
        if os.path.exists(tif_file_path):
            with rasterio.open(tif_file_path) as src:
                data = src.read(1)  # 读取第一波段数据
                nodata = src.nodata  # 获取缺失值标识符
                width, height = src.width, src.height  # 图像的宽度和高度
                total_pixels_per_file = width * height  # 计算每个文件的总数据点数
    
                # 如果有缺失值标识符,替换为 np.nan
                if nodata is not None:
                    data = np.where(data == nodata, np.nan, data)
    
                # 计算去除缺失值后的有效数据点总数
                valid_pixels_per_file = np.count_nonzero(~np.isnan(data))
    
                # 累加总有效数据点数
                total_valid_pixels += valid_pixels_per_file
                total_pixels += total_pixels_per_file
    

    输出所有日期的总数据点和有效数据点

    print(f"所有日期数据点总数(像素总数):{total_pixels}") print(f"所有日期有效数据点总数(去除缺失值):{total_valid_pixels}")

    %% [markdown]

    ## 单日

    %%

    设置中文字体支持

    plt.rcParams['font.sans-serif'] = ['SimHei'] plt.rcParams['axes.unicode_minus'] = False

    定义数据根目录

    data_dir = r"F:\HuaweiCup\DATA\data2\day_avg"

    选择一个年份和一个日期

    selected_year = "1979" selected_day = "19790101"

    构建 TIFF 文件路径

    tif_file = os.path.join( data_dir, f"{selected_year}_avg", f"{selected_day}_avg.tif")

    检查文件是否存在

    if not os.path.exists(tif_file): print(f"文件 {tif_file} 不存在,请检查路径。") else: # 打开并读取 TIFF 文件 with rasterio.open(tif_file) as src: data = src.read(1) # 读取第一波段的数据 bounds = src.bounds # 获取图像的边界 nodata = src.nodata # 获取缺失值标识符 resolution = src.res # 获取像素分辨率 width, height = src.width, src.height # 图像的宽度和高度 total_pixels = width * height # 计算总的数据点数(像素数)

        # 如果有缺失值标识符,替换为 np.nan
        if nodata is not None:
            data = np.where(data == nodata, np.nan, data)
    
        # 计算去除缺失值后的有效数据点总数
        valid_pixels = np.count_nonzero(~np.isnan(data))
    
        # 输出精度、规模等信息
        print(f"文件:{tif_file}")
        print(f"像素分辨率:{resolution[0]} x {resolution[1]} 度")
        print(f"图像大小:宽 {width} 像素, 高 {height} 像素")
        print(f"单个日期数据点总数(像素总数):{total_pixels}")
        print(f"单个日期有效数据点总数(去除缺失值):{valid_pixels}")
        print(f"地理范围:")
        print(f"   经:{bounds.left}° 至 经:{bounds.right}°")
        print(f"   纬:{bounds.bottom}° 至 纬:{bounds.top}°")
    
    # 确定图像的显示范围(extent)以匹配地理坐标
    extent = [bounds.left, bounds.right, bounds.bottom, bounds.top]
    
    # 绘制数据
    plt.figure(figsize=(10, 8))
    plt.imshow(data, cmap='coolwarm', extent=extent)
    plt.colorbar(label="气温 (°C)")
    plt.title(f"{selected_day} 平均气温分布 (去除缺失值)", fontsize=16)
    plt.xlabel("经度", fontsize=12)
    plt.ylabel("纬度", fontsize=12)
    plt.show()
    

    %% [markdown]

    ## 平均和方差

    %%

    设置中文字体支持

    plt.rcParams['font.sans-serif'] = ['SimHei'] plt.rcParams['axes.unicode_minus'] = False

    定义数据目录,直接指向包含所有 TIFF 文件的目录

    data_dir = r"F:\HuaweiCup\DATA\data2\day_avg\1979_avg"

    获取该目录下所有以 '_avg.tif' 结尾的文件,并按顺序排序

    tif_files = sorted([os.path.join(data_dir, f) for f in os.listdir(data_dir) if f.endswith('_avg.tif')])

    初始化用于存储sum, sum of squares, and counts

    sum_data = None sumsq_data = None count_data = None

    遍历每个 TIFF 文件

    for tif_file in tif_files: # 打开并读取 TIFF 文件 with rasterio.open(tif_file) as src: data = src.read(1).astype(np.float64) # 读取第一波段的数据,确保为float64 nodata = src.nodata # 获取缺失值标识符

        # 如果有缺失值标识符,替换为 np.nan
        if nodata is not None:
            data[data == nodata] = np.nan
    
        # 初始化 sum_data, sumsq_data, count_data
        if sum_data is None:
            sum_data = np.zeros_like(data)
            sumsq_data = np.zeros_like(data)
            count_data = np.zeros_like(data)
    
        # 创建有效数据的掩码
        valid = ~np.isnan(data)
    
        # 更新计数
        count_data[valid] += 1
    
        # 更新总和
        sum_data[valid] += data[valid]
    
        # 更新总和的平方
        sumsq_data[valid] += data[valid] ** 2
    

    计算平均气温

    mean_data = np.full_like(sum_data, np.nan) variance_data = np.full_like(sum_data, np.nan)

    对于有效的数据点,计算平均值

    valid = count_data > 0 mean_data[valid] = sum_data[valid] / count_data[valid]

    对于至少有两个观测值的点,计算方差

    valid_var = count_data > 1 variance_data[valid_var] = (sumsq_data[valid_var] - (sum_data[valid_var] ** 2) / count_data[valid_var]) / (count_data[valid_var] - 1)

    检查方差和平均值的范围

    print(f"平均气温最大值: {np.nanmax(mean_data)}, 最小值: {np.nanmin(mean_data)}") print(f"气温方差最大值: {np.nanmax(variance_data)}, 最小值: {np.nanmin(variance_data)}")

    使用第一个文件来获取地理信息

    with rasterio.open(tif_files[0]) as src: transform = src.transform width = src.width height = src.height crs = src.crs

    创建像素网格坐标

    col_indices = np.arange(width) row_indices = np.arange(height) col_grid, row_grid = np.meshgrid(col_indices, row_indices)

    使用仿射变换将像素坐标转换为地理坐标

    lon_grid, lat_grid = xy(transform, row_grid, col_grid) lon_grid = np.array(lon_grid) lat_grid = np.array(lat_grid)

    绘制平均气温图

    plt.figure(figsize=(10, 6)) plt.contourf(lon_grid, lat_grid, mean_data, cmap='coolwarm', levels=20) plt.colorbar(label='平均气温 (°C)') plt.title("平均气温分布", fontsize=16) plt.xlabel("经度", fontsize=12) plt.ylabel("纬度", fontsize=12) plt.show()

    绘制气温方差图

    plt.figure(figsize=(10, 6)) plt.contourf(lon_grid, lat_grid, variance_data, cmap='coolwarm', levels=20) plt.colorbar(label='气温方差 (°C^2)') plt.title("气温方差分布", fontsize=16) plt.xlabel("经度", fontsize=12) plt.ylabel("纬度", fontsize=12) plt.show()

    %% [markdown]

    ## 异常值发现

    %%

    定义数据根目录

    data_dir = r"F:\HuaweiCup\DATA\data2\day_avg"

    合理的温度范围

    min_valid_temp = -100 max_valid_temp = 100

    初始化全局最小值和最大值

    global_min = float('inf') global_max = float('-inf')

    获取年份目录列表

    years = [d for d in os.listdir( data_dir) if os.path.isdir(os.path.join(data_dir, d))]

    遍历每个年份

    for year in years: year_dir = os.path.join(data_dir, year) # 获取该年份下所有TIFF文件 tiff_files = [f for f in os.listdir(year_dir) if f.endswith('_avg.tif')]

    # 遍历每个TIFF文件
    for tiff_file in tiff_files:
        tif_file_path = os.path.join(year_dir, tiff_file)
    
        if os.path.exists(tif_file_path):
            with rasterio.open(tif_file_path) as src:
                data = src.read(1)  # 读取第一波段数据
                nodata = src.nodata  # 获取缺失值标识符
    
                # 将缺失值替换为 NaN
                cleaned_data = np.where(data == nodata, np.nan, data)
    
                # 更新全局最大值和最小值
                file_min = np.nanmin(cleaned_data)
                file_max = np.nanmax(cleaned_data)
                global_min = min(global_min, file_min)
                global_max = max(global_max, file_max)
    
                # 检查数据是否超出合理范围,并打印异常值
                invalid_mask = (cleaned_data < min_valid_temp) | (
                    cleaned_data > max_valid_temp)
                if np.any(invalid_mask):
                    # 找到异常值的坐标并立即打印
                    invalid_coords = np.argwhere(invalid_mask)
                    for row, col in invalid_coords:
                        print(
                            f"文件: {tiff_file}, 年份: {year}, 行: {row}, 列: {col}, 异常值: {cleaned_data[row, col]}")
    

    输出全局最大值和最小值

    print(f"全局最小值: {global_min}") print(f"全局最大值: {global_max}")

    %% [markdown]

    ## 变量读取

    %%

    import matplotlib.pyplot as plt import numpy as np import netCDF4 as nc from netCDF4 import num2date

    定义NetCDF文件路径

    file_path = r"F:\HuaweiCup\DATA\data3\CHM_PRE_0.25dg_19612022.nc\CHM_PRE_0.25dg_19612022.nc"

    打开NetCDF文件

    dataset = nc.Dataset(file_path, mode='r')

    打印所有的变量名称

    print("文件中的变量有:") print(dataset.variables.keys())

    查看文件中的变量

    precipitation = dataset.variables['pre'][:] # 日降水数据 station_number = dataset.variables['station_number'][:] # 每年每个格点的站点数量

    查看数据的时间维度和地理信息

    time = dataset.variables['time'][:] # 时间维度 latitude = dataset.variables['latitude'][:] # 纬度 longitude = dataset.variables['longitude'][:] # 经度

    获取单位信息(先检查属性是否存在)

    precipitation_units = dataset.variables['pre'].units if 'units' in dataset.variables['pre'].ncattrs( ) else '无单位' station_number_units = dataset.variables['station_number'].units if 'units' in dataset.variables['station_number'].ncattrs( ) else '无单位'

    将时间变量转换为日期

    time_values = dataset.variables['time'][:] time_units = dataset.variables['time'].units

    使用 num2date 将时间转换为日期格式

    dates = num2date(time_values, units=time_units)

    打印前几个时间点对应的日期

    print("前5个时间点对应的日期:", dates[:5])

    打印基本信息

    print(f"降水数据形状: {precipitation.shape}") print(f"站点数量数据形状: {station_number.shape}") print(f"纬度范围: {latitude.min()}°N 至 {latitude.max()}°N") print(f"经度范围: {longitude.min()}°E 至 {longitude.max()}°E") print(f"降水量单位: {precipitation_units}") print(f"站点数量单位: {station_number_units}")

    缺失值标识符

    missing_value = -99.9

    将缺失值标记为 NaN

    precipitation_cleaned = np.where( precipitation == missing_value, np.nan, precipitation)

    计算有效数据点总数(去除缺失值)

    valid_data_points = np.count_nonzero(~np.isnan(precipitation_cleaned))

    打印有效数据点总数

    print(f"有效数据点总数(去除缺失值): {valid_data_points}")

    打印前20个时间点的降水数据(假设第一个维度是时间)

    print("\n前20个时间点的降水数据:") print(precipitation[:20, :, :]) # 打印前20天的降水数据,纬度和经度维度保留全部

    关闭数据集

    dataset.close()

    %% [markdown]

    ## 特定一天

    %%

    设置中文字体支持

    plt.rcParams['font.sans-serif'] = ['SimHei'] # 指定中文字体 plt.rcParams['axes.unicode_minus'] = False # 解决坐标轴负号显示问题

    定义NetCDF文件路径

    file_path = r"F:\HuaweiCup\DATA\data3\CHM_PRE_0.25dg_19612022.nc\CHM_PRE_0.25dg_19612022.nc"

    打开NetCDF文件

    dataset = nc.Dataset(file_path, mode='r')

    获取数据

    precipitation = dataset.variables['pre'][:] # 日降水数据 latitude = dataset.variables['latitude'][:] # 纬度 longitude = dataset.variables['longitude'][:] # 经度 time = dataset.variables['time'][:] # 时间维度

    missing_value = -99.9 # 如果没有找到指定的标识符,使用默认值

    将缺失值设为 NaN

    precipitation = np.where(precipitation == missing_value, np.nan, precipitation)

    绘制第一个时间点的降水分布

    plt.figure(figsize=(10, 6)) draw_deta = 1

    使用第一个时间点的数据进行绘图

    precipitation_at_time_0 = precipitation[draw_deta, :, :] # 选择时间维度为0的数据

    绘制降水量的等高线图

    plt.contourf(longitude, latitude, precipitation_at_time_0, cmap='Blues', levels=20)

    添加颜色条

    plt.colorbar(label='降水量 (mm/day)')

    设置图表标题和标签

    plt.title(f"第{draw_deta}时间点的降水量分布", fontsize=16) plt.xlabel("经度", fontsize=12) plt.ylabel("纬度", fontsize=12)

    显示图像

    plt.show()

    关闭数据集

    dataset.close()

    %% [markdown]

    ## 平均

    %%

    设置中文字体支持

    plt.rcParams['font.sans-serif'] = ['SimHei'] # 指定中文字体 plt.rcParams['axes.unicode_minus'] = False # 解决坐标轴负号显示问题

    定义NetCDF文件路径

    file_path = r"F:\HuaweiCup\DATA\data3\CHM_PRE_0.25dg_19612022.nc\CHM_PRE_0.25dg_19612022.nc"

    打开NetCDF文件

    dataset = nc.Dataset(file_path, mode='r')

    获取数据

    precipitation = dataset.variables['pre'][:] # 日降水数据 latitude = dataset.variables['latitude'][:] # 纬度 longitude = dataset.variables['longitude'][:] # 经度

    缺失值标识符

    missing_value = -99.9

    将缺失值设为 NaN

    precipitation = np.where(precipitation == missing_value, np.nan, precipitation)

    对时间维度进行平均,保持空间维度不变

    precipitation_mean = np.nanmean(precipitation, axis=0) # 对时间维度(axis=0)求平均

    检查计算结果,确保没有负值

    precipitation_mean = np.where( precipitation_mean < 0, 0, precipitation_mean) # 将负值设为0

    检查平均值的范围

    print( f"降水平均值最大值: {np.nanmax(precipitation_mean)}, 最小值: {np.nanmin(precipitation_mean)}")

    绘制平均降水量分布

    plt.figure(figsize=(10, 6)) plt.contourf(longitude, latitude, precipitation_mean, cmap='Blues', levels=20, vmin=0, vmax=10) # 数据截断 plt.colorbar(label='平均降水量 (mm/day)') plt.title("观测点时间维度上的平均降水量分布", fontsize=16) plt.xlabel("经度", fontsize=12) plt.ylabel("纬度", fontsize=12)

    显示图像

    plt.show()

    关闭数据集

    dataset.close()

    %%

    设置中文字体支持

    plt.rcParams['font.sans-serif'] = ['SimHei'] # 指定中文字体 plt.rcParams['axes.unicode_minus'] = False # 解决坐标轴负号显示问题

    定义NetCDF文件路径

    file_path = r"F:\HuaweiCup\DATA\data3\CHM_PRE_0.25dg_19612022.nc\CHM_PRE_0.25dg_19612022.nc"

    打开NetCDF文件

    dataset = nc.Dataset(file_path, mode='r')

    获取数据

    precipitation = dataset.variables['pre'][:] # 日降水数据 latitude = dataset.variables['latitude'][:] # 纬度 longitude = dataset.variables['longitude'][:] # 经度

    缺失值标识符

    missing_value = -99.9

    将缺失值设为 NaN

    precipitation = np.where(precipitation == missing_value, np.nan, precipitation)

    对时间维度进行方差计算,保持空间维度不变

    precipitation_variance = np.nanvar(precipitation, axis=0) # 对时间维度(axis=0)求方差

    检查方差的范围

    print( f"降水方差最大值: {np.nanmax(precipitation_variance)}, 最小值: {np.nanmin(precipitation_variance)}")

    绘制降水方差分布,截断方差图在500

    plt.figure(figsize=(10, 6)) plt.contourf(longitude, latitude, precipitation_variance, cmap='Blues', levels=20, vmin=0, vmax=500) # 数据截断 plt.colorbar(label='降水量方差 (mm^2/day)') plt.title("观测点时间维度上的降水量方差分布", fontsize=16) plt.xlabel("经度", fontsize=12) plt.ylabel("纬度", fontsize=12)

    显示图像

    plt.show()

    关闭数据集

    dataset.close()

    %% [markdown]

    ## 检查

    %%

    定义NetCDF文件路径

    file_path = r"F:\HuaweiCup\DATA\data3\CHM_PRE_0.25dg_19612022.nc\CHM_PRE_0.25dg_19612022.nc"

    打开NetCDF文件

    dataset = nc.Dataset(file_path, mode='r')

    获取数据

    precipitation = dataset.variables['pre'][:] # 日降水数据 latitude = dataset.variables['latitude'][:] # 纬度 longitude = dataset.variables['longitude'][:] # 经度

    缺失值标识符

    missing_value = -99.9

    将缺失值设为 NaN

    precipitation = np.where(precipitation == missing_value, np.nan, precipitation)

    初始化全局最小值和最大值

    global_min = np.nanmin(precipitation) global_max = np.nanmax(precipitation)

    合理的降水量范围

    min_valid_precip = 0 max_valid_precip = 500

    检查并打印异常值

    invalid_mask = (precipitation < min_valid_precip) | ( precipitation > max_valid_precip) if np.any(invalid_mask): invalid_coords = np.argwhere(invalid_mask) for coord in invalid_coords: time_idx, lat_idx, lon_idx = coord print( f"异常值位置: 时间索引={time_idx}, 纬度索引={lat_idx}, 经度索引={lon_idx}, 值={precipitation[time_idx, lat_idx, lon_idx]}")

    输出全局最大值和最小值

    print(f"全局最小值: {global_min}") print(f"全局最大值: {global_max}")

    关闭数据集

    dataset.close()

    %% [markdown]

    ## 土地利用

    耕地(cropland)

    森林(forest)

    草地(grass)

    灌木丛(shrub)

    湿地(wetland)

    %%

    import matplotlib.pyplot as plt import os import rasterio import numpy as np

    定义数据根目录

    data_dir = r"F:\HuaweiCup\DATA\data4\data"

    初始化总有效数据点数

    total_valid_pixels = 0

    遍历数据文件夹中的所有 TIFF 文件

    for root, dirs, files in os.walk(data_dir): for file in files: if file.endswith(".tif"): tif_file_path = os.path.join(root, file) with rasterio.open(tif_file_path) as src: # 获取文件的元数据信息 bounds = src.bounds # 获取边界(经纬度范围) transform = src.transform # 获取仿射变换矩阵 crs = src.crs # 获取坐标参考系统 width, height = src.width, src.height # 获取图像的宽度和高度(像素) count = src.count # 波段数量 dtype = src.dtypes[0] # 获取数据类型(例如 float32、int16 等)

                # 获取经纬度分辨率
                res = (transform[0], abs(transform[4]))
    
                # 读取数据并统计有效值
                data = src.read(1)  # 读取第一波段数据
                nodata = src.nodata  # 获取缺失值标识符
    
                # 将缺失值替换为 NaN
                if nodata is not None:
                    data = np.where(data == nodata, np.nan, data)
    
                # 计算该文件的有效数据点数
                valid_pixels = np.count_nonzero(~np.isnan(data))
    
                # 累积到总有效数据点数
                total_valid_pixels += valid_pixels
    
                # 输出每个文件的基本信息
                print(f"处理文件: {file}")
                print(f"图像宽度(像素数): {width}, 高度(像素数): {height}")
                print(f"分辨率(经度, 纬度): {res}")
                print(f"地理范围(左, 下, 右, 上): {bounds}")
                print(f"有效数据点数: {valid_pixels}\n")
    

    最终输出总有效数据点数

    print(f"文件夹中所有TIFF文件的总有效数据点数: {total_valid_pixels}")

    %% [markdown]

    ## 选择类型年份

    %%

    设置中文字体支持

    plt.rcParams['font.sans-serif'] = ['SimHei'] # 指定中文字体 plt.rcParams['axes.unicode_minus'] = False # 解决坐标轴负号显示问题

    定义数据根目录

    data_dir = r"F:\HuaweiCup\DATA\data4\data"

    可供选择的土地覆被类型和年份

    cover_types = { '耕地': 'cropland', '森林': 'forest', '草地': 'grass', '灌木丛': 'shrub', '湿地': 'wetland' }

    years = [str(year) for year in range(1900, 2020)]

    def plot_land_cover(cover_type, year): # 根据类型和年份生成文件路径 tif_file = os.path.join(data_dir, f"{cover_type}-{year}.tif")

    if not os.path.exists(tif_file):
        print(f"文件 {tif_file} 不存在,请检查输入是否正确")
        return
    
    # 打开并读取 TIFF 文件
    with rasterio.open(tif_file) as src:
        data = src.read(1)  # 读取第一波段的数据
        bounds = src.bounds  # 获取图像的边界
    
    # 确定图像的显示范围(extent)以匹配地理坐标
    extent = [bounds.left, bounds.right, bounds.bottom, bounds.top]
    
    # 绘制数据
    plt.figure(figsize=(10, 8))
    plt.imshow(data, cmap='viridis', extent=extent)
    plt.colorbar(label="土地利用类型比例")
    plt.title(f"{year}年{selected_type}分布", fontsize=16)
    plt.xlabel("经度", fontsize=12)
    plt.ylabel("纬度", fontsize=12)
    plt.xticks(range(int(bounds.left), int(bounds.right) + 1, 10))  # 离散化经度轴
    plt.yticks(range(int(bounds.bottom), int(bounds.top) + 1, 5))   # 离散化纬度轴
    plt.show()
    

    用户输入选择

    selected_type = '森林' # 选择 '耕地', '森林', '草地', '灌木丛', '湿地' 中之一 selected_year = '1956' # 选择可用年份,如 '1900', '1950', '2000'

    调用绘图函数

    plot_land_cover(cover_types[selected_type], selected_year)

    %% [markdown]

    cmap='Greys':灰度色

    cmap='Blues':蓝色系

    cmap='Reds':红色系

    cmap='YlOrRd':从黄色到橙色再到红色

    cmap='plasma':紫红色系

    cmap='magma':深橙色系

    %%

    设置中文字体支持

    plt.rcParams['font.sans-serif'] = ['SimHei'] # 指定中文字体 plt.rcParams['axes.unicode_minus'] = False # 解决坐标轴负号显示问题

    定义数据根目录

    data_dir = r"F:\HuaweiCup\DATA\data4\data"

    可供选择的土地覆被类型和年份

    cover_types = { '耕地': 'cropland', '森林': 'forest', '草地': 'grass', '灌木丛': 'shrub', '湿地': 'wetland' }

    years = [str(year) for year in range(1900, 2020)]

    def plot_land_cover(cover_type, year): # 根据类型和年份生成文件路径 tif_file = os.path.join(data_dir, f"{cover_type}-{year}.tif")

    if not os.path.exists(tif_file):
        print(f"文件 {tif_file} 不存在,请检查输入是否正确")
        return
    
    # 打开并读取 TIFF 文件
    with rasterio.open(tif_file) as src:
        data = src.read(1)  # 读取第一波段的数据
        nodata = src.nodata  # 获取缺失值标识符(如果存在)
        bounds = src.bounds  # 获取图像的边界
    
    # 处理缺失值,将 nodata 值替换为 NaN
    if nodata is not None:
        data = np.where(data == nodata, np.nan, data)
    
    # 确定图像的显示范围(extent)以匹配地理坐标
    extent = [bounds.left, bounds.right, bounds.bottom, bounds.top]
    
    # 设置颜色映射,并将 NaN 值设置为白色
    cmap = plt.cm.Blues  # 修改颜色映射
    cmap.set_bad(color='white')  # 将 NaN 设置为白色
    
    # 绘制数据
    plt.figure(figsize=(10, 8))
    plt.imshow(data, cmap=cmap, extent=extent)
    plt.colorbar(label="土地利用类型比例")
    plt.title(f"{year}年{selected_type}分布", fontsize=16)
    plt.xlabel("经度", fontsize=12)
    plt.ylabel("纬度", fontsize=12)
    plt.xticks(range(int(bounds.left), int(bounds.right) + 1, 10))  # 离散化经度轴
    plt.yticks(range(int(bounds.bottom), int(bounds.top) + 1, 5))   # 离散化纬度轴
    plt.show()
    

    用户输入选择

    selected_type = '森林' # 选择 '耕地', '森林', '草地', '灌木丛', '湿地' 中之一 selected_year = '1956' # 选择可用年份,如 '1900', '1950', '2000'

    调用绘图函数

    plot_land_cover(cover_types[selected_type], selected_year)

    %% [markdown]

    ## 五个 年平均

    %%

    设置中文字体支持

    plt.rcParams['font.sans-serif'] = ['SimHei'] # 指定中文字体 plt.rcParams['axes.unicode_minus'] = False # 解决坐标轴负号显示问题

    定义数据根目录

    data_dir = r"F:\HuaweiCup\DATA\data4\data"

    可供选择的土地覆被类型和年份

    cover_types = { '耕地': 'cropland', '森林': 'forest', '草地': 'grass', '灌木丛': 'shrub', '湿地': 'wetland' }

    定义每种土地覆盖类型的颜色映射

    colormaps = { '耕地': plt.cm.Reds, # 使用红色调 '森林': plt.cm.Greens, # 使用绿色调 '草地': plt.cm.Oranges, # 使用橙色调 '灌木丛': plt.cm.Purples, # 使用紫色调 '湿地': plt.cm.Blues # 使用蓝色调 }

    def average_land_cover(cover_type, start_year, end_year, cmap): total_data = None count = 0

    for year in range(start_year, end_year + 1):
        tif_file = os.path.join(data_dir, f"{cover_type}-{year}.tif")
    
        if not os.path.exists(tif_file):
            print(f"文件 {tif_file} 不存在,跳过 {year}")
            continue
    
        # 打开并读取 TIFF 文件
        with rasterio.open(tif_file) as src:
            data = src.read(1)  # 读取第一波段的数据
            nodata = src.nodata  # 获取缺失值标识符(如果存在)
            bounds = src.bounds  # 获取图像的边界
    
        # 处理缺失值,将 nodata 值替换为 NaN
        if nodata is not None:
            data = np.where(data == nodata, np.nan, data)
    
        # 初始化总数据数组
        if total_data is None:
            total_data = np.zeros_like(data, dtype=np.float32)
    
        # 累加每年的数据
        total_data = np.nansum([total_data, data], axis=0)
        count += 1
    
    # 计算平均值
    average_data = total_data / count if count > 0 else None
    
    # 绘制平均数据
    if average_data is not None:
        extent = [bounds.left, bounds.right, bounds.bottom, bounds.top]
        cmap.set_bad(color='white')  # 将 NaN 设置为白色
    
        plt.figure(figsize=(10, 8))
        plt.imshow(average_data, cmap=cmap, extent=extent)
        plt.colorbar(label="土地利用类型比例")
        plt.title(
            f"{start_year}至{end_year}年{cover_types_count}的平均分布", fontsize=16)
        plt.xlabel("经度", fontsize=12)
        plt.ylabel("纬度", fontsize=12)
        plt.xticks(range(int(bounds.left), int(
            bounds.right) + 1, 10))  # 离散化经度轴
        plt.yticks(range(int(bounds.bottom), int(
            bounds.top) + 1, 5))   # 离散化纬度轴
        plt.show()
    

    用户输入选择

    start_year = 1900 # 起始年份 end_year = 2019 # 结束年份

    调用计算并绘图函数,为每种土地类型使用不同的颜色映射

    for cover_types_count in cover_types: average_land_cover(cover_types[cover_types_count], start_year, end_year, colormaps[cover_types_count])

    %%

    设置中文字体支持

    plt.rcParams['font.sans-serif'] = ['SimHei'] # 指定中文字体 plt.rcParams['axes.unicode_minus'] = False # 解决坐标轴负号显示问题

    定义数据根目录

    data_dir = r"F:\HuaweiCup\DATA\data4\data"

    定义土地覆被类型及其对应的英文名称

    cover_types = { '耕地': 'cropland', '森林': 'forest', '草地': 'grass', '灌木丛': 'shrub', '湿地': 'wetland' }

    定义每种土地覆盖类型的颜色

    colors = { '耕地': 'red', '森林': 'green', '草地': 'orange', '灌木丛': 'purple', '湿地': 'blue' }

    定义年份范围

    start_year = 1990 end_year = 2019 years = list(range(start_year, end_year + 1))

    初始化一个字典,用于存储每种类型每年的面积比例

    proportion_data = {cover_type: [] for cover_type in cover_types.keys()}

    假设每个像素代表的面积(例如,1平方公里)

    pixel_area = 1 # 根据实际情况修改

    遍历每个年份

    for year in years: print(f"--------------------------------------------------") print(f"正在处理年份: {year}") yearly_areas = {} for cn_type, en_type in cover_types.items(): tif_file = os.path.join(data_dir, f"{en_type}-{year}.tif")

        if not os.path.exists(tif_file):
            print(f"文件 {tif_file} 不存在,跳过 {year} 年的 {cn_type}")
            yearly_areas[cn_type] = 0  # 缺失数据视为0
            continue
    
        try:
            # 打开并读取 TIFF 文件
            with rasterio.open(tif_file) as src:
                data = src.read(1)  # 读取第一波段的数据
                nodata = src.nodata  # 获取缺失值标识符(如果存在)
    
                # 处理缺失值,将 nodata 值替换为 NaN
                if nodata is not None:
                    data = np.where(data == nodata, np.nan, data)
    
                # 确认数据的唯一值
                unique_values = np.unique(data[~np.isnan(data)])
                print(f"{cn_type} - {year}年数据唯一值: {unique_values}")
    
                # 累加所有像素的覆盖比例
                sum_pixels = np.nansum(data)
    
                # 计算总面积
                total_area = sum_pixels * pixel_area
    
                yearly_areas[cn_type] = total_area
                print(
                    f"{cn_type} - {year}年有效面积: {total_area:.4f} (覆盖比例总和: {sum_pixels:.4f})")
        except Exception as e:
            print(f"处理文件 {tif_file} 时出错: {e}")
            yearly_areas[cn_type] = 0  # 出错数据视为0
    
    # 计算总面积
    total_yearly_area = sum(yearly_areas.values())
    print(f"{year}年总面积: {total_yearly_area:.4f}")
    
    if total_yearly_area == 0:
        print(f"年份 {year} 的总面积为0,所有比例设置为0")
        for cn_type in cover_types.keys():
            proportion_data[cn_type].append(0)
    else:
        # 计算每种类型的比例并存储
        for cn_type in cover_types.keys():
            proportion = yearly_areas[cn_type] / total_yearly_area
            proportion_data[cn_type].append(proportion)
            print(f"{cn_type} - {year}年比例: {proportion:.4f}")
    
    print("-" * 50)  # 分隔线
    

    检查是否有比例数据非零

    for cn_type in cover_types.keys(): non_zero = [p for p in proportion_data[cn_type] if p > 0] print(f"{cn_type} 有 {len(non_zero)} 个年份的比例大于0")

    绘制折线图

    plt.figure(figsize=(14, 8))

    for cn_type in cover_types.keys(): plt.plot(years, proportion_data[cn_type], label=cn_type, color=colors[cn_type])

    plt.xlabel("年份", fontsize=14) plt.ylabel("土地覆盖类型比例", fontsize=14) plt.title("1990年至2019年五种土地覆盖类型变化趋势", fontsize=16) plt.legend(fontsize=12) plt.ylim(0, 1) # 设置纵轴范围为0到1 plt.grid(True) plt.tight_layout() plt.show()

  2. Assistant

    %% [markdown]

    ## 数据集5和数据集6的读取、预处理和整理到DataFrame

    %%

    import os import rasterio import numpy as np import pandas as pd import matplotlib.pyplot as plt

    设置中文字体支持

    plt.rcParams['font.sans-serif'] = ['SimHei'] # 设置字体为SimHei显示中文 plt.rcParams['axes.unicode_minus'] = False # 解决坐标轴负号显示问题

    定义数据集5和数据集6的根目录

    data5_dir = r"F:\HuaweiCup\DATA\data5\pop_output" data6_dir = r"F:\HuaweiCup\DATA\data6\GDP_output"

    定义年份范围

    years = range(1990, 2016)

    %%

    定义一个函数用于读取每年的GeoTIFF文件,并转换为DataFrame

    def read_geotiff_to_dataframe(data_dir, file_prefix): data_frames = [] # 用于存储每一年的DataFrame for year in years: year_str = str(year) # 构建.tif文件的路径 tif_file = os.path.join(data_dir, f"{file_prefix}{year_str}", f"{file_prefix}{year_str}.tif") if not os.path.exists(tif_file): print(f"文件 {tif_file} 不存在,跳过该年份。") continue

        with rasterio.open(tif_file) as src:
            # 读取数据
            data = src.read(1)  # 读取第一波段的数据
            nodata = src.nodata  # 获取缺失值标识符(如果存在)
            bounds = src.bounds  # 获取图像的边界
            transform = src.transform  # 获取仿射变换,用于像素坐标到地理坐标的转换
    
            # 处理缺失值,将 nodata 值替换为 NaN
            if nodata is not None:
                data = np.where(data == nodata, np.nan, data)
            
            # 获取行列索引
            row_indices, col_indices = np.indices(data.shape)
            # 将行列索引转换为地理坐标(经度和纬度)
            xs, ys = rasterio.transform.xy(transform, row_indices, col_indices)
            lons = np.array(xs)
            lats = np.array(ys)
            # 将数据展开为一维数组
            data_flat = data.flatten()
            lons_flat = lons.flatten()
            lats_flat = lats.flatten()
            # 构建DataFrame
            df = pd.DataFrame({
                'Longitude': lons_flat,
                'Latitude': lats_flat,
                'Value': data_flat
            })
            # 添加年份信息
            df['Year'] = year
            # 删除Value为NaN的行(即缺失值)
            df = df.dropna(subset=['Value'])
            data_frames.append(df)
            print(f"年份 {year} 的数据已读取,共有 {len(df)} 条有效数据。")
    # 将所有年份的DataFrame合并
    full_data = pd.concat(data_frames, ignore_index=True)
    return full_data
    

    %% [markdown]

    ### 读取人口数据集(数据集5)

    %%

    读取人口数据

    pop_data = read_geotiff_to_dataframe(data5_dir, 'pop')

    查看数据

    print("人口数据集样例:") print(pop_data.head())

    %% [markdown]

    ### 读取GDP数据集(数据集6)

    %%

    读取GDP数据

    gdp_data = read_geotiff_to_dataframe(data6_dir, 'gdp')

    查看数据

    print("GDP数据集样例:") print(gdp_data.head())

    %% [markdown]

    ### 合并人口和GDP数据

    %%

    合并人口和GDP数据,根据经度、纬度和年份进行合并

    merged_data = pd.merge(pop_data, gdp_data, on=['Longitude', 'Latitude', 'Year'], how='outer', suffixes=('_Pop', '_GDP'))

    查看合并后的数据

    print("合并后数据集样例:") print(merged_data.head())

    %% [markdown]

    ### 数据可视化

    %%

    选择特定年份进行绘图,例如2000年

    selected_year = 2000

    提取该年份的人口和GDP数据

    pop_year_data = pop_data[pop_data['Year'] == selected_year] gdp_year_data = gdp_data[gdp_data['Year'] == selected_year]

    绘制人口数据的空间分布

    plt.figure(figsize=(10, 8)) plt.scatter(pop_year_data['Longitude'], pop_year_data['Latitude'], c=pop_year_data['Value'], cmap='YlOrRd', s=1) plt.colorbar(label='人口数量') plt.title(f"{selected_year}年中国人口分布") plt.xlabel('经度') plt.ylabel('纬度') plt.show()

    绘制GDP数据的空间分布

    plt.figure(figsize=(10, 8)) plt.scatter(gdp_year_data['Longitude'], gdp_year_data['Latitude'], c=gdp_year_data['Value'], cmap='Blues', s=1) plt.colorbar(label='GDP(万元)') plt.title(f"{selected_year}年中国GDP分布") plt.xlabel('经度') plt.ylabel('纬度') plt.show()

    %% [markdown]

    ### 数据统计分析

    %%

    按年份统计总人口和GDP

    total_pop = pop_data.groupby('Year')['Value'].sum().reset_index(name='Total_Population') total_gdp = gdp_data.groupby('Year')['Value'].sum().reset_index(name='Total_GDP')

    合并总人口和GDP数据

    total_data = pd.merge(total_pop, total_gdp, on='Year')

    绘制1990年至2015年总人口和GDP的变化趋势

    fig, ax1 = plt.subplots(figsize=(12, 6))

    ax1.plot(total_data['Year'], total_data['Total_Population'], 'g-') ax1.set_xlabel('年份') ax1.set_ylabel('总人口', color='g') ax1.tick_params('y', colors='g')

    ax2 = ax1.twinx() ax2.plot(total_data['Year'], total_data['Total_GDP'], 'b-') ax2.set_ylabel('总GDP', color='b') ax2.tick_params('y', colors='b')

    plt.title('1990年至2015年中国总人口和总GDP变化趋势') plt.show()

    %% [markdown]

    ### 保存数据到CSV文件

    %%

    保存合并后的数据到CSV文件

    output_csv = 'China_Population_GDP_1990_2015.csv' merged_data.to_csv(output_csv, index=False) print(f"合并后的数据已保存到 {output_csv}")

    %% [markdown]

    ### 小结

    在上述代码中,我们完成了以下任务:

    1. 读取人口和GDP的GeoTIFF文件:通过定义 read_geotiff_to_dataframe 函数,读取每年的GeoTIFF文件,将栅格数据转换为DataFrame格式,并处理缺失值。

    2. 数据合并:将人口和GDP数据按照经度、纬度和年份进行合并,得到包含人口和GDP信息的综合数据集。

    3. 数据可视化:选择特定年份,绘制人口和GDP的空间分布图,直观地展示数据。

    4. 数据统计分析:计算每年总人口和总GDP,绘制1990年至2015年的变化趋势图。

    5. 数据保存:将合并后的数据保存为CSV文件,便于后续分析和使用。

    %% [markdown]

    ### 注意事项

    - 确保GeoTIFF文件的路径和名称正确,如果文件不存在,代码会跳过该年份的数据。

    - 栅格数据的处理需要注意内存占用,对于高分辨率、大范围的数据,可能需要考虑分块处理或在更高性能的计算环境下运行。

    %% [markdown]

    ## 结论

    通过以上步骤,我们成功地读取和处理了数据集5和数据集6,将它们整理为DataFrame格式的数据。同时,我们进行了基本的可视化和统计分析,为进一步的研究和模型构建奠定了数据基础。

    Answer

    请按照以下步骤,读取、预处理和整理数据集5和数据集6。

    %% [markdown]

    ## 数据集5和数据集6的读取、预处理和整理到DataFrame

    %%

    import os import rasterio import numpy as np import pandas as pd import matplotlib.pyplot as plt

    设置中文字体支持

    plt.rcParams['font.sans-serif'] = ['SimHei'] # 设置字体为SimHei显示中文 plt.rcParams['axes.unicode_minus'] = False # 解决坐标轴负号显示问题

    定义数据集5和数据集6的根目录

    data5_dir = r"F:\HuaweiCup\DATA\data5\pop_output" data6_dir = r"F:\HuaweiCup\DATA\data6\GDP_output"

    定义年份范围

    years = range(1990, 2016)

    %%

    定义一个函数用于读取每年的GeoTIFF文件,并转换为DataFrame

    def read_geotiff_to_dataframe(data_dir, file_prefix): data_frames = [] # 用于存储每一年的DataFrame for year in years: year_str = str(year) # 构建.tif文件的路径 tif_file = os.path.join(data_dir, f"{file_prefix}{year_str}", f"{file_prefix}{year_str}.tif") if not os.path.exists(tif_file): print(f"文件 {tif_file} 不存在,跳过该年份。") continue

        with rasterio.open(tif_file) as src:
            # 读取数据
            data = src.read(1)  # 读取第一波段的数据
            nodata = src.nodata  # 获取缺失值标识符(如果存在)
            bounds = src.bounds  # 获取图像的边界
            transform = src.transform  # 获取仿射变换,用于像素坐标到地理坐标的转换
    
            # 处理缺失值,将 nodata 值替换为 NaN
            if nodata is not None:
                data = np.where(data == nodata, np.nan, data)
            
            # 获取行列索引
            row_indices, col_indices = np.indices(data.shape)
            # 将行列索引转换为地理坐标(经度和纬度)
            xs, ys = rasterio.transform.xy(transform, row_indices, col_indices)
            lons = np.array(xs)
            lats = np.array(ys)
            # 将数据展开为一维数组
            data_flat = data.flatten()
            lons_flat = lons.flatten()
            lats_flat = lats.flatten()
            # 构建DataFrame
            df = pd.DataFrame({
                'Longitude': lons_flat,
                'Latitude': lats_flat,
                'Value': data_flat
            })
            # 添加年份信息
            df['Year'] = year
            # 删除Value为NaN的行(即缺失值)
            df = df.dropna(subset=['Value'])
            data_frames.append(df)
            print(f"年份 {year} 的数据已读取,共有 {len(df)} 条有效数据。")
    # 将所有年份的DataFrame合并
    full_data = pd.concat(data_frames, ignore_index=True)
    return full_data
    

    %% [markdown]

    ### 读取人口数据集(数据集5)

    %%

    读取人口数据

    pop_data = read_geotiff_to_dataframe(data5_dir, 'pop')

    查看数据

    print("人口数据集样例:") print(pop_data.head())

    %% [markdown]

    ### 读取GDP数据集(数据集6)

    %%

    读取GDP数据

    gdp_data = read_geotiff_to_dataframe(data6_dir, 'gdp')

    查看数据

    print("GDP数据集样例:") print(gdp_data.head())

    %% [markdown]

    ### 合并人口和GDP数据

    %%

    合并人口和GDP数据,根据经度、纬度和年份进行合并

    merged_data = pd.merge(pop_data, gdp_data, on=['Longitude', 'Latitude', 'Year'], how='outer', suffixes=('_Pop', '_GDP'))

    查看合并后的数据

    print("合并后数据集样例:") print(merged_data.head())

    %% [markdown]

    ### 数据可视化

    %%

    选择特定年份进行绘图,例如2000年

    selected_year = 2000

    提取该年份的人口和GDP数据

    pop_year_data = pop_data[pop_data['Year'] == selected_year] gdp_year_data = gdp_data[gdp_data['Year'] == selected_year]

    绘制人口数据的空间分布

    plt.figure(figsize=(10, 8)) plt.scatter(pop_year_data['Longitude'], pop_year_data['Latitude'], c=pop_year_data['Value'], cmap='YlOrRd', s=1) plt.colorbar(label='人口数量') plt.title(f"{selected_year}年中国人口分布") plt.xlabel('经度') plt.ylabel('纬度') plt.show()

    绘制GDP数据的空间分布

    plt.figure(figsize=(10, 8)) plt.scatter(gdp_year_data['Longitude'], gdp_year_data['Latitude'], c=gdp_year_data['Value'], cmap='Blues', s=1) plt.colorbar(label='GDP(万元)') plt.title(f"{selected_year}年中国GDP分布") plt.xlabel('经度') plt.ylabel('纬度') plt.show()

    %% [markdown]

    ### 数据统计分析

    %%

    按年份统计总人口和GDP

    total_pop = pop_data.groupby('Year')['Value'].sum().reset_index(name='Total_Population') total_gdp = gdp_data.groupby('Year')['Value'].sum().reset_index(name='Total_GDP')

    合并总人口和GDP数据

    total_data = pd.merge(total_pop, total_gdp, on='Year')

    绘制1990年至2015年总人口和GDP的变化趋势

    fig, ax1 = plt.subplots(figsize=(12, 6))

    ax1.plot(total_data['Year'], total_data['Total_Population'], 'g-') ax1.set_xlabel('年份') ax1.set_ylabel('总人口', color='g') ax1.tick_params('y', colors='g')

    ax2 = ax1.twinx() ax2.plot(total_data['Year'], total_data['Total_GDP'], 'b-') ax2.set_ylabel('总GDP', color='b') ax2.tick_params('y', colors='b')

    plt.title('1990年至2015年中国总人口和总GDP变化趋势') plt.show()

    %% [markdown]

    ### 保存数据到CSV文件

    %%

    保存合并后的数据到CSV文件

    output_csv = 'China_Population_GDP_1990_2015.csv' merged_data.to_csv(output_csv, index=False) print(f"合并后的数据已保存到 {output_csv}")

    %% [markdown]

    ### 小结

    在上述代码中,我们完成了以下任务:

    1. 读取人口和GDP的GeoTIFF文件:通过定义 read_geotiff_to_dataframe 函数,读取每年的GeoTIFF文件,将栅格数据转换为DataFrame格式,并处理缺失值。

    2. 数据合并:将人口和GDP数据按照经度、纬度和年份进行合并,得到包含人口和GDP信息的综合数据集。

    3. 数据可视化:选择特定年份,绘制人口和GDP的空间分布图,直观地展示数据。

    4. 数据统计分析:计算每年总人口和总GDP,绘制1990年至2015年的变化趋势图。

    5. 数据保存:将合并后的数据保存为CSV文件,便于后续分析和使用。

    %% [markdown]

    ### 注意事项

    - 确保GeoTIFF文件的路径和名称正确,如果文件不存在,代码会跳过该年份的数据。

    - 栅格数据的处理需要注意内存占用,对于高分辨率、大范围的数据,可能需要考虑分块处理或在更高性能的计算环境下运行。

    %% [markdown]

    ## 结论

    通过以上步骤,我们成功地读取和处理了数据集5和数据集6,将它们整理为DataFrame格式的数据。同时,我们进行了基本的可视化和统计分析,为进一步的研究和模型构建奠定了数据基础。