import os from src.eval_metrics import * from src.utils import * import shap import…
- User
import os from src.eval_metrics import * from src.utils import * import shap import numpy as np import matplotlib.pyplot as plt from torch.cuda.amp import autocast import torch.nn.functional as F import torch.nn as nn import torch
def shap_visual(hyp_params, train_data, test_data, test_loader): model = load_model(hyp_params, name=hyp_params.name) model.eval()
# 定义一个包装模型,添加 softmax 层 class SoftmaxModel(nn.Module): def __init__(self, model): super(SoftmaxModel, self).__init__() self.model = model def forward(self, m1, m2, m3, m4): logits = self.model(m1, m2, m3, m4)[0] return F.softmax(logits, dim=-1) # 添加 softmax 激活 softmax_model = SoftmaxModel(model) # 使用训练集的一部分作为 SHAP 的参考背景 X_train, Y_train, meta_train = train_data[:100] m1_train, m2_train, m3_train, m4_train = X_train[1], X_train[2], X_train[3], X_train[4] # 初始化 SHAP GradientExplainer explanier = shap.GradientExplainer( softmax_model, data=[m1_train.cuda(), m2_train.cuda(), m3_train.cuda(), m4_train.cuda()] ) # 测试集(需要解释的样本集合) X_test, Y_test, meta_test = test_data[:] m1_test, m2_test, m3_test, m4_test = X_test[1], X_test[2], X_test[3], X_test[4] # 为测试集计算 SHAP 值 # shap_values_batch 将是一个列表,长度为输入特征数量 (4), # 每个元素包含该输入特征对不同分类输出的贡献 shap_values_batch = explanier.shap_values([m1_test.cuda(), m2_test.cuda(), m3_test.cuda(), m4_test.cuda()]) # 数据结构: # shap_values_batch[i][j] = 对输入 m_i 的 SHAP 值对应类别 j 的贡献 (batch_size, feature_dim_mi) # 合并 SHAP 值:将 4 个输入特征的 SHAP 值在每个类别下合并 num_categories = len(shap_values_batch[0]) # 模型输出的类别数 merged_shap_values = [] # 用于存储每个类别的合并 SHAP 值 for class_idx in range(num_categories): # 遍历类别 class_shap_values = [] # 当前类别的 SHAP 值(输入特征组合并) for feature_group in shap_values_batch: # 遍历 m1, m2, m3, m4 的 SHAP 值 class_shap_values.append(feature_group[class_idx]) # 提取类别 class_idx 的 SHAP 值 # 合并所有特征组的 SHAP 值 class_shap_values = np.concatenate(class_shap_values, axis=-1) # 按最后一维拼接特征 merged_shap_values.append(class_shap_values) # 可视化 SHAP 值 # 根据合并后的 SHAP 值,获取总特征维度 total_feature_dim = merged_shap_values[0].shape[-1] feature_names = [f'Feature_{i+1}' for i in range(total_feature_dim)] # 创建输出文件夹 output_dir = "shap" os.makedirs(output_dir, exist_ok=True) # 按类别生成特征重要性图,直接保存 for class_idx, shap_values in enumerate(merged_shap_values): plt.figure() mean_shap_values = np.mean(np.abs(shap_values), axis=0) # 求特征维度上的绝对值平均,代表该特征的重要性 plt.barh(feature_names, mean_shap_values) plt.xlabel('Mean SHAP Value (Class {})'.format(class_idx)) plt.title('Feature Importance for Class {}'.format(class_idx)) # 保存文件 save_path = os.path.join(output_dir, f'class_{class_idx}_shap.png') plt.savefig(save_path, bbox_inches='tight') plt.close()代码报错 发生异常: ValueError all the input array dimensions except for the concatenation axis must match exactly, but along dimension 0, the array at index 0 has size 700 and the array at index 1 has size 64 File "/media/omnisky/sdb/hrl/Code/Husformer/shap_eval.py", line 59, in shap_visual class_shap_values = np.concatenate(class_shap_values, axis=-1) # 按最后一维拼接特征 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/media/omnisky/sdb/hrl/Code/Husformer/main-4_shap.py", line 108, in shap_test = shap_visual(hyp_params, train_data, test_data, test_loader) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ ValueError: all the input array dimensions except for the concatenation axis must match exactly, but along dimension 0, the array at index 0 has size 700 and the array at index 1 has size 64
- Assistant
从报错来看,问题出现在代码中这一行:
class_shap_values = np.concatenate(class_shap_values, axis=-1) # 按最后一维拼接特征错误的原因是尝试将多个数组通过
np.concatenate拼接时,不同数组在拼接维度之外的维度大小不一致(即它们的形状不匹配)。错误消息中显示了两组输入数组的形状不匹配:- 一个数组的第 0 维是 700。
- 另一个数组的第 0 维是 64。
Debug
-
检查
class_shap_values的结构class_shap_values中每个元素是从shap_values_batch提取的。此时,我们需要检查shap_values_batch的形状:for i, feature_group in enumerate(shap_values_batch): print(f"Feature Group {i} shape: {[x.shape for x in feature_group]}")这可以帮助确认
shap_values_batch的具体结构,输出应显示shap_values_batch中的每个特征组及其对应类别的形状。 -
检查维度不匹配的原因 根据错误,有理由怀疑:
- 不同输入特征组(
m1, m2, m3, m4)的数据大小不一致。 - 或 SHAP 值的计算过程中,某些维度发生变化。
- 不同输入特征组(
假设问题原因
要解决问题,我们需要根据实际应用确定输入特征的大小是否一致。如果不一致,需要统一输入特征的大小。例如:
train_data[:100]使用了训练集的 100 个样本作为参考背景,可能导致输入特征维度不一致。test_data的大小可能与train_data的样本数量不同,可能导致测试集和背景参考集的维度不匹配。
修改方案
-
统一输入特征大小 假设训练集和测试集的特征(
m1, m2, m3, m4)大小不一致,我们需要修正切片操作,确保在 SHAP 中使用的特征维度匹配:# 使用测试集的维度限制背景参考数据的大小 sample_size = test_data[0][1].shape[0] # 参考 test_data 输入数组的第一维 X_train, Y_train, meta_train = train_data[:sample_size] m1_train, m2_train, m3_train, m4_train = X_train[1], X_train[2], X_train[3], X_train[4] -
检查和修复
shap_values_batch数据维度 如果问题仍无法解决,我们可以使用padding或其他方法处理维度不同的数组。例如,找到所有数组的最大维度,并将较小的数组填充到最大维度。max_dim = max(x.shape[0] for x in class_shap_values) class_shap_values_padded = [ np.pad(x, ((0, max_dim - x.shape[0]), (0, 0)), mode='constant') if x.shape[0] < max_dim else x for x in class_shap_values ] class_shap_values = np.concatenate(class_shap_values_padded, axis=-1) -
完整修复后的代码片段 修复后的代码片段如下:
# 保证 m1_train, m2_train, m3_train, m4_train 和 m1_test, m2_test, m3_test, m4_test 的大小一致 sample_size = min(len(train_data[0][1]), len(test_data[0][1])) # 选择最小大小 X_train, Y_train, meta_train = train_data[:sample_size] m1_train, m2_train, m3_train, m4_train = X_train[1], X_train[2], X_train[3], X_train[4] # 检查和修复 shap_values_batch 维度 for class_idx in range(num_categories): # 遍历类别 class_shap_values = [] # 当前类别的 SHAP 值(输入特征组合并) for feature_group in shap_values_batch: # 遍历 m1, m2, m3, m4 的 SHAP 值 class_shap_values.append(feature_group[class_idx]) # 提取类别 class_idx 的 SHAP 值 # 修复维度差异 max_dim = max(x.shape[0] for x in class_shap_values) class_shap_values_padded = [ np.pad(x, ((0, max_dim - x.shape[0]), (0, 0)), mode='constant') if x.shape[0] < max_dim else x for x in class_shap_values ] # 合并所有特征组的 SHAP 值 class_shap_values = np.concatenate(class_shap_values_padded, axis=-1) # 按最后一维拼接特征 merged_shap_values.append(class_shap_values) -
检查最终流程 确保修复完所有维度之后,再尝试运行可视化流程。
总结
问题的核心是
np.concatenate中的数组维度不一致。通过:- 保证输入数据大小一致;
- 对齐
shap_values_batch的维度; 可以解决此问题。通过上述检查和修复,你应该能够让代码正常运行。
- User
因为输入特征形状就是不相同的,所以可以不合并特征组的shap值吗
- Assistant
是的,可以选择不对特征组的 SHAP 值进行合并,而是直接单独可视化每个特征组的 SHAP 值。这种方式不仅能够避免维度问题,还可以清晰地看出每个输入特征组(
m1,m2,m3,m4)对模型解释的重要性。以下是针对你的场景,修改后的代码和解决方法:
修改方案:单独处理每个特征组的 SHAP 值
解决方向
- 不再将各个特征组
m1,m2,m3,m4的 SHAP 值进行合并。 - 单独对每个特征组在每个类别上的 SHAP 值进行可视化分析。
具体实现步骤
- 调整代码结构:保留原始 SHAP 值的层次结构
shap_values_batch本身是按每个特征组划分的 SHAP 值。- 每个特征组已经包含了类别维度。
因此可以直接按照
shap_values_batch的结构,分别对每个特征组进行可视化处理。
修改后代码
以下是改动后的核心代码块:
# 可视化每个特征组的 SHAP 值,而不是合并 # shap_values_batch: len(shap_values_batch) == 特征组数,比如 (m1, m2, m3, m4) # 每个 shap_values_batch[i] 包含模型输出类别数的 SHAP 值 for feature_idx, feature_group in enumerate(shap_values_batch): # 遍历每个特征组 output_dir = "shap/feature_group_{}".format(feature_idx + 1) # 针对每个特征组创建输出目录 os.makedirs(output_dir, exist_ok=True) # 针对每个类别计算和可视化 SHAP 值 for class_idx, shap_values in enumerate(feature_group): # 遍历每个类别 plt.figure() mean_shap_values = np.mean(np.abs(shap_values), axis=0) # 计算特征的重要性(绝对值平均) # 获取当前特征组的维度,生成名称 feature_dim = shap_values.shape[-1] feature_names = [f'Feature_Group{feature_idx + 1}_Dim{i + 1}' for i in range(feature_dim)] # 绘制柱状图 plt.barh(feature_names, mean_shap_values) plt.xlabel('Mean SHAP Value (Class {})'.format(class_idx)) plt.title('Feature Importance for Feature Group {} (Class {})'.format(feature_idx + 1, class_idx)) # 保存文件 save_path = os.path.join(output_dir, f'class_{class_idx}_shap.png') plt.savefig(save_path, bbox_inches='tight') plt.close() print(f"Saved SHAP visualization for Feature Group {feature_idx + 1}, Class {class_idx} at: {save_path}")
可视化生成的文件结构
可视化的输出文件将按照特征组进行存储,结构如下:
shap/ ├── feature_group_1/ │ ├── class_0_shap.png │ ├── class_1_shap.png │ └── ... ├── feature_group_2/ │ ├── class_0_shap.png │ ├── class_1_shap.png │ └── ... ├── feature_group_3/ │ ├── class_0_shap.png │ ├── class_1_shap.png │ └── ... └── feature_group_4/ ├── class_0_shap.png ├── class_1_shap.png └── ...每个目录下有多个文件,分别是各类别的 SHAP 特征重要性图。
修改后代码解释
-
不合并 SHAP 值
- 原本希望将 4 个特征组的 SHAP 值合并,这里改为分组单独计算和可视化。
- 避免了不同特征组维度不一致时的报错。
-
按特征组生成文件
- 每个特征组(如
m1,m2,m3,m4)分别生成一个文件夹,便于区分和分析。 - 每个文件夹中保存各类别(
class_0,class_1, ...)的 SHAP 值重要性图。
- 每个特征组(如
-
特征维度处理
- 每个特征组可能有不同的维度大小,例如某个特征组可能有 10 维,另一个有 15 维。
- 比如特征组 1 对应维度:
[Dim1, Dim2, ..., Dim10],特征组 2 对应维度:[Dim1, Dim2, ..., Dim15]。
-
维度名称动态生成
- 通过
feature_names = [f'Feature_Group{feature_idx + 1}_Dim{i + 1}' for i in range(feature_dim)]确保每个特征组中的维度有清晰的命名。
- 通过
输出分析建议
-
按特征组分析 查看每个特征组单独的特征重要性,观察哪些维度对某些类别贡献较大。
-
分类别分析 查看每个类别的重要特征是否一致,是否某些特征对所有类别都重要,或仅对特定类别起关键作用。
总结
通过上述方法,可以避免合并特征组的 SHAP 值,直接分析每个特征组的 SHAP 值。从结果来看:
- 更加清晰地展示每个特征组的特征重要性。
- 避免了维度不匹配的问题,代码更加灵活和稳健。
如果每个特征组的输入特征本质上都不相同且具有独立意义,这种方式可能更符合需求。
- 不再将各个特征组
- User
改动后的核心代码块我该放在哪个位置
- Assistant
改动后的核心代码块是**"可视化每个特征组的 SHAP 值"部分,它主要替换了原先代码中"合并 SHAP 值并进行可视化"**的逻辑。因此,你可以根据代码执行的上下文,找到以下位置来插入这段逻辑。
代码块插入点的位置
-
找到原有代码逻辑中
合并 SHAP 值的部分具体是这一段代码:
# 合并 SHAP 值:将 4 个输入特征的 SHAP 值在每个类别下合并 num_categories = len(shap_values_batch[0]) # 模型输出的类别数 merged_shap_values = [] # 用于存储每个类别的合并 SHAP 值 for class_idx in range(num_categories): # 遍历类别 class_shap_values = [] # 当前类别的 SHAP 值(输入特征组合并) for feature_group in shap_values_batch: # 遍历 m1, m2, m3, m4 的 SHAP 值 class_shap_values.append(feature_group[class_idx]) # 提取类别 class_idx 的 SHAP 值 # 合并所有特征组的 SHAP 值 class_shap_values = np.concatenate(class_shap_values, axis=-1) # 按最后一维拼接特征 merged_shap_values.append(class_shap_values) # 后续为 SHAP 可视化部分将以上代码整块替换为改动后的核心代码块。
代码替换后的上下文
替换后的完整代码逻辑如下:
def shap_visual(hyp_params, train_data, test_data, test_loader): model = load_model(hyp_params, name=hyp_params.name) model.eval() # 定义一个包装模型,添加 softmax 层 class SoftmaxModel(nn.Module): def __init__(self, model): super(SoftmaxModel, self).__init__() self.model = model def forward(self, m1, m2, m3, m4): logits = self.model(m1, m2, m3, m4)[0] return F.softmax(logits, dim=-1) # 添加 softmax 激活 softmax_model = SoftmaxModel(model) # 使用训练集的一部分作为 SHAP 的参考背景 X_train, Y_train, meta_train = train_data[:100] m1_train, m2_train, m3_train, m4_train = X_train[1], X_train[2], X_train[3], X_train[4] # 初始化 SHAP GradientExplainer explanier = shap.GradientExplainer( softmax_model, data=[m1_train.cuda(), m2_train.cuda(), m3_train.cuda(), m4_train.cuda()] ) # 测试集(需要解释的样本集合) X_test, Y_test, meta_test = test_data[:] m1_test, m2_test, m3_test, m4_test = X_test[1], X_test[2], X_test[3], X_test[4] # 为测试集计算 SHAP 值 shap_values_batch = explanier.shap_values([m1_test.cuda(), m2_test.cuda(), m3_test.cuda(), m4_test.cuda()]) # 不合并 SHAP 值,可视化每个特征组的 SHAP 值 for feature_idx, feature_group in enumerate(shap_values_batch): # 遍历每个特征组 output_dir = "shap/feature_group_{}".format(feature_idx + 1) # 针对每个特征组创建输出目录 os.makedirs(output_dir, exist_ok=True) # 针对每个类别计算和可视化 SHAP 值 for class_idx, shap_values in enumerate(feature_group): # 遍历每个类别 plt.figure() mean_shap_values = np.mean(np.abs(shap_values), axis=0) # 计算特征的重要性(绝对值平均) # 获取当前特征组的维度,生成名称 feature_dim = shap_values.shape[-1] feature_names = [f'Feature_Group{feature_idx + 1}_Dim{i + 1}' for i in range(feature_dim)] # 绘制柱状图 plt.barh(feature_names, mean_shap_values) plt.xlabel('Mean SHAP Value (Class {})'.format(class_idx)) plt.title('Feature Importance for Feature Group {} (Class {})'.format(feature_idx + 1, class_idx)) # 保存文件 save_path = os.path.join(output_dir, f'class_{class_idx}_shap.png') plt.savefig(save_path, bbox_inches='tight') plt.close() print(f"Saved SHAP visualization for Feature Group {feature_idx + 1}, Class {class_idx} at: {save_path}")
修改后的执行流程
- 将模型从训练好的权重文件中加载。
- 通过训练数据的一部分作为 SHAP 的参考背景,初始化 SHAP 的
GradientExplainer。 - 新内容:对每个特征组单独计算 SHAP 值,并分别生成和保存可视化结果:
- 按特征组循环: 遍历
shap_values_batch的每个特征组。 - 按类别循环: 遍历该特征组的每个类别的结果,单独绘制 SHAP 值图。
- 按特征组循环: 遍历
重构后代码块位置的总结
代码块位置如下:
- 替换原代码中关于
shap_values_batch的处理(即原合并 SHAP 值的代码)。 - 替换范围从:
开始,到:num_categories = len(shap_values_batch[0]) # 模型输出的类别数
结尾的部分。# 可视化 SHAP 值
此改动保持了代码结构清晰,并且使得开发者可以直接分析每个特征组的贡献,而无需合并。
-