llama-4-maverick-03-26-experimental· Meta LMArena Human Preference 140K
计算 CoTcorrectness 和其它 feature 的相关性 (取绝对值),降序打印 correlation =…
- User
计算 CoT_correctness 和其它 feature 的相关性 (取绝对值),降序打印
correlation = feature_df.corr(method='pearson')['CoT_correctness'].abs().sort_values(ascending=False) print(correlation)
优化代码,feature 数量很多,目前这个时间复杂度是平方的,需要线性的
- Assistant
一个非常好的问题!
你说的对,目前代码的时间复杂度确实是 O(n^2),因为
corr()方法会计算整个 DataFrame 中所有列之间的相关性,然后你再从中提取出与'CoT_correctness'列的相关性。这是一个典型的「计算了太多不必要的值」的例子。为了优化到线性时间复杂度 O(n),我们可以直接计算
'CoT_correctness'列与其它每一列的相关性,而不计算其它列之间的相关性。这可以使用apply()方法实现,配合numpy.corrcoef()函数计算两个向量(Series)之间的相关性。优化后的代码如下:
import numpy as np # 计算 CoT_correctness 和其它 feature 的相关性(取绝对值),降序打印 cot_series = feature_df['CoT_correctness'] correlation = feature_df.drop(columns=['CoT_correctness']).apply( lambda x: np.abs(np.corrcoef(x, cot_series)[0, 1]) ).sort_values(ascending=False) # 不要忘记把 CoT_correctness 自己对自己的相关性(即 1.0)加上去 correlation = pd.concat([pd.Series([1.0], index=['CoT_correctness']), correlation]) print(correlation)解释:
feature_df.drop(columns=['CoT_correctness']):先把目标列'CoT_correctness'从 DataFrame 中移除,避免计算它与自己的相关性(虽然这不是必须的,但能减少一次无意义的计算)。.apply(lambda x: ...):对剩余的每一列(Series)x执行 lambda 函数。这里我们计算x与 事先提取出的cot_series(即'CoT_correctness'列)之间的相关性。np.corrcoef(x, cot_series)[0, 1]:numpy.corrcoef()返回 2x2 的相关系数矩阵,我们要的是x和cot_series的相关性,即矩阵的非对角线元素[0, 1](或者[1, 0],值一样)。注意:如果x或cot_series中有 NaN 值,np.corrcoef会返回 NaN。为了避免这一问题,你可能需要在前面加上.dropna()或者用别的策略处理缺失值(视你的数据情况而定)。np.abs(...):取绝对值。.sort_values(ascending=False):按相关性绝对值大小降序排列。- 最后,我们手动把
'CoT_correctness'对自己的相关性(1.0)加回结果 Series 的顶部,这样输出就完整了。
时间复杂度分析:
- 原始方法:
corr(method='pearson')内部对每一对列计算相关性,总共 次计算(n 为列数),所以是 O(n^2)。 - 优化后方法:我们只对
feature_df的 每一列(n-1 列) 执行一次np.corrcoef(O(m) 线性复杂度,m 是行数,一般 m >> n),总共 (n-1) 次,所以整体是 O(n*m)。在 m 固定的情况下(即数据集行数固定),这就是 O(n) 线性复杂度。
注意:
- 如果你的
feature_df中有非数值(numerical)列,记得提前select_dtypes(include=['int64', 'float64'])筛选出数值列,避免np.corrcoef报错。 np.corrcoef假定了皮尔逊相关(Pearson correlation),与pandas.DataFrame.corr(method='pearson')一致。如果你想换成 Spearman 或 Kendall 相关,改用scipy.stats.spearmanr或scipy.stats.kendalltau即可(记得取它们的.correlation属性)。
现在,即使有成千上万个 feature,这段代码也应该能秒出结果了!试试看吧~
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.