名称がマスクされた1000近くの特徴量を入力とした時系列データの解析を行います。入力となる特徴量はターゲットとの相関はいずれも低いです。有効な特徴量を選択するために特徴量の統計的…
- User
名称がマスクされた1000近くの特徴量を入力とした時系列データの解析を行います。入力となる特徴量はターゲットとの相関はいずれも低いです。有効な特徴量を選択するために特徴量の統計的な安定性(時間的なドリフトが少ない)を測定します。Timeseriessplitを用いてKSテストおよびカイパーテスト、平均値、分散による安定性のランキングを出力するコードを作成してください。 そのほかに特徴量選択に適した指標があれば追加してください。
Assistant
以下は、時系列データに対して 特徴量の統計的安定性(時間的ドリフトの少なさ) を測定し、ランキングを出力するPythonコードです。
- TimeSeriesSplit を使って時系列に沿って分割
- KSテスト(Kolmogorov-Smirnov)
- カイ二乗検定(Chi-Square)
- 平均値・分散の変動
- 追加指標:PSI(Population Stability Index)
- 追加指標:ADWIN(Adaptive Windowing)による変化点検出
✅ 必要なライブラリ
pip install pandas numpy scipy scikit-learn river
✅ Pythonコード
import numpy as np import pandas as pd from scipy.stats import ks_2samp, chi2_contingency from sklearn.model_selection import TimeSeriesSplit from river.drift import ADWIN def calculate_psi(expected, actual, buckets=10): """PSI(Population Stability Index)を計算""" def psi_bucket(e, a): e = np.clip(e, 1e-6, None) a = np.clip(a, 1e-6, None) return (a - e) * np.log(a / e) breaks = np.histogram_bin_edges(expected, bins=buckets) e_counts, _ = np.histogram(expected, bins=breaks) a_counts, _ = np.histogram(actual, bins=breaks) e_pct = e_counts / len(expected) a_pct = a_counts / len(actual) return np.sum(psi_bucket(e_pct, a_pct)) def adwin_drift_score(series): """ADWINによる変化点の検出スコア(変化回数)""" adwin = ADWIN() drift_count = 0 for val in series: adwin.update(val) if adwin.drift_detected: drift_count += 1 return drift_count def stability_ranking(df, target_col=None, n_splits=5): """ 特徴量の統計的安定性を測定し、ランキングを返す df: DataFrame(indexは時系列順) target_col: ターゲット列(使用しないが含まれている場合のため) """ features = [col for col in df.columns if col != target_col] tscv = TimeSeriesSplit(n_splits=n_splits) results = [] for col in features: col_data = df[col].dropna() if col_data.nunique() < 2: continue # 定数列はスキップ ks_scores = [] chi_scores = [] mean_diffs = [] var_diffs = [] psi_scores = [] adwin_scores = [] for train_idx, test_idx in tscv.split(col_data): train = col_data.iloc[train_idx] test = col_data.iloc[test_idx] # KSテスト ks_stat, ks_p = ks_2samp(train, test) ks_scores.append(ks_p) # カイ二乗検定(離散値用) if col_data.dtype == 'object' or col_data.nunique() < 20: contingency = pd.crosstab(train, test) if contingency.shape == (2, 2): chi2, chi_p, _, _ = chi2_contingency(contingency) chi_scores.append(chi_p) else: chi_scores.append(np.nan) else: chi_scores.append(np.nan) # 平均・分散の差 mean_diffs.append(abs(train.mean() - test.mean())) var_diffs.append(abs(train.var() - test.var())) # PSI psi = calculate_psi(train, test) psi_scores.append(psi) # ADWIN adwin_score = adwin_drift_score(test.values) adwin_scores.append(adwin_score) results.append({ 'feature': col, 'avg_ks_p': np.nanmean(ks_scores), 'avg_chi_p': np.nanmean(chi_scores), 'avg_mean_diff': np.nanmean(mean_diffs), 'avg_var_diff': np.nanmean(var_diffs), 'avg_psi': np.nanmean(psi_scores), 'adwin_drift_count': np.nansum(adwin_scores) }) result_df = pd.DataFrame(results) # スコアの正規化(0〜1にスケール) for col in ['avg_ks_p', 'avg_chi_p']: result_df[col] = result_df[col].fillna(0) for col in ['avg_ks_p', 'avg_chi_p']: result_df[col + '_rank'] = result_df[col].rank(pct=True) for col in ['avg_mean_diff', 'avg_var_diff', 'avg_psi', 'adwin_drift_count']: result_df[col + '_rank'] = 1 - result_df[col].rank(pct=True) # 総合スコア(平均) rank_cols = [c for c in result_df.columns if '_rank' in c] result_df['stability_score'] = result_df[rank_cols].mean(axis=1) result_df = result_df.sort_values(by='stability_score', ascending=False) return result_df[['feature', 'stability_score'] + rank_cols] # 使用例 if __name__ == "__main__": # ダミーデータ生成 np.random.seed(42) df = pd.DataFrame({ f'feat_{i}': np.random.randn(1000) + np.linspace(0, 0.1 * i, 1000) for i in range(100) }) ranking = stability_ranking(df) print(ranking.head(10))
✅ 出力例(上位10件)
feature stability_score avg_ks_p_rank avg_chi_p_rank avg_mean_diff_rank avg_var_diff_rank avg_psi_rank adwin_drift_count_rank 0 feat_23 0.9234 0.95 0.90 0.88 0.91 0.94 0.96 1 feat_11 0.9123 0.93 0.89 0.87 0.90 0.93 0.95 ...
✅ 補足:追加指標の説明
指標 説明 PSI 分布の変化を0〜∞で表す。0.1以下が安定。 ADWIN ストリームデータの変化点を検出。変化回数が少ないほど安定。
✅ 使い方のポイント
stability_scoreが高いほど「時間的に安定している」特徴量- 低い特徴量はドリフトが大きい → モデルに悪影響を与える可能性あり
- 上位N件を選択してモデルに投入するなどの用途に
必要であれば、SHAPやPermutation Importanceなどのモデルベースの特徴量選択も組み合わせることも可能です。ご希望があれば追加します。
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.