qwen3-30b-a3b· Alibaba (Qwen) LMArena Human Preference 140K
名称がマスクされた1000近くの特徴量を入力とした時系列データの解析を行います。入力となる特徴量はターゲットとの相関はいずれも低いです。有効な特徴量を選択するために特徴量の統計的…
- User
名称がマスクされた1000近くの特徴量を入力とした時系列データの解析を行います。入力となる特徴量はターゲットとの相関はいずれも低いです。有効な特徴量を選択するために特徴量の統計的な安定性(時間的なドリフトが少ない)を測定します。Timeseriessplitを用いてKSテストおよびカイパーテスト、平均値、分散による安定性のランキングを出力するコードを作成してください。 そのほかに特徴量選択に適した指標があれば追加してください。
- Assistant
以下は、時間系列データの特徴量の統計的安定性を評価し、特徴量選択に適した指標を含むコードです。このコードでは、TimeSeriesSplit を使用してトレーニングとテストデータを分割し、KS検定、カイ二乗検定、平均と分散の差を計算して安定性をランキングします。また、追加の指標(例:自己相関、変動係数など)も提案します。
コードの概要
- TimeSeriesSplit でトレーニング/テストデータを分割。
- 各分割ごとに以下の指標を計算:
- 平均値の差
- 分散の差
- KS検定(2サンプル)
- カイ二乗検定(カテゴリカル変数の場合)
- 指標を統合して安定性スコアを算出し、特徴量をランキング。
Pythonコード
import pandas as pd import numpy as np from sklearn.model_selection import TimeSeriesSplit from scipy.stats import ks_2samp, chi2_contingency from scipy.stats import pearsonr # 例: 相関係数(追加指標) def assess_stability(df, target_col, n_splits=5, categorical_threshold=20): """ 特徴量の統計的安定性を評価する関数。 Parameters: df (pd.DataFrame): 入力データ(ターゲット列を含む) target_col (str): ターゲット列の名前 n_splits (int): TimeSeriesSplitの分割数 categorical_threshold (int): カテゴリカル変数とみなすためのユニーク値の閾値 Returns: pd.DataFrame: 特徴量ごとの安定性スコアを含むDataFrame """ features = df.columns.drop(target_col) results = {} for feature in features: feature_values = df[feature].values tscv = TimeSeriesSplit(n_splits=n_splits) stability_scores = [] for train_index, test_index in tscv.split(df): X_train = feature_values[train_index] X_test = feature_values[test_index] # 平均と分散の差 train_mean = np.mean(X_train) train_var = np.var(X_train) test_mean = np.mean(X_test) test_var = np.var(X_test) mean_diff = abs(train_mean - test_mean) var_diff = abs(train_var - test_var) # KS検定(2サンプル) ks_stat, ks_p = ks_2samp(X_train, X_test) # カイ二乗検定(カテゴリカル変数の場合) if len(np.unique(feature_values)) < categorical_threshold: all_cats = np.unique(np.concatenate([X_train, X_test])) train_counts = np.array([np.sum(X_train == cat) for cat in all_cats]) test_counts = np.array([np.sum(X_test == cat) for cat in all_cats]) contingency_table = np.array([train_counts, test_counts]) chi2, chi2_p, _, _ = chi2_contingency(contingency_table, correction=False) else: chi2 = np.nan chi2_p = np.nan # 統計量を保存 stability_scores.append({ 'mean_diff': mean_diff, 'var_diff': var_diff, 'ks_p': ks_p, 'chi2_p': chi2_p }) # 統計量を平均化 mean_mean_diff = np.mean([s['mean_diff'] for s in stability_scores]) mean_var_diff = np.mean([s['var_diff'] for s in stability_scores]) mean_ks_p = np.mean([s['ks_p'] for s in stability_scores]) mean_chi2_p = np.mean([s['chi2_p'] for s in stability_scores]) # 追加指標: 自己相関(時間系列の安定性) if len(feature_values) > 1: acf = np.corrcoef(feature_values[:-1], feature_values[1:])[0, 1] else: acf = 0.0 # 追加指標: 変動係数(CV) cv = np.std(feature_values) / np.mean(feature_values) if np.mean(feature_values) != 0 else 0.0 # 総合スコア: 低くても良い(平均差、分散差)、高くても良い(p値) # 例: スコア = (1 - mean_ks_p) * 0.4 + (1 - mean_chi2_p) * 0.2 + (1 / (mean_mean_diff + 1)) * 0.2 + (1 / (mean_var_diff + 1)) * 0.2 # ここでは単純にp値の平均と差を用いる total_score = (1 - mean_ks_p) + (1 - mean_chi2_p) - mean_mean_diff - mean_var_diff results[feature] = { 'mean_diff': mean_mean_diff, 'var_diff': mean_var_diff, 'ks_p': mean_ks_p, 'chi2_p': mean_chi2_p, 'acf': acf, 'cv': cv, 'score': total_score } # 総合スコアで特徴量をランキング df_results = pd.DataFrame(results).T df_results.sort_values(by='score', ascending=False, inplace=True) return df_results # 使用例 # df = pd.read_csv("your_data.csv") # result = assess_stability(df, target_col="target") # print(result)
追加の特徴量選択指標
以下は、安定性以外にも有用な指標の例です:
-
自己相関(Autocorrelation)
- 時間系列の安定性を測る。高い自己相関は「パターンが時間的に安定している」ことを示す。
np.corrcoef(X[:-1], X[1:])[0,1]で計算。
-
変動係数(Coefficient of Variation, CV)
- 標準偏差 / 平均値。変動が小さい特徴量は安定性が高い。
np.std(X) / np.mean(X)で計算。
-
エントロピー(Entropy)
- カテゴリカル変数の分布の不確実性を測る。エントロピーが低いほど安定性が高い。
-
トレンド検出
- リッジ回帰や線形回帰でトレンドをフィットし、トレンドの変化を評価。
-
時系列のドリフト(Drift)検出
- 時間とともに分布が変化するかを検出(例: 時間ごとの平均値の変化)。
注意点
- カイ二乗検定の適用: カテゴリカル変数のみに適用し、数値変数にはKS検定を使用。
- パラメータ調整:
categorical_thresholdはデータに応じて調整が必要。 - スコアの設計: 上記のスコアは例であり、実際には特徴量の性質に応じて重みを調整する必要があります。
このコードは、時間系列データの特徴量選択に役立ち、安定性を数値化してランキングできるようにします。
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.