Skip to content
The Chat Archive
qwen3-30b-a3b· Alibaba (Qwen) LMArena Human Preference 140K

名称がマスクされた1000近くの特徴量を入力とした時系列データの解析を行います。入力となる特徴量はターゲットとの相関はいずれも低いです。有効な特徴量を選択するために特徴量の統計的…

  1. User

    名称がマスクされた1000近くの特徴量を入力とした時系列データの解析を行います。入力となる特徴量はターゲットとの相関はいずれも低いです。有効な特徴量を選択するために特徴量の統計的な安定性(時間的なドリフトが少ない)を測定します。Timeseriessplitを用いてKSテストおよびカイパーテスト、平均値、分散による安定性のランキングを出力するコードを作成してください。 そのほかに特徴量選択に適した指標があれば追加してください。

  2. Assistant

    以下は、時間系列データの特徴量の統計的安定性を評価し、特徴量選択に適した指標を含むコードです。このコードでは、TimeSeriesSplit を使用してトレーニングとテストデータを分割し、KS検定、カイ二乗検定、平均と分散の差を計算して安定性をランキングします。また、追加の指標(例:自己相関、変動係数など)も提案します。


    コードの概要

    1. TimeSeriesSplit でトレーニング/テストデータを分割。
    2. 各分割ごとに以下の指標を計算:
      • 平均値の差
      • 分散の差
      • KS検定(2サンプル)
      • カイ二乗検定(カテゴリカル変数の場合)
    3. 指標を統合して安定性スコアを算出し、特徴量をランキング。

    Pythonコード

    import pandas as pd
    import numpy as np
    from sklearn.model_selection import TimeSeriesSplit
    from scipy.stats import ks_2samp, chi2_contingency
    from scipy.stats import pearsonr  # 例: 相関係数(追加指標)
    
    def assess_stability(df, target_col, n_splits=5, categorical_threshold=20):
        """
        特徴量の統計的安定性を評価する関数。
        
        Parameters:
            df (pd.DataFrame): 入力データ(ターゲット列を含む)
            target_col (str): ターゲット列の名前
            n_splits (int): TimeSeriesSplitの分割数
            categorical_threshold (int): カテゴリカル変数とみなすためのユニーク値の閾値
        
        Returns:
            pd.DataFrame: 特徴量ごとの安定性スコアを含むDataFrame
        """
        features = df.columns.drop(target_col)
        results = {}
    
        for feature in features:
            feature_values = df[feature].values
            tscv = TimeSeriesSplit(n_splits=n_splits)
            stability_scores = []
    
            for train_index, test_index in tscv.split(df):
                X_train = feature_values[train_index]
                X_test = feature_values[test_index]
    
                # 平均と分散の差
                train_mean = np.mean(X_train)
                train_var = np.var(X_train)
                test_mean = np.mean(X_test)
                test_var = np.var(X_test)
                mean_diff = abs(train_mean - test_mean)
                var_diff = abs(train_var - test_var)
    
                # KS検定(2サンプル)
                ks_stat, ks_p = ks_2samp(X_train, X_test)
    
                # カイ二乗検定(カテゴリカル変数の場合)
                if len(np.unique(feature_values)) < categorical_threshold:
                    all_cats = np.unique(np.concatenate([X_train, X_test]))
                    train_counts = np.array([np.sum(X_train == cat) for cat in all_cats])
                    test_counts = np.array([np.sum(X_test == cat) for cat in all_cats])
                    contingency_table = np.array([train_counts, test_counts])
                    chi2, chi2_p, _, _ = chi2_contingency(contingency_table, correction=False)
                else:
                    chi2 = np.nan
                    chi2_p = np.nan
    
                # 統計量を保存
                stability_scores.append({
                    'mean_diff': mean_diff,
                    'var_diff': var_diff,
                    'ks_p': ks_p,
                    'chi2_p': chi2_p
                })
    
            # 統計量を平均化
            mean_mean_diff = np.mean([s['mean_diff'] for s in stability_scores])
            mean_var_diff = np.mean([s['var_diff'] for s in stability_scores])
            mean_ks_p = np.mean([s['ks_p'] for s in stability_scores])
            mean_chi2_p = np.mean([s['chi2_p'] for s in stability_scores])
    
            # 追加指標: 自己相関(時間系列の安定性)
            if len(feature_values) > 1:
                acf = np.corrcoef(feature_values[:-1], feature_values[1:])[0, 1]
            else:
                acf = 0.0
    
            # 追加指標: 変動係数(CV)
            cv = np.std(feature_values) / np.mean(feature_values) if np.mean(feature_values) != 0 else 0.0
    
            # 総合スコア: 低くても良い(平均差、分散差)、高くても良い(p値)
            # 例: スコア = (1 - mean_ks_p) * 0.4 + (1 - mean_chi2_p) * 0.2 + (1 / (mean_mean_diff + 1)) * 0.2 + (1 / (mean_var_diff + 1)) * 0.2
            # ここでは単純にp値の平均と差を用いる
            total_score = (1 - mean_ks_p) + (1 - mean_chi2_p) - mean_mean_diff - mean_var_diff
    
            results[feature] = {
                'mean_diff': mean_mean_diff,
                'var_diff': mean_var_diff,
                'ks_p': mean_ks_p,
                'chi2_p': mean_chi2_p,
                'acf': acf,
                'cv': cv,
                'score': total_score
            }
    
        # 総合スコアで特徴量をランキング
        df_results = pd.DataFrame(results).T
        df_results.sort_values(by='score', ascending=False, inplace=True)
        return df_results
    
    # 使用例
    # df = pd.read_csv("your_data.csv")
    # result = assess_stability(df, target_col="target")
    # print(result)
    

    追加の特徴量選択指標

    以下は、安定性以外にも有用な指標の例です:

    1. 自己相関(Autocorrelation)

      • 時間系列の安定性を測る。高い自己相関は「パターンが時間的に安定している」ことを示す。
      • np.corrcoef(X[:-1], X[1:])[0,1] で計算。
    2. 変動係数(Coefficient of Variation, CV)

      • 標準偏差 / 平均値。変動が小さい特徴量は安定性が高い。
      • np.std(X) / np.mean(X) で計算。
    3. エントロピー(Entropy)

      • カテゴリカル変数の分布の不確実性を測る。エントロピーが低いほど安定性が高い。
    4. トレンド検出

      • リッジ回帰や線形回帰でトレンドをフィットし、トレンドの変化を評価。
    5. 時系列のドリフト(Drift)検出

      • 時間とともに分布が変化するかを検出(例: 時間ごとの平均値の変化)。

    注意点

    • カイ二乗検定の適用: カテゴリカル変数のみに適用し、数値変数にはKS検定を使用。
    • パラメータ調整: categorical_threshold はデータに応じて調整が必要。
    • スコアの設計: 上記のスコアは例であり、実際には特徴量の性質に応じて重みを調整する必要があります。

    このコードは、時間系列データの特徴量選択に役立ち、安定性を数値化してランキングできるようにします。

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.