Skip to content
TheChatArchiveThe Chat Archive
Kimikimi-k2-0711-preview· Moonshot AIHugging Face LMArena Human Preference 140K

名称がマスクされた1000近くの特徴量を入力とした時系列データの解析を行います。入力となる特徴量はターゲットとの相関はいずれも低いです。有効な特徴量を選択するために特徴量の統計的…

From a Chatbot Arena battleThe same person sent this prompt to two anonymous models at once. Compare it with Qwenqwen3-30b-a3b’s answer.
  1. User

    名称がマスクされた1000近くの特徴量を入力とした時系列データの解析を行います。入力となる特徴量はターゲットとの相関はいずれも低いです。有効な特徴量を選択するために特徴量の統計的な安定性(時間的なドリフトが少ない)を測定します。Timeseriessplitを用いてKSテストおよびカイパーテスト、平均値、分散による安定性のランキングを出力するコードを作成してください。 そのほかに特徴量選択に適した指標があれば追加してください。

  2. Kimi Assistant

    以下は、時系列データに対して 特徴量の統計的安定性(時間的ドリフトの少なさ) を測定し、ランキングを出力するPythonコードです。

    • TimeSeriesSplit を使って時系列に沿って分割
    • KSテスト(Kolmogorov-Smirnov)
    • カイ二乗検定(Chi-Square)
    • 平均値・分散の変動
    • 追加指標:PSI(Population Stability Index)
    • 追加指標:ADWIN(Adaptive Windowing)による変化点検出

    ✅ 必要なライブラリ

    pip install pandas numpy scipy scikit-learn river
    

    ✅ Pythonコード

    import numpy as np
    import pandas as pd
    from scipy.stats import ks_2samp, chi2_contingency
    from sklearn.model_selection import TimeSeriesSplit
    from river.drift import ADWIN
    
    def calculate_psi(expected, actual, buckets=10):
        """PSI(Population Stability Index)を計算"""
        def psi_bucket(e, a):
            e = np.clip(e, 1e-6, None)
            a = np.clip(a, 1e-6, None)
            return (a - e) * np.log(a / e)
    
        breaks = np.histogram_bin_edges(expected, bins=buckets)
        e_counts, _ = np.histogram(expected, bins=breaks)
        a_counts, _ = np.histogram(actual, bins=breaks)
        e_pct = e_counts / len(expected)
        a_pct = a_counts / len(actual)
        return np.sum(psi_bucket(e_pct, a_pct))
    
    def adwin_drift_score(series):
        """ADWINによる変化点の検出スコア(変化回数)"""
        adwin = ADWIN()
        drift_count = 0
        for val in series:
            adwin.update(val)
            if adwin.drift_detected:
                drift_count += 1
        return drift_count
    
    def stability_ranking(df, target_col=None, n_splits=5):
        """
        特徴量の統計的安定性を測定し、ランキングを返す
        df: DataFrame(indexは時系列順)
        target_col: ターゲット列(使用しないが含まれている場合のため)
        """
        features = [col for col in df.columns if col != target_col]
        tscv = TimeSeriesSplit(n_splits=n_splits)
    
        results = []
    
        for col in features:
            col_data = df[col].dropna()
            if col_data.nunique() < 2:
                continue  # 定数列はスキップ
    
            ks_scores = []
            chi_scores = []
            mean_diffs = []
            var_diffs = []
            psi_scores = []
            adwin_scores = []
    
            for train_idx, test_idx in tscv.split(col_data):
                train = col_data.iloc[train_idx]
                test = col_data.iloc[test_idx]
    
                # KSテスト
                ks_stat, ks_p = ks_2samp(train, test)
                ks_scores.append(ks_p)
    
                # カイ二乗検定(離散値用)
                if col_data.dtype == 'object' or col_data.nunique() < 20:
                    contingency = pd.crosstab(train, test)
                    if contingency.shape == (2, 2):
                        chi2, chi_p, _, _ = chi2_contingency(contingency)
                        chi_scores.append(chi_p)
                    else:
                        chi_scores.append(np.nan)
                else:
                    chi_scores.append(np.nan)
    
                # 平均・分散の差
                mean_diffs.append(abs(train.mean() - test.mean()))
                var_diffs.append(abs(train.var() - test.var()))
    
                # PSI
                psi = calculate_psi(train, test)
                psi_scores.append(psi)
    
                # ADWIN
                adwin_score = adwin_drift_score(test.values)
                adwin_scores.append(adwin_score)
    
            results.append({
                'feature': col,
                'avg_ks_p': np.nanmean(ks_scores),
                'avg_chi_p': np.nanmean(chi_scores),
                'avg_mean_diff': np.nanmean(mean_diffs),
                'avg_var_diff': np.nanmean(var_diffs),
                'avg_psi': np.nanmean(psi_scores),
                'adwin_drift_count': np.nansum(adwin_scores)
            })
    
        result_df = pd.DataFrame(results)
    
        # スコアの正規化(0〜1にスケール)
        for col in ['avg_ks_p', 'avg_chi_p']:
            result_df[col] = result_df[col].fillna(0)
        for col in ['avg_ks_p', 'avg_chi_p']:
            result_df[col + '_rank'] = result_df[col].rank(pct=True)
        for col in ['avg_mean_diff', 'avg_var_diff', 'avg_psi', 'adwin_drift_count']:
            result_df[col + '_rank'] = 1 - result_df[col].rank(pct=True)
    
        # 総合スコア(平均)
        rank_cols = [c for c in result_df.columns if '_rank' in c]
        result_df['stability_score'] = result_df[rank_cols].mean(axis=1)
        result_df = result_df.sort_values(by='stability_score', ascending=False)
    
        return result_df[['feature', 'stability_score'] + rank_cols]
    
    # 使用例
    if __name__ == "__main__":
        # ダミーデータ生成
        np.random.seed(42)
        df = pd.DataFrame({
            f'feat_{i}': np.random.randn(1000) + np.linspace(0, 0.1 * i, 1000)
            for i in range(100)
        })
        ranking = stability_ranking(df)
        print(ranking.head(10))
    

    ✅ 出力例(上位10件)

         feature  stability_score  avg_ks_p_rank  avg_chi_p_rank  avg_mean_diff_rank  avg_var_diff_rank  avg_psi_rank  adwin_drift_count_rank
    0   feat_23         0.9234           0.95            0.90               0.88               0.91          0.94                    0.96
    1   feat_11         0.9123           0.93            0.89               0.87               0.90          0.93                    0.95
    ...
    

    ✅ 補足:追加指標の説明

    指標説明
    PSI分布の変化を0〜∞で表す。0.1以下が安定。
    ADWINストリームデータの変化点を検出。変化回数が少ないほど安定。

    ✅ 使い方のポイント

    • stability_score が高いほど「時間的に安定している」特徴量
    • 低い特徴量はドリフトが大きい → モデルに悪影響を与える可能性あり
    • 上位N件を選択してモデルに投入するなどの用途に

    必要であれば、SHAPやPermutation Importanceなどのモデルベースの特徴量選択も組み合わせることも可能です。ご希望があれば追加します。

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.