a daj tu jeszcze jakies zmienne kategoryczne, żeby trzeba było zrobic one hot encoding
- User
a daj tu jeszcze jakies zmienne kategoryczne, żeby trzeba było zrobic one hot encoding
Assistant
Jasne! Dodamy zmienne kategoryczne, które będą wymagały One-Hot Encodingu. Wprowadzimy
typ_klientairegion.import pandas as pd import numpy as np from sklearn.model_selection import train_test_split from sklearn.linear_model import LogisticRegression from sklearn.metrics import accuracy_score, classification_report import matplotlib.pyplot as plt # Ustawienie ziarna np.random.seed(42) # Generowanie prostego zbioru danych n_samples = 5000 # Tworzymy dane gdzie zależność jest ukryta data = { # Surowe cechy - model nie widzi zależności 'wiek': np.random.randint(18, 70, n_samples), 'przychod': np.random.randint(1000, 10000, n_samples), 'czas_na_stronie_min': np.random.randint(1, 60, n_samples), 'liczba_wizyt': np.random.randint(1, 20, n_samples), 'godzina_wejscia': np.random.randint(0, 24, n_samples), 'dzien_tygodnia': np.random.randint(0, 7, n_samples), # 0=pon, 6=niedz # NOWE ZMIENNE KATEGORYCZNE 'typ_klienta': np.random.choice(['nowy', 'powracajacy', 'vip'], n_samples, p=[0.5, 0.4, 0.1]), 'region': np.random.choice(['polnoc', 'poludnie', 'wschod', 'zachod', 'centrum'], n_samples, p=[0.2, 0.2, 0.2, 0.2, 0.2]), } df = pd.DataFrame(data) # UKRYTA LOGIKA: kupują głównie osoby które: # 1. Mają 25-40 lat # 2. Zarabiają powyżej 5000 # 3. Spędzają dużo czasu na wizytę (czas/liczba_wizyt > 5) # 4. Wchodzą wieczorem (18-22) # 5. W weekend # 6. NOWA ZALEŻNOŚĆ: Są klientami VIP LUB z regionu 'poludnie' # Generowanie etykiet z ukrytą logiką df['kupil'] = 0 for i in range(len(df)): score = 0 # Wiek 25-40 if 25 <= df.loc[i, 'wiek'] <= 40: score += 2 # Przychód > 5000 if df.loc[i, 'przychod'] > 5000: score += 2 # Średni czas na wizytę > 5 min if df.loc[i, 'czas_na_stronie_min'] / df.loc[i, 'liczba_wizyt'] > 5: score += 3 # Godzina 18-22 if 18 <= df.loc[i, 'godzina_wejscia'] <= 22: score += 2 # Weekend if df.loc[i, 'dzien_tygodnia'] >= 5: score += 1 # NOWA ZALEŻNOŚĆ Z KATEGORYCZNYCH: if df.loc[i, 'typ_klienta'] == 'vip': score += 4 # VIP ma bardzo dużą szansę if df.loc[i, 'region'] == 'poludnie': score += 2 # Klienci z południa też mają większą szansę # Jeśli score >= 7, duża szansa na zakup if score >= 7: df.loc[i, 'kupil'] = np.random.choice([0, 1], p=[0.2, 0.8]) else: df.loc[i, 'kupil'] = np.random.choice([0, 1], p=[0.95, 0.05]) print("Rozkład klas:") print(df['kupil'].value_counts()) print(f"Procent zakupów: {df['kupil'].mean()*100:.1f}%\n") print("Typy danych przed FE:") print(df.info()) # ===== MODEL 1: SUROWE DANE (bez One-Hot Encodingu) ===== print("\n" + "="*50) print("MODEL NA SUROWYCH DANYCH (bez One-Hot Encodingu)") print("Pamiętaj: Model może nie działać z kolumnami 'object' (stringami)") print("="*50) X_raw = df.drop('kupil', axis=1) # Usuwamy kolumny kategoryczne dla "surowego" modelu, bo LogisticRegression na stringach nie zadziała X_raw_numeric = X_raw.select_dtypes(include=np.number) y = df['kupil'] X_train, X_test, y_train, y_test = train_test_split(X_raw_numeric, y, test_size=0.3, random_state=42) # Prosty model model1 = LogisticRegression(random_state=42) model1.fit(X_train, y_train) y_pred1 = model1.predict(X_test) print(f"Dokładność: {accuracy_score(y_test, y_pred1):.3f}") print("\nRaport klasyfikacji:") print(classification_report(y_test, y_pred1, zero_division=0)) # ===== FEATURE ENGINEERING (z One-Hot Encodingiem) ===== print("\n" + "="*50) print("PROSTY FEATURE ENGINEERING (z One-Hot Encodingiem)") print("="*50) df_fe = df.copy() # 1. Grupa wiekowa (25-40 lat to target) df_fe['wiek_target'] = ((df_fe['wiek'] >= 25) & (df_fe['wiek'] <= 40)).astype(int) # 2. Wysokie zarobki df_fe['wysokie_zarobki'] = (df_fe['przychod'] > 5000).astype(int) # 3. Średni czas na wizytę (kluczowa cecha!) df_fe['sredni_czas_na_wizyte'] = df_fe['czas_na_stronie_min'] / df_fe['liczba_wizyt'] # 4. Wieczorna pora df_fe['wieczor'] = ((df_fe['godzina_wejscia'] >= 18) & (df_fe['godzina_wejscia'] <= 22)).astype(int) # 5. Weekend df_fe['weekend'] = (df_fe['dzien_tygodnia'] >= 5).astype(int) # 6. NOWE: ONE-HOT ENCODING dla typ_klienta i region df_fe = pd.get_dummies(df_fe, columns=['typ_klienta', 'region'], prefix=['klient', 'region']) # 7. Kombinacje cech (z uwzględnieniem nowych cech) df_fe['target_i_zarobki'] = df_fe['wiek_target'] * df_fe['wysokie_zarobki'] df_fe['wieczor_weekend'] = df_fe['wieczor'] * df_fe['weekend'] # Nowa interakcja: np. VIP + wysokie zarobki df_fe['klient_vip_wysokie_zarobki'] = df_fe['klient_vip'] * df_fe['wysokie_zarobki'] print("Przykładowe nagłówki z nowymi cechami:") print(df_fe.head()) print("\nTypy danych po FE:") print(df_fe.info()) # ===== MODEL 2: Z FEATURE ENGINEERING ===== print("\n" + "="*50) print("MODEL PO FEATURE ENGINEERING (z One-Hot Encodingiem)") print("="*50) X_fe = df_fe.drop('kupil', axis=1) y_fe = df_fe['kupil'] X_train_fe, X_test_fe, y_train_fe, y_test_fe = train_test_split(X_fe, y_fe, test_size=0.3, random_state=42) model2 = LogisticRegression(random_state=42, solver='liblinear') # Użycie liblinear dla lepszej zbieżności model2.fit(X_train_fe, y_train_fe) y_pred2 = model2.predict(X_test_fe) print(f"Dokładność: {accuracy_score(y_test_fe, y_pred2):.3f}") print("\nRaport klasyfikacji:") print(classification_report(y_test_fe, y_pred2)) # ===== PORÓWNANIE WAŻNOŚCI CECH ===== print("\n" + "="*50) print("WAŻNOŚĆ CECH PO FEATURE ENGINEERING") print("="*50) # Współczynniki dla modelu z FE coef_df = pd.DataFrame({ 'cecha': X_fe.columns, 'wspolczynnik': model2.coef_[0] }).sort_values('wspolczynnik', key=abs, ascending=False) print("\nNajważniejsze cechy (wg wartości bezwzględnej współczynnika):") print(coef_df.head(10)) # Wizualizacja fig, (ax1, ax2) = plt.subplots(1, 2, figsize=(14, 6)) # Wykres 1: Porównanie dokładności models = ['Surowe dane (tylko numeryczne)', 'Z feature\nengineering'] scores = [accuracy_score(y_test, y_pred1), accuracy_score(y_test_fe, y_pred2)] ax1.bar(models, scores, color=['red', 'green'], alpha=0.7) ax1.set_ylabel('Dokładność') ax1.set_title('Porównanie dokładności modeli') ax1.set_ylim(0, 1) for i, v in enumerate(scores): ax1.text(i, v + 0.02, f'{v:.3f}', ha='center') # Wykres 2: Top 7 cech top_features = coef_df.head(7) ax2.barh(top_features['cecha'], abs(top_features['wspolczynnik']), color=['green' if x > 0 else 'red' for x in top_features['wspolczynnik']]) ax2.set_xlabel('|Współczynnik|') ax2.set_title('Najważniejsze cechy po FE (Abs. Współczynnika)') plt.tight_layout() plt.show() # ===== ANALIZA PRZYKŁADÓW ===== print("\n" + "="*50) print("PRZYKŁADOWA ANALIZA") print("="*50) # Pokazujemy kilka przykładów # Używamy X_test_fe bez skalowania, dla czytelności przykłady = X_test_fe.head(3) for idx, row in przykłady.iterrows(): print(f"\nPrzykład z oryginalnego zbioru {idx}:") original_row = df.loc[idx] print(f" Wiek: {original_row['wiek']}, Przychód: {original_row['przychod']}") print(f" Typ klienta: {original_row['typ_klienta']}, Region: {original_row['region']}") print(f" Godzina wejścia: {original_row['godzina_wejscia']}, Dzień tygodnia: {original_row['dzien_tygodnia']}") # Predykcja # Musimy przekazać wiersz w formacie używanym przez model (czyli po FE) pred = model2.predict(pd.DataFrame([row], columns=X_fe.columns))[0] proba = model2.predict_proba(pd.DataFrame([row], columns=X_fe.columns))[0][1] actual = y_test_fe.loc[idx] print(f" Predykcja: {'KUPI' if pred else 'NIE KUPI'} (prawdopodobieństwo: {proba:.2%})") print(f" Rzeczywistość: {'KUPIŁ' if actual else 'NIE KUPIŁ'}") # Podsumowanie print("\n" + "="*50) print("PODSUMOWANIE") print("="*50) print(f"Poprawa dokładności: {scores[1] - scores[0]:.3f} ({(scores[1] - scores[0])/scores[0]*100:.1f}%)") print("\nKluczowe transformacje które pomogły:") print("1. Utworzenie cechy 'średni_czas_na_wizyte' - wykryła ukrytą zależność") print("2. Binning wieku do grupy docelowej 25-40") print("3. Flaga wysokich zarobków > 5000") print("4. Identyfikacja wieczornych godzin i weekendów") print("5. **One-Hot Encoding dla zmiennych kategorycznych 'typ_klienta' i 'region'**") print(" - Pozwoliło to modelowi wykorzystać informacje, że VIP-y i klienci z 'poludnia' mają większą tendencję do zakupu.") print("6. Interakcje między cechami (np. target_i_zarobki, klient_vip_wysokie_zarobki)")Kluczowe zmiany i dlaczego są ważne:
- Dodano zmienne kategoryczne:
typ_klienta(nowy, powracający, vip) iregion(polnoc, poludnie, wschod, zachod, centrum). - Ukryta zależność w zmiennych kategorycznych: Zwiększona szansa na zakup dla klientów 'vip' oraz dla regionu 'poludnie'. Bez One-Hot Encodingu, model nie mógłby "zobaczyć" tej zależności w sensowny sposób.
- Model na surowych danych (modyfikacja): W pierwszym modelu (na surowych danych) celowo usunąłem kolumny typu
object(stringi). Powodem jest to, że większość algorytmów uczenia maszynowego (takich jakLogisticRegressionczyRandomForestClassifier) wymaga numerycznych danych wejściowych. Bez tej modyfikacji, kod by się po prostu "wysypał" z błędem typu danych. To jasno pokazuje, dlaczego przetwarzanie danych kategorycznych jest niezbędne. pd.get_dummies()dla One-Hot Encodingu: W sekcji Feature Engineeringu, używampd.get_dummies()do przekształcenia kolumntyp_klientairegionw nowe, binarne kolumny. Np.typ_klientazostanie zamieniony naklient_nowy,klient_powracajacy,klient_vip. Każda z tych nowych kolumn będzie miała 1 jeśli klient należy do tej kategorii i 0 w przeciwnym razie.- Nowa interakcja z cechą kategoryczną: Dodałem również
klient_vip_wysokie_zarobki, aby pokazać, że można tworzyć interakcje między nowymi, przekształconymi cechami.
Uruchomienie tego kodu powinno wyraźnie pokazać, jak znacząco poprawia się dokładność i zdolność modelu do wykrywania wzorców, gdy poprawnie przetworzymy zmienne kategoryczne za pomocą One-Hot Encodingu.
- Dodano zmienne kategoryczne:
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.