przepisz kod aby ładowanie było z danych do ramki python: %python df = spark.sql("SELECT…
- User
przepisz kod aby ładowanie było z danych do ramki python: %python df = spark.sql("SELECT * FROM churn_processed.train_soho_model_smote_1")
Assistant
Aby załadować dane z tabeli Sparka do ramki danych pandas w środowisku PySpark (np. w Databricks), możesz użyć
.toPandas():%python df = spark.sql("SELECT * FROM churn_processed.train_soho_model_smote_1").toPandas()To przekształca wynik zapytania Spark SQL na pandas DataFrame.
- User
dla kolumny con_churn, która jest zmienna objaśnianą wykonaj techniki smote
Assistant
Poniżej kompletny przykład w Pythonie (np. w Databricks), który:
- Ładuje tabelę do pandas DataFrame,
- Wykonuje SMOTE tylko na kolumnie
con_churn(zmienna objaśniana), - Zwraca zbalansowany zbiór.
%python import pandas as pd from imblearn.over_sampling import SMOTE from sklearn.preprocessing import LabelEncoder # 1. Załaduj dane df = spark.sql("SELECT * FROM churn_processed.train_soho_model_smote_1").toPandas() # 2. Przygotuj X i y X = df.drop(columns=['con_churn']) y = df['con_churn'] # 3. (Opcjonalnie) zakoduj y, jeśli jest tekstem if y.dtype == 'object': le = LabelEncoder() y = le.fit_transform(y) # 4. Zastosuj SMOTE smote = SMOTE(random_state=42) X_res, y_res = smote.fit_resample(X, y) # 5. Połącz z powrotem w DataFrame df_balanced = pd.concat([pd.DataFrame(X_res, columns=X.columns), pd.Series(y_res, name='con_churn')], axis=1) # 6. (Opcjonalnie) zakoduj z powrotem na etykiety tekstowe, jeśli były if 'le' in locals(): df_balanced['con_churn'] = le.inverse_transform(df_balanced['con_churn']) # 7. Sprawdź rozkład print(df_balanced['con_churn'].value_counts())Jeśli chcesz zapisać wynik z powrotem do Sparka:
spark_df = spark.createDataFrame(df_balanced) spark_df.write.mode("overwrite").saveAsTable("churn_processed.train_soho_model_smote_1_balanced")Daj znać, czy chcesz wersję bez pandas (tylko Spark + PySpark MLlib).
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.