kod w sparku do skopiowania danych z bazy Oracle do BigQuery
- User
kod w sparku do skopiowania danych z bazy Oracle do BigQuery
- Assistant
Oto kod w Sparku, który kopiuje dane z bazy Oracle do BigQuery. Pamiętaj, że będziesz potrzebować odpowiednich sterowników JDBC dla Oracle i BigQuery oraz skonfigurowanych uprawnień w Google Cloud Platform (GCP).
from pyspark.sql import SparkSession from pyspark import SparkConf # Konfiguracja Sparka conf = SparkConf() \ .setAppName("OracleToBigQuery") \ .set("spark.jars.packages", "com.oracle.database.jdbc:ojdbc8:21.1.0.0,com.google.cloud.spark:spark-bigquery-with-dependencies_2.12:0.31.0") \ .set("spark.driver.extraClassPath", "/path/to/ojdbc8.jar") # Ustaw ścieżkę do JAR-a Oracle JDBC # Opcjonalne: Ustawienie pamięci dla drivera i executorów, jeśli potrzebujesz więcej # .set("spark.driver.memory", "4g") # .set("spark.executor.memory", "4g") spark = SparkSession.builder.config(conf=conf).getOrCreate() # Konfiguracja połączenia z Oracle oracle_url = "jdbc:oracle:thin:@//oracle_hostname:1521/oracle_service_name" # Zastąp swoimi danymi oracle_user = "oracle_username" # Zastąp swoimi danymi oracle_password = "oracle_password" # Zastąp swoimi danymi oracle_table = "oracle_schema.oracle_table" # Zastąp swoimi danymi # Konfiguracja BigQuery bigquery_dataset = "your_bigquery_dataset" # Zastąp swoimi danymi bigquery_table = "your_bigquery_table" # Zastąp swoimi danymi gcp_project = "your-gcp-project-id" # Zastąp swoim ID projektu GCP gcp_temporary_bucket = "gs://your-gcp-bucket/tmp" # Zastąp swoim bucketem tymczasowym # Odczyt danych z Oracle oracle_df = spark.read.format("jdbc") \ .option("url", oracle_url) \ .option("user", oracle_user) \ .option("password", oracle_password) \ .option("dbtable", oracle_table) \ .option("driver", "oracle.jdbc.driver.OracleDriver") \ .load() # Wyświetlenie schematu danych (opcjonalne) oracle_df.printSchema() # Wyświetlenie kilku rekordów (opcjonalne) oracle_df.show() # Zapis danych do BigQuery oracle_df.write.format("bigquery") \ .option("temporaryGcsBucket", gcp_temporary_bucket) \ .option("table", f"{gcp_project}:{bigquery_dataset}.{bigquery_table}") \ .mode("overwrite") # overwrite, append, ignore, errorifexists .save() print("Dane zostały skopiowane z Oracle do BigQuery!") spark.stop()Wyjaśnienie krok po kroku:
-
Importy: Importowanie niezbędnych modułów z
pyspark.sqlipyspark. -
Konfiguracja Sparka:
SparkConf(): Tworzy konfigurację Sparka..setAppName("OracleToBigQuery"): Ustawia nazwę aplikacji Spark..set("spark.jars.packages", "com.oracle.database.jdbc:ojdbc8:21.1.0.0,com.google.cloud.spark:spark-bigquery-with-dependencies_2.12:0.31.0"): Ważne! Ustawia pakiety JAR dla Oracle JDBC i BigQuery. Upewnij się, że wersje odpowiadają Twoim potrzebom. Spark automatycznie pobierze te pakiety. Sprawdź najnowsze wersje sterowników!.set("spark.driver.extraClassPath", "/path/to/ojdbc8.jar"): Ustaw tę ścieżkę! Jeśli masz JAR Oracle JDBC lokalnie, podaj do niego ścieżkę. To jest alternatywa do użyciaspark.jars.packages. Możesz użyć jednej z tych metod (zalecanaspark.jars.packages), ale nie obu naraz, chyba że masz specjalne powody.- Opcjonalne ustawienia pamięci: Możesz dostosować pamięć drivera i executorów, jeśli napotkasz problemy z pamięcią.
-
Sesja Sparka:
spark = SparkSession.builder.config(conf=conf).getOrCreate(): Tworzy lub pobiera istniejącą sesję Spark.
-
Konfiguracja Oracle:
oracle_url: Adres URL JDBC do Twojej bazy danych Oracle. Upewnij się, że adres jest poprawny. Format:jdbc:oracle:thin:@//host:port/service_namelubjdbc:oracle:thin:@host:port:SID.oracle_user: Nazwa użytkownika Oracle.oracle_password: Hasło użytkownika Oracle.oracle_table: Nazwa tabeli Oracle (z schematem).
-
Konfiguracja BigQuery:
bigquery_dataset: Nazwa datasetu BigQuery, do którego chcesz zapisać dane.bigquery_table: Nazwa tabeli BigQuery, która ma zostać utworzona/zaktualizowana.gcp_project: ID Twojego projektu Google Cloud Platform.gcp_temporary_bucket: Bucket Google Cloud Storage, który będzie używany tymczasowo podczas transferu danych do BigQuery. Upewnij się, że masz uprawnienia do zapisu do tego bucketa.
-
Odczyt danych z Oracle:
spark.read.format("jdbc"): Ustawia format na JDBC..option(...): Ustawia opcje połączenia z bazą danych Oracle, takie jak adres URL, użytkownik, hasło, nazwa tabeli i sterownik..load(): Wczytuje dane z bazy danych Oracle do DataFrame.
-
Wyświetlanie schematu i danych (opcjonalne):
oracle_df.printSchema(): Wyświetla schemat DataFrame, aby zweryfikować, czy dane zostały poprawnie wczytane.oracle_df.show(): Wyświetla kilka rekordów DataFrame.
-
Zapis danych do BigQuery:
oracle_df.write.format("bigquery"): Ustawia format zapisu na BigQuery..option("temporaryGcsBucket", gcp_temporary_bucket): Określa bucket GCS, który będzie używany tymczasowo. BigQuery używa GCS jako staging area dla danych..option("table", f"{gcp_project}:{bigquery_dataset}.{bigquery_table}"): Ustawia docelową tabelę BigQuery..mode("overwrite"): Określa tryb zapisu.overwritezastępuje istniejącą tabelę. Inne opcje to:append: Dołącza dane do istniejącej tabeli.ignore: Ignoruje operację zapisu, jeśli tabela już istnieje.errorifexists: Wyrzuca błąd, jeśli tabela już istnieje.
.save(): Zapisuje DataFrame do BigQuery.
-
Komunikat o sukcesie: Wyświetla komunikat potwierdzający, że dane zostały pomyślnie skopiowane.
-
Zatrzymanie sesji Sparka:
spark.stop(): Zatrzymuje sesję Sparka i zwalnia zasoby.
Ważne uwagi i rozwiązywanie problemów:
- Sterowniki JDBC:
- Oracle JDBC: Pobierz odpowiedni sterownik JDBC (ojdbc8.jar lub nowszy) ze strony Oracle. Upewnij się, że jest kompatybilny z Twoją wersją Oracle i JDK. Musisz zaakceptować licencję Oracle, aby go pobrać.
- BigQuery Connector:
spark-bigquery-with-dependencies_2.12:0.31.0(lub nowszy) jest używany do połączenia z BigQuery. Sprawdź najnowszą wersję w Maven Central.
- Uprawnienia Google Cloud:
- Upewnij się, że konto usługi, które używa Spark (np. domyślne konto usługi Compute Engine lub utworzone przez Ciebie konto z odpowiednimi uprawnieniami), ma uprawnienia do:
- BigQuery Data Editor: Do tworzenia i zapisu tabel w BigQuery.
- Storage Object Creator: Do zapisu do tymczasowego bucketa GCS.
- BigQuery Job User: Do uruchamiania zapytań w BigQuery.
- Upewnij się, że konto usługi, które używa Spark (np. domyślne konto usługi Compute Engine lub utworzone przez Ciebie konto z odpowiednimi uprawnieniami), ma uprawnienia do:
- Ścieżka do JAR Oracle: Upewnij się, że ścieżka do pliku JAR Oracle JDBC jest poprawna.
- Tryb zapisu: Wybierz odpowiedni tryb zapisu w zależności od tego, czy chcesz zastąpić, dołączyć, czy utworzyć tabelę.
- Bucket GCS: Upewnij się, że bucket GCS istnieje i masz do niego uprawnienia.
- Wersje Spark i Scala: Upewnij się, że używasz kompatybilnych wersji Spark i Scala.
_2.12w nazwie pakietu BigQuery odnosi się do wersji Scala. - Firewall: Sprawdź, czy zapora sieciowa nie blokuje połączenia z bazą danych Oracle i Google Cloud.
- Logi Spark: Sprawdź logi Spark, aby znaleźć szczegółowe informacje o błędach.
- Rozmiar danych: W przypadku bardzo dużych tabel, rozważ użycie partycjonowania i segmentacji (bucketing) w Sparku, aby poprawić wydajność. Możesz również dostosować parametry JDBC, takie jak
fetchsize.
Przykład uruchomienia na Google Cloud Dataproc:
-
Utwórz klaster Dataproc:
- Upewnij się, że klaster Dataproc ma dostęp do Internetu (do pobrania sterowników).
- Skonfiguruj klaster z odpowiednią liczbą węzłów i odpowiednimi zasobami (pamięć, CPU).
- Upewnij się, że konto usługi klastra Dataproc ma niezbędne uprawnienia do BigQuery i GCS.
-
Prześlij kod Python na klaster Dataproc: Możesz użyć Cloud Storage Browser lub narzędzia
gsutil. -
Uruchom zadanie Spark z poziomu klastra Dataproc:
spark-submit --packages com.oracle.database.jdbc:ojdbc8:21.1.0.0,com.google.cloud.spark:spark-bigquery-with-dependencies_2.12:0.31.0 --py-files your_script.pyZastąp
your_script.pynazwą Twojego pliku Python.
Pamiętaj, aby dostosować kod do swoich konkretnych potrzeb i konfiguracji.
-
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.