kod w sparku do skopiowania danych z bazy Oracle do BigQuery
- User
kod w sparku do skopiowania danych z bazy Oracle do BigQuery
Assistant
Kod Spark do kopiowania danych z Oracle do BigQuery
Poniżej przedstawiam kompletny kod w Sparku (Scala) do kopiowania danych z bazy Oracle do Google BigQuery:
import org.apache.spark.sql.{SparkSession, SaveMode} import org.apache.spark.sql.functions._ object OracleToBigQuery { def main(args: Array[String]): Unit = { // Inicjalizacja SparkSession val spark = SparkSession.builder() .appName("OracleToBigQuery") .config("spark.serializer", "org.apache.spark.serializer.KryoSerializer") .getOrCreate() // Parametry połączenia do Oracle val oracleJdbcUrl = "jdbc:oracle:thin:@//hostname:port/service_name" val oracleTable = "SCHEMA.TABLE_NAME" val oracleUser = "username" val oraclePassword = "password" // Parametry BigQuery val gcpProject = "your-gcp-project" val bqDataset = "your_dataset" val bqTable = "your_table" val gcsTempBucket = "your-gcs-bucket" // tymczasowy bucket GCS dla BigQuery val bqTempBucket = "your-bq-temp-bucket" // bucket dla danych tymczasowych BQ // Wczytanie danych z Oracle val oracleDF = spark.read .format("jdbc") .option("url", oracleJdbcUrl) .option("dbtable", oracleTable) .option("user", oracleUser) .option("password", oraclePassword) .option("driver", "oracle.jdbc.driver.OracleDriver") // Opcjonalne: zwiększenie wydajności poprzez partycjonowanie .option("partitionColumn", "ID") // kolumna do partycjonowania .option("lowerBound", 1) // minimalna wartość partitionColumn .option("upperBound", 1000000) // maksymalna wartość partitionColumn .option("numPartitions", 10) // liczba partycji .load() // Konfiguracja BigQuery spark.conf.set("viewsEnabled", "true") spark.conf.set("materializationDataset", bqDataset) spark.conf.set("temporaryGcsBucket", gcsTempBucket) // Zapis danych do BigQuery oracleDF.write .format("bigquery") .option("table", s"$gcpProject.$bqDataset.$bqTable") .option("temporaryGcsBucket", bqTempBucket) .option("writeDisposition", "WRITE_TRUNCATE") // lub WRITE_APPEND .mode(SaveMode.Overwrite) .save() spark.stop() } }Wymagane zależności
Aby ten kod działał, potrzebujesz następujących zależności w swoim projekcie (np. w pliku
build.sbt):libraryDependencies ++= Seq( "org.apache.spark" %% "spark-core" % "3.3.0", "org.apache.spark" %% "spark-sql" % "3.3.0", "com.oracle.database.jdbc" % "ojdbc8" % "21.5.0.0", "com.google.cloud.spark" %% "spark-bigquery-with-dependencies" % "0.28.0" )Uwagi dotyczące implementacji
-
Autentykacja GCP: Musisz skonfigurować autentykację do GCP, np. poprzez zmienną środowiskową
GOOGLE_APPLICATION_CREDENTIALSwskazującą na plik JSON z kluczem serwisowym. -
Optymalizacja wydajności:
- Dostosuj parametry partycjonowania (
partitionColumn,lowerBound,upperBound,numPartitions) do charakterystyki danych - Rozważ użycie
fetchSizedla dużych tabel w Oracle
- Dostosuj parametry partycjonowania (
-
Alternatywne podejścia:
- Dla bardzo dużych tabel rozważ użycie Oracle GoldenGate lub Dataflow
- Można też użyć Cloud Data Fusion jako warstwy orchestracji
-
Obsługa błędów: Dodaj odpowiednią obsługę błędów i logowanie w produkcyjnym kodzie.
-
Typy danych: Sprawdź zgodność typów danych między Oracle a BigQuery, może być potrzebna konwersja.
-
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.