Skip to content
TheChatArchiveThe Chat Archive
DeepSeekdeepseek-v3-0324· DeepSeekHugging Face LMArena Human Preference 140K

kod w sparku do skopiowania danych z bazy Oracle do BigQuery

From a Chatbot Arena battleThe same person sent this prompt to two anonymous models at once. Compare it with Geminigemini-2.0-flash-001’s answer.
  1. User

    kod w sparku do skopiowania danych z bazy Oracle do BigQuery

  2. DeepSeek Assistant

    Kod Spark do kopiowania danych z Oracle do BigQuery

    Poniżej przedstawiam kompletny kod w Sparku (Scala) do kopiowania danych z bazy Oracle do Google BigQuery:

    import org.apache.spark.sql.{SparkSession, SaveMode}
    import org.apache.spark.sql.functions._
    
    object OracleToBigQuery {
      def main(args: Array[String]): Unit = {
        // Inicjalizacja SparkSession
        val spark = SparkSession.builder()
          .appName("OracleToBigQuery")
          .config("spark.serializer", "org.apache.spark.serializer.KryoSerializer")
          .getOrCreate()
    
        // Parametry połączenia do Oracle
        val oracleJdbcUrl = "jdbc:oracle:thin:@//hostname:port/service_name"
        val oracleTable = "SCHEMA.TABLE_NAME"
        val oracleUser = "username"
        val oraclePassword = "password"
        
        // Parametry BigQuery
        val gcpProject = "your-gcp-project"
        val bqDataset = "your_dataset"
        val bqTable = "your_table"
        val gcsTempBucket = "your-gcs-bucket" // tymczasowy bucket GCS dla BigQuery
        val bqTempBucket = "your-bq-temp-bucket" // bucket dla danych tymczasowych BQ
    
        // Wczytanie danych z Oracle
        val oracleDF = spark.read
          .format("jdbc")
          .option("url", oracleJdbcUrl)
          .option("dbtable", oracleTable)
          .option("user", oracleUser)
          .option("password", oraclePassword)
          .option("driver", "oracle.jdbc.driver.OracleDriver")
          // Opcjonalne: zwiększenie wydajności poprzez partycjonowanie
          .option("partitionColumn", "ID") // kolumna do partycjonowania
          .option("lowerBound", 1) // minimalna wartość partitionColumn
          .option("upperBound", 1000000) // maksymalna wartość partitionColumn
          .option("numPartitions", 10) // liczba partycji
          .load()
    
        // Konfiguracja BigQuery
        spark.conf.set("viewsEnabled", "true")
        spark.conf.set("materializationDataset", bqDataset)
        spark.conf.set("temporaryGcsBucket", gcsTempBucket)
    
        // Zapis danych do BigQuery
        oracleDF.write
          .format("bigquery")
          .option("table", s"$gcpProject.$bqDataset.$bqTable")
          .option("temporaryGcsBucket", bqTempBucket)
          .option("writeDisposition", "WRITE_TRUNCATE") // lub WRITE_APPEND
          .mode(SaveMode.Overwrite)
          .save()
    
        spark.stop()
      }
    }
    

    Wymagane zależności

    Aby ten kod działał, potrzebujesz następujących zależności w swoim projekcie (np. w pliku build.sbt):

    libraryDependencies ++= Seq(
      "org.apache.spark" %% "spark-core" % "3.3.0",
      "org.apache.spark" %% "spark-sql" % "3.3.0",
      "com.oracle.database.jdbc" % "ojdbc8" % "21.5.0.0",
      "com.google.cloud.spark" %% "spark-bigquery-with-dependencies" % "0.28.0"
    )
    

    Uwagi dotyczące implementacji

    1. Autentykacja GCP: Musisz skonfigurować autentykację do GCP, np. poprzez zmienną środowiskową GOOGLE_APPLICATION_CREDENTIALS wskazującą na plik JSON z kluczem serwisowym.

    2. Optymalizacja wydajności:

      • Dostosuj parametry partycjonowania (partitionColumn, lowerBound, upperBound, numPartitions) do charakterystyki danych
      • Rozważ użycie fetchSize dla dużych tabel w Oracle
    3. Alternatywne podejścia:

      • Dla bardzo dużych tabel rozważ użycie Oracle GoldenGate lub Dataflow
      • Można też użyć Cloud Data Fusion jako warstwy orchestracji
    4. Obsługa błędów: Dodaj odpowiednią obsługę błędów i logowanie w produkcyjnym kodzie.

    5. Typy danych: Sprawdź zgodność typów danych między Oracle a BigQuery, może być potrzebna konwersja.

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.