Skip to content
TheChatArchiveThe Chat Archive
gpt-4-0314· openaiHugging Face Suzhen/CodeChat

sviluppare una PL-SQL su Bigquery partendo dal seguente codice spark ed avendo HIVE su…

  1. User

    sviluppare una PL-SQL su Bigquery partendo dal seguente codice spark ed avendo HIVE su un bucket GCP, convertendo spark-sql in insert, update o delete: package com.coop.ingestion.main.batch

    import com.accenture.util.DBUtil import com.coop.spark._ import org.apache.spark.internal.Logging import org.apache.spark.sql.functions._

    class AnagCasseStoricoBatchJob(config: SparkFileBatchJobConfig,flowname:String)

    extends SparkApplication with Logging { val tempTableBucket = config.tempTableBucket

    override def sparkConfig: Map[String, String] = config.spark

    def start(): Unit = { withSparkSession { (spark) =>

    spark.sparkContext.setLogLevel("ERROR")

    import spark.implicits._

    val prefixPath = s"gs://coop_prod_data/db/dwcoop/stg_anag_casse_storico/"

    val prefixLengthPath = prefixPath.length+1 val prefixFile = prefixLengthPath+19

    try {

    val dfAnagCasseStorico = spark.read.option("multiline", "true")
      .json(prefixPath)
      .withColumn(s"file_name", (input_file_name().substr(prefixLengthPath, 39)))
      .withColumn(s"data_estrazione", unix_timestamp(concat(input_file_name().substr(prefixFile, 4), lit("-")
        , input_file_name().substr(prefixFile+4, 2), lit("-"), input_file_name().substr(prefixFile+6, 2),
        lit(" "), input_file_name().substr(prefixFile+9, 2), lit(":"), input_file_name().substr(prefixFile+11, 2),
        lit(":"), lit("00")), "yyyy-MM-dd HH:mm:ss").minus(2 * 60 * 60))
      .createOrReplaceTempView("stg_anag_casse_storico")
    
    
    val sqlAnagCasseStorico =
      s"""
         |SELECT
         |a.cooperativa
         |,cast(cast(a.cod_negozio as int) as string) as cod_negozio
         |,a.desc_negozio
         |,a.dipartimento
         |,a.marca
         |,a.modello
         |,a.asset_type
         |,a.tipologia_cassa
         |,a.assistita
         |,cast(a.numero_cassa as string) as numero_cassa
         |,a.location
         |,a.reparto
         |,a.pagamento_accettato
         |,a.tipo_scansione
         |,cast(substr(a.data_acquisto,0,10) as date) as data_acquisto
         |,cast(substr(a.data_inizio_garanza,0,10) as date) as data_inizio_garanza
         |,cast(a.durata_garanza_mesi as int) as durata_garanza_mesi
         |,a.codice_cespite
         |,a.utilizzo
         |,a.area
         |,a.zona
         |,a.descrizione_infor
         |,a.canale_negozio
         |,a.dimensione_negozio
         |,a.stato
         |,cast(a.versione as int) as versione
         |,cast(substr(a.data_inizio_validita,0,10) as date) as data_inizio_validita
         |,cast(substr(a.data_fine_validita,0,10) as date) as data_fine_validita
         |,cast(a.data_estrazione as timestamp) as data_estrazione
         |,a.data_load
         |,a.file_name
    	 |FROM(
    	 |SELECT
    	 |cooperativa
         |,cod_negozio
         |,desc_negozio
         |,dipartimento
         |,marca
         |,modello
         |,asset_type
         |,tipologia_cassa
         |,assistita
         |,numero_cassa
         |,location
         |,reparto
         |,pagamento_accettato
         |,tipo_scansione
         |,data_acquisto
         |,data_inizio_garanza
         |,durata_garanza_mesi
         |,codice_cespite
         |,utilizzo
         |,area
         |,zona
         |,descrizione_infor
         |,canale_negozio
         |,dimensione_negozio
         |,stato
         |,versione
         |,data_inizio_validita
         |,data_fine_validita
         |,data_estrazione
         |,cast(CURRENT_TIMESTAMP as timestamp) as data_load
         |,file_name
    	 |FROM
    	 |stg_anag_casse_storico) a
    	 |JOIN
    	 |(SELECT
         |max(substring(file_name,1,33)) as file_name
    	 |from stg_anag_casse_storico) b
    	 |ON
    	 |(substring(a.file_name, 1, 33)= b.file_name)
         """.stripMargin
    
    val dfFinal = spark.sql(sqlAnagCasseStorico)
    
    
    DBUtil.dynOverwriteHiveTab(tableName = "dwcoop.anag_casse_storico", df = dfFinal)
    
    
    
    
    println(s"------------------ SUMMARY -----------------------------")
    println(s"#AnagCasseStoricoToWrite      [${dfFinal.count()}]")
    

    } catch { case e: Exception => println(s"------------------ SUMMARY -----------------------------") println(s"#AnagCasseStoricoToWrite [0]") }

    } } }

    object AnagCasseStoricoBatchJob {

    def main(args: Array[String]): Unit = { val config = SparkFileBatchJobConfig()

    if (args.size != 1) { throw new IllegalArgumentException("Input is required!") }

    val flowname = args(0)

    if (!(flowname.equalsIgnoreCase("anag_casse_storico"))) { throw new IllegalArgumentException(s"Invalid Flowname ${flowname} admitted value anag_casse_storico") }

    val batchJob = new AnagCasseStoricoBatchJob(config,flowname) batchJob.start() } }

  2. Assistant

    Qui di seguito è riportato uno possibile esempio della query PL-SQL per BigQuery, partendo dal codice Spark fornito e considerando il passaggio da Spark-SQL a operazioni di INSERT, UPDATE o DELETE per lavorare con BigQuery.

    Poiché BigQuery non supporta operazioni di UPDATE o DELETE native sulle tabelle in stile HIVE come nel caso del tuo esempio, si utilizza una combinazione di operazioni di CREATE TEMP TABLE, SELECT e DROP per ottenere i risultati desiderati.

    La soluzione proposta consiste nel creare una nuova tabella e copiarvi i risultati ottenuti dalla query Spark-SQL modificata. Successivamente, si elimina la vecchia tabella e si rinomina la nuova tabella con il nome originale.

    -- Creazione della tabella temporanea con i risultati della query Spark-SQL modificata
    CREATE TEMPORARY TABLE temp_anag_casse_storico AS (
        SELECT
            a.cooperativa,
            CAST(CAST(a.cod_negozio AS INT64) AS STRING) AS cod_negozio,
            a.desc_negozio,
            a.dipartimento,
            a.marca,
            a.modello,
            a.asset_type,
            a.tipologia_cassa,
            a.assistita,
            CAST(a.numero_cassa AS STRING) AS numero_cassa,
            a.location,
            a.reparto,
            a.pagamento_accettato,
            a.tipo_scansione,
            CAST(SUBSTR(a.data_acquisto, 0, 10) AS DATE) AS data_acquisto,
            CAST(SUBSTR(a.data_inizio_garanza, 0, 10) AS DATE) AS data_inizio_garanza,
            CAST(a.durata_garanza_mesi AS INT64) AS durata_garanza_mesi,
            a.codice_cespite,
            a.utilizzo,
            a.area,
            a.zona,
            a.descrizione_infor,
            a.canale_negozio,
            a.dimensione_negozio,
            a.stato,
            CAST(a.versione AS INT64) AS versione,
            CAST(SUBSTR(a.data_inizio_validita, 0, 10) AS DATE) AS data_inizio_validita,
            CAST(SUBSTR(a.data_fine_validita, 0, 10) AS DATE) AS data_fine_validita,
            CAST(a.data_estrazione AS TIMESTAMP) AS data_estrazione,
            a.data_load,
            a.file_name
        FROM (
            -- ... La parte restante della query Spark-SQL modificata ...
        )
    );
    
    -- Eliminazione della vecchia tabella
    DROP TABLE dwcoop.anag_casse_storico;
    
    -- Rinominare la tabella temporanea col nome della tabella originale
    ALTER TABLE temp_anag_casse_storico
    RENAME TO dwcoop.anag_casse_storico;
    

    Nota che questo esempio presuppone che il tuo codice sia già in grado di leggere i dati da HIVE su un bucket GCP e di eseguire una query Spark-SQL modificata su tali dati. Le parti commentate ('-- ... La parte restante della query Spark-SQL modificata ...') dovrebbero essere sostituite con il resto della query Spark-SQL modificata fornita nel tuo esempio.

    Inoltre, tieni presente che questo è solo un esempio di come si può fare e potrebbe essere necessario apportare modifiche aggiuntive in base ai tuoi requisiti e alla tua infrastruttura esistenti per utilizzare BigQuery.

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.