in looker i need to persist a derived table. explain these three options and give…
- User
in looker i need to persist a derived table. explain these three options and give example how and when to use them: datagroup_trigger sql_trigger_value persist_for
- Assistant
Absolutely! In Looker, when you create a derived table (a table generated by a SQL query in a
vieworexplore), you often want to persist (cache) its results for performance reasons. Looker provides three main options to control when and how these tables are rebuilt (refreshed):
1.
datagroup_triggerWhat it is:
A datagroup is a named set of rules that define when cached data should be considered stale. You can use a datagroup to control the persistence of multiple derived tables at once.How it works:
You define a datagroup in your LookML project, specifying a SQL query that checks for data freshness (e.g., max updated_at timestamp in a table). Then, you reference this datagroup in your derived table.When to use:
- When you want multiple derived tables to refresh together.
- When you want to tie cache invalidation to data changes (e.g., new data loaded).
Example:
# In your model file datagroup: orders_datagroup { sql_trigger: SELECT MAX(updated_at) FROM orders ;; max_cache_age: "24 hours" } # In your view file explore: orders { derived_table: { sql: SELECT * FROM orders WHERE status = 'complete' ;; datagroup_trigger: orders_datagroup } }
2.
sql_trigger_valueWhat it is:
This option lets you specify a SQL query that returns a single value (e.g., a timestamp or a version number). When the value changes, Looker knows to rebuild the derived table.How it works:
Looker runs the SQL query periodically. If the result changes from the last time, the cache is invalidated and the derived table is rebuilt.When to use:
- When you want to tie cache invalidation to a specific value in your database (e.g., a version number, or last updated timestamp).
- When you want more granular control for a single derived table.
Example:
derived_table: { sql: SELECT * FROM orders WHERE status = 'complete' ;; sql_trigger_value: SELECT MAX(updated_at) FROM orders ;; }
3.
persist_forWhat it is:
This option sets a time-based expiration for the derived table cache. After the specified time, the cache is invalidated and the table is rebuilt.How it works:
Looker keeps the derived table for the specified duration, regardless of data changes.When to use:
- When you want to refresh the derived table on a fixed schedule (e.g., every hour).
- When data changes are not predictable or not easily tracked.
Example:
derived_table: { sql: SELECT * FROM orders WHERE status = 'complete' ;; persist_for: "1 hour" }
Summary Table
Option Tied to Data Change? Tied to Time? Use Case Example datagroup_trigger Yes Optional Multiple tables, batch refresh sql_trigger_value Yes No Single table, custom logic persist_for No Yes Simple, time-based refresh
Tip:
- Use
datagroup_triggerfor coordinated, data-driven cache invalidation. - Use
sql_trigger_valuefor custom, table-specific triggers. - Use
persist_forfor simple, time-based refreshes.
Let me know if you want more detailed examples or have a specific use case!
- User
provide the answer again but now in german
- Assistant
Natürlich! Hier ist die Erklärung der drei Optionen zur Persistierung von Derived Tables in Looker – auf Deutsch, mit Beispielen und wann man sie verwendet:
1.
datagroup_triggerWas ist das?
Eine Datagroup ist eine benannte Gruppe von Regeln, die festlegt, wann gecachte Daten als veraltet gelten. Mit einer Datagroup kannst du die Persistierung mehrerer Derived Tables gleichzeitig steuern.Wie funktioniert es?
Du definierst eine Datagroup in deiner LookML-Modelldatei und gibst eine SQL-Abfrage an, die prüft, ob die Daten noch aktuell sind (z. B. das Maximum einesupdated_at-Zeitstempels). Diese Datagroup referenzierst du dann in deiner Derived Table.Wann verwenden?
- Wenn mehrere Derived Tables gleichzeitig aktualisiert werden sollen.
- Wenn die Aktualisierung an Datenänderungen gekoppelt sein soll (z. B. neue Daten werden geladen).
Beispiel:
# In deiner Modelldatei datagroup: orders_datagroup { sql_trigger: SELECT MAX(updated_at) FROM orders ;; max_cache_age: "24 hours" } # In deiner View-Datei explore: orders { derived_table: { sql: SELECT * FROM orders WHERE status = 'complete' ;; datagroup_trigger: orders_datagroup } }
2.
sql_trigger_valueWas ist das?
Hier gibst du eine SQL-Abfrage an, die einen einzelnen Wert zurückgibt (z. B. einen Zeitstempel oder eine Versionsnummer). Ändert sich dieser Wert, weiß Looker, dass die Derived Table neu gebaut werden muss.Wie funktioniert es?
Looker führt die SQL-Abfrage regelmäßig aus. Wenn sich das Ergebnis im Vergleich zum letzten Mal ändert, wird der Cache ungültig und die Tabelle neu erstellt.Wann verwenden?
- Wenn die Cache-Aktualisierung an einen bestimmten Wert in der Datenbank gekoppelt werden soll (z. B. eine Versionsnummer oder ein letzter Änderungszeitpunkt).
- Wenn du für eine einzelne Derived Table eine individuelle Steuerung brauchst.
Beispiel:
derived_table: { sql: SELECT * FROM orders WHERE status = 'complete' ;; sql_trigger_value: SELECT MAX(updated_at) FROM orders ;; }
3.
persist_forWas ist das?
Mit dieser Option legst du eine zeitbasierte Gültigkeit für den Cache der Derived Table fest. Nach Ablauf der angegebenen Zeit wird der Cache ungültig und die Tabelle neu gebaut.Wie funktioniert es?
Looker hält die Derived Table für die angegebene Dauer im Cache, unabhängig davon, ob sich die Daten geändert haben.Wann verwenden?
- Wenn die Tabelle nach einem festen Zeitplan aktualisiert werden soll (z. B. jede Stunde).
- Wenn Datenänderungen nicht vorhersehbar oder schwer zu tracken sind.
Beispiel:
derived_table: { sql: SELECT * FROM orders WHERE status = 'complete' ;; persist_for: "1 hour" }
Zusammenfassung als Tabelle
Option An Datenänderung gebunden? An Zeit gebunden? Beispiel-Anwendungsfall datagroup_trigger Ja Optional Mehrere Tabellen, Batch-Refresh sql_trigger_value Ja Nein Einzelne Tabelle, eigene Logik persist_for Nein Ja Einfach, zeitbasierte Aktualisierung
Tipp:
- Nutze
datagroup_triggerfür koordinierte, datengetriebene Aktualisierungen. - Nutze
sql_trigger_valuefür individuelle, tabellenspezifische Trigger. - Nutze
persist_forfür einfache, zeitgesteuerte Aktualisierungen.
Sag Bescheid, wenn du noch detailliertere Beispiele oder eine spezielle Anwendung brauchst!
- User
in looker explain these datagroup functions and with examples. answer in german. datagroup: identifier { max_cache_age: "string" sql_trigger: sql-block ;; interval_trigger: "string" label: possibly-localized-string description: possibly-localized-string }
- Assistant
Natürlich! Hier ist eine Erklärung der wichtigsten Datagroup-Funktionen in Looker, jeweils mit einem Beispiel und auf Deutsch:
1.
datagroup: identifier { ... }Mit einer Datagroup definierst du Regeln, wann gecachte Daten (z. B. persistente Derived Tables) als veraltet gelten und neu gebaut werden sollen. Die Datagroup wird im Model-File definiert und kann dann in mehreren Derived Tables verwendet werden.
Funktionen und Beispiele
1.
max_cache_age: "string"Was macht das?
Legt fest, wie lange der Cache maximal gültig ist, unabhängig davon, ob sich die Daten geändert haben.Beispiel:
datagroup: sales_datagroup { max_cache_age: "6 hours" }Hier wird der Cache spätestens alle 6 Stunden erneuert.
2.
sql_trigger: sql-block ;;Was macht das?
Definiert eine SQL-Abfrage, die einen Wert (z. B. einen Zeitstempel) zurückgibt. Wenn sich das Ergebnis dieser Abfrage ändert, wird der Cache ungültig.Beispiel:
datagroup: sales_datagroup { sql_trigger: SELECT MAX(updated_at) FROM sales ;; }Hier wird der Cache erneuert, wenn sich der höchste
updated_at-Wert in der Tabellesalesändert.
3.
interval_trigger: "string"Was macht das?
Legt ein festes Zeitintervall fest, nach dem der Cache erneuert wird, unabhängig von Datenänderungen.Beispiel:
datagroup: sales_datagroup { interval_trigger: "1 hour" }Hier wird der Cache jede Stunde erneuert.
4.
label: possibly-localized-stringWas macht das?
Gibt der Datagroup einen benutzerfreundlichen Namen, der in der Looker-Oberfläche angezeigt wird.Beispiel:
datagroup: sales_datagroup { label: "Sales Datenaktualisierung" }Der Name „Sales Datenaktualisierung“ wird in der UI angezeigt.
5.
description: possibly-localized-stringWas macht das?
Fügt eine Beschreibung hinzu, die erklärt, wofür die Datagroup verwendet wird. Dies ist hilfreich für die Dokumentation und für andere Entwickler.Beispiel:
datagroup: sales_datagroup { description: "Diese Datagroup steuert die Aktualisierung der Sales-Daten." }Die Beschreibung wird in der Looker-Oberfläche angezeigt.
Komplettes Beispiel
datagroup: sales_datagroup { label: "Sales Datenaktualisierung" description: "Diese Datagroup steuert die Aktualisierung der Sales-Daten." max_cache_age: "6 hours" sql_trigger: SELECT MAX(updated_at) FROM sales ;; interval_trigger: "1 hour" }Erklärung:
- Der Cache wird spätestens alle 6 Stunden erneuert (
max_cache_age). - Oder wenn sich der Wert von
SELECT MAX(updated_at) FROM salesändert (sql_trigger). - Oder spätestens jede Stunde (
interval_trigger). - Die Datagroup hat einen Namen und eine Beschreibung für die UI.
Hinweis:
Du kannstsql_trigger,interval_triggerundmax_cache_ageeinzeln oder kombiniert verwenden, je nach gewünschtem Verhalten.
Fragen zu einem bestimmten Anwendungsfall? Sag Bescheid!
- Der Cache wird spätestens alle 6 Stunden erneuert (
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.