advanced
plugins
bigquery
snowflake

BigQuery / Snowflake / Looker-Export

Taeglicher Delta-Export aller Levy-Flottendaten in Ihr Data Warehouse. Verbinden Sie BigQuery, Snowflake, Redshift oder Looker fuer fortgeschrittene Analytik.

Levy Fleets TeamMay 18, 20266 min read

BigQuery / Snowflake / Looker-Export

Das Data-Warehouse-Export-Plugin streamt taeglich ein Delta Ihrer Flottendaten in das Warehouse, das Sie bereits verwenden. Es ist die Standardwahl fuer Analytikteams, Finanzteams und alle, die das eingebaute Dashboard erweitert haben.

Was exportiert wird

Jeder Exportlauf umfasst neue und aktualisierte Zeilen der letzten 24 Stunden in diesen Tabellen:

TabelleBeschreibung
ridesAlle Fahrtdatensaetze - Start, Ende, Distanz, Preise, Steuer, Erstattungen
ride_eventsPause-, Fortsetzungs-, Foto-, Zone-betreten-, Zone-verlassen-Ereignisse
customersFahrerkonten (PII-maskiert, es sei denn, Ihre Installation hat read:customers.pii)
vehiclesFlottenbestand, Statusverlauf
vehicle_telemetryStuendliche Aggregate von GPS, Batterie, Sperrereignissen
zonesZonendefinitionen und Regelaenderungen
payoutsPartnerauszahlungen mit Positionsaufschluesselung
plugin_invoicesPlugin-Belastungen pro Installation

Jede Zeile traegt einen _exported_at-Zeitstempel und ein _op-Feld (insert, update, delete), sodass Ihr Warehouse Aenderungen korrekt anwenden kann, ohne vollstaendige Neuladevorgaenge durchfuehren zu muessen.

Unterstuetzte Ziele

  • Google BigQuery - direkte Streaming-Inserts oder Batch-Lasten aus GCS
  • Snowflake - Snowpipe-Streaming oder Batch-Lasten aus S3
  • Amazon Redshift - COPY aus S3
  • Looker Studio - aus BigQuery lesen
  • Generisches S3 / GCS - Parquet-Dateien fuer Self-Service-Ingestion

Eine einzelne Installation kann ein Ziel anvisieren. Um in mehrere Warehouses zu exportieren, installieren Sie das Plugin einmal pro Ziel - jedes zaehlt als separates 199-$-Monatsabonnement.

Einrichtung

Sie benoetigen Warehouse-Anmeldedaten mit Schreibzugriff auf ein Dataset / Schema. Levy erstellt die Tabellen bei seinem ersten Lauf.

1

Plugin installieren

Dashboard -> Marktplatz -> "BigQuery" suchen -> Installieren.

2

Berechtigungen erteilen

Das Export-Plugin fordert read:rides, read:rides.financial, read:customers, read:payouts, read:zones. Der Finanz-Scope ist erforderlich, um Preisaufschluesselungen zu exportieren. Entscheiden Sie, ob Sie read:customers.pii einbeziehen, basierend darauf, ob Ihr Warehouse Fahrernamen/E-Mails benoetigt.

3

Ziel auswaehlen

Waehlen Sie BigQuery, Snowflake, Redshift oder S3/GCS.

4

Anmeldedaten bereitstellen

  • BigQuery: GCP-Servicekonto-JSON, Projekt-ID, Datasetname
  • Snowflake: Konto-URL, Benutzer, Passwort (oder Schluesselpaar), Warehouse, Datenbank, Schema
  • Redshift: Cluster-Endpunkt, Datenbank, Benutzer, Passwort, S3-Bucket fuer Staging
  • S3 / GCS: Bucketname, Praefix, IAM-Anmeldedaten
5

Zeitplan konfigurieren

Waehlen Sie die Exportzeit (Standard 02:00 UTC). Taeglich ist die einzige Frequenz in v1; stuendlich ist geplant.

6

Bestaetigen und installieren

199 $/Monat. Der erste Export laeuft innerhalb einer Stunde nach der Installation, einschliesslich einer vollstaendigen Backfill Ihrer historischen Daten.

Backfill beim ersten Lauf

Der erste Export umfasst alle Ihre historischen Daten, nicht nur die letzten 24 Stunden. Fuer eine Flotte mit 50.000 Fahrten und 5.000 Kunden ist der Backfill typischerweise in 30-60 Minuten abgeschlossen. Sie koennen den Fortschritt in Einstellungen -> Plugins -> BigQuery -> Status verfolgen.

Nach dem Backfill laufen taegliche inkrementelle Exporte zur konfigurierten Zeit und werden fuer die meisten Flotten in wenigen Minuten abgeschlossen.

Schema-Stabilitaet

Das Exportschema folgt semver:

  • Patch-Aenderungen (neue optionale Spalten, Leistungsoptimierungen) werden stillschweigend bereitgestellt. Ihre Abfragen sind nicht betroffen.
  • Minor-Aenderungen (neue Tabellen) werden stillschweigend bereitgestellt. Ihre vorhandenen Abfragen sind nicht betroffen.
  • Major-Aenderungen (umbenannte Spalten, gestrichene Tabellen) werden 90 Tage im Voraus ueber ein Banner auf der Seite der installierten Plugins und eine E-Mail an Subkonto-Admins angekuendigt. Sie koennen bis zu 6 Monate lang auf dem alten Schema bleiben, waehrend Sie Abfragen migrieren.

Levy garantiert keine breaking Changes innerhalb einer Minor-Release-Reihe.

Beispielabfragen

Sobald Ihre Daten im Warehouse landen, haeufige Fragen:

-- Taeglicher Umsatz nach Subkonto
SELECT
  DATE(end_time) AS ride_date,
  SUM(total_cents) / 100.0 AS gross_revenue_usd
FROM rides
WHERE end_time >= DATE_SUB(CURRENT_DATE(), INTERVAL 30 DAY)
GROUP BY ride_date
ORDER BY ride_date DESC;

-- Fahrzeuge mit ruecklaeufiger Auslastung
SELECT
  v.vehicle_number,
  COUNT(r.id) AS rides_last_7d,
  COUNT(r.id) FILTER (WHERE r.end_time &gt;= CURRENT_DATE() - INTERVAL '14 day' AND r.end_time < CURRENT_DATE() - INTERVAL '7 day') AS rides_prior_7d
FROM vehicles v
LEFT JOIN rides r ON r.vehicle_id = v.id
GROUP BY v.vehicle_number
HAVING rides_last_7d < rides_prior_7d * 0.5;

-- Kunden-LTV-Kohorte
SELECT
  DATE_TRUNC('month', c.created_at) AS cohort_month,
  COUNT(DISTINCT c.id) AS cohort_size,
  SUM(r.total_cents) / 100.0 AS cohort_revenue_usd
FROM customers c
LEFT JOIN rides r ON r.customer_id = c.id
GROUP BY cohort_month
ORDER BY cohort_month DESC;

Preise

199 $/Monat pro Ziel, monatlich ueber Stripe abgerechnet. Levy erhebt die Standard-Plattformgebuehr von 20 % (dies ist ein First-Party-Plugin, daher faellt die Gebuehr direkt an Levy). Keine nutzungsbasierte Komponente - unbegrenzte exportierte Zeilen.

Kostenlose Testversion: erste 30 Tage sind kostenlos. Sie koennen jederzeit waehrend der Testversion ohne Gebuehr kuendigen.

Compliance-Hinweise

  • Alle Exporte verwenden TLS 1.2+ in Transit.
  • Anmeldedaten werden verschluesselt im Ruhezustand in Supabase Vault gespeichert.
  • Der PII-Export ist durch die Berechtigung read:customers.pii gesperrt - ohne diese werden Namen, E-Mails und Telefonnummern mit stabilen Hashes maskiert (sodass Sie weiterhin ueber Exporte hinweg joinen koennen, ohne tatsaechliche Werte zu sehen).
  • Levy behaelt Exportauftragsprotokolle 90 Tage lang zur Fehlerbehebung.
  • DSGVO-Recht auf Loeschung: wenn ein Fahrer sein Konto loescht, gibt Levy im naechsten Export eine Loeschzeile aus, damit Ihr Warehouse die Loeschung nachgelagert anwenden kann.

Fehlerbehebung

SymptomLoesung
Exportjob schlaegt mit "permission denied" fehlPruefen Sie, ob Warehouse-Anmeldedaten INSERT, UPDATE, CREATE TABLE auf dem Zielschema haben
Backfill steckt festPruefen Sie Einstellungen -> Plugins -> Zahnrad -> Audit-Protokoll. Haeufige Ursache: Warehouse-Quote ueberschritten.
Zeilen fehlenBestaetigen Sie, dass Ihre Installation die richtigen Berechtigungs-Scopes fuer den Datentyp hat
Schemamigration hat eine Abfrage gebrochenSchemaaenderungen werden 90 Tage im Voraus angekuendigt. Pruefen Sie das Banner unter Einstellungen -> Plugins oder juengste E-Mails.

Was kommt als naechstes