advanced
plugins
bigquery
snowflake

Exportacao BigQuery / Snowflake / Looker

Exportacao delta diaria de todos os dados de frota Levy para seu data warehouse. Conecte BigQuery, Snowflake, Redshift ou Looker para analytics avancado.

Equipe Levy FleetsMay 18, 20266 min read

Exportacao BigQuery / Snowflake / Looker

O plugin de exportacao para data warehouse transmite diariamente um delta dos seus dados de frota para o warehouse que voce ja usa. E a escolha padrao para equipes de analytics, equipes financeiras e qualquer pessoa que superou o painel integrado.

O que e exportado

Cada execucao de exportacao inclui linhas novas e atualizadas das ultimas 24 horas nestas tabelas:

TabelaDescricao
ridesTodos os registros de corrida - inicio, fim, distancia, precos, imposto, reembolsos
ride_eventsEventos de pausa, retomada, foto, zona-entrada, zona-saida
customersContas de passageiros (PII mascarado a menos que sua instalacao tenha read:customers.pii)
vehiclesInventario de frota, historico de status
vehicle_telemetryAgregados horarios de GPS, bateria, eventos de bloqueio
zonesDefinicoes de zona e mudancas de regra
payoutsRepasses a parceiros com decomposicao de item de linha
plugin_invoicesCobrancas de plugin por instalacao

Cada linha carrega um timestamp _exported_at e campo _op (insert, update, delete) para que seu warehouse possa aplicar mudancas corretamente sem recargas completas.

Destinos suportados

  • Google BigQuery - inserts streaming diretos ou cargas em lote de GCS
  • Snowflake - streaming Snowpipe ou cargas em lote de S3
  • Amazon Redshift - COPY de S3
  • Looker Studio - ler de BigQuery
  • S3 / GCS genericos - arquivos Parquet para ingestao autosservico

Uma unica instalacao pode mirar em um destino. Para exportar para multiplos warehouses, instale o plugin uma vez por destino - cada um conta como uma assinatura mensal separada de US$ 199.

Configuracao

Voce precisara de credenciais de warehouse com acesso de escrita a um dataset/schema. A Levy cria as tabelas em sua primeira execucao.

1

Instale o plugin

Painel -> Marketplace -> pesquise "BigQuery" -> Instalar.

2

Conceda permissoes

O plugin de exportacao solicita read:rides, read:rides.financial, read:customers, read:payouts, read:zones. O escopo financeiro e necessario para exportar decomposicoes de precos. Decida se deve incluir read:customers.pii com base em se seu warehouse precisa de nomes/e-mails de passageiros.

3

Escolha um destino

Selecione BigQuery, Snowflake, Redshift ou S3/GCS.

4

Forneca credenciais

  • BigQuery: JSON da conta de servico GCP, ID do projeto, nome do dataset
  • Snowflake: URL da conta, usuario, senha (ou par de chaves), warehouse, banco de dados, schema
  • Redshift: endpoint do cluster, banco de dados, usuario, senha, bucket S3 para staging
  • S3 / GCS: nome do bucket, prefixo, credenciais IAM
5

Configure cronograma

Escolha o horario de exportacao (padrao 02:00 UTC). Diario e a unica frequencia em v1; horario esta planejado.

6

Confirme e instale

US$ 199/mes. A primeira exportacao roda em uma hora apos a instalacao, incluindo um backfill completo dos seus dados historicos.

Backfill da primeira execucao

A primeira exportacao inclui todos os seus dados historicos, nao apenas as ultimas 24 horas. Para uma frota com 50.000 corridas e 5.000 clientes, o backfill normalmente completa em 30-60 minutos. Voce pode acompanhar o progresso em Configuracoes -> Plugins -> BigQuery -> Status.

Apos o backfill, exportacoes incrementais diarias rodam no horario configurado e completam em alguns minutos para a maioria das frotas.

Estabilidade do schema

O schema de exportacao segue semver:

  • Mudancas de patch (novas colunas opcionais, ajustes de desempenho) sao implantadas silenciosamente. Suas consultas nao sao afetadas.
  • Mudancas de minor (novas tabelas) sao implantadas silenciosamente. Suas consultas existentes nao sao afetadas.
  • Mudancas de major (colunas renomeadas, tabelas removidas) sao anunciadas 90 dias com antecedencia via banner na pagina de plugins instalados e um e-mail aos administradores da subconta. Voce pode permanecer no schema antigo por ate 6 meses enquanto migra consultas.

A Levy garante zero mudancas breaking dentro de uma linha de release minor.

Consultas de exemplo

Uma vez que seus dados aterrissem no warehouse, perguntas comuns:

-- Receita diaria por subconta
SELECT
  DATE(end_time) AS ride_date,
  SUM(total_cents) / 100.0 AS gross_revenue_usd
FROM rides
WHERE end_time >= DATE_SUB(CURRENT_DATE(), INTERVAL 30 DAY)
GROUP BY ride_date
ORDER BY ride_date DESC;

-- Veiculos com utilizacao em declinio
SELECT
  v.vehicle_number,
  COUNT(r.id) AS rides_last_7d,
  COUNT(r.id) FILTER (WHERE r.end_time &gt;= CURRENT_DATE() - INTERVAL '14 day' AND r.end_time < CURRENT_DATE() - INTERVAL '7 day') AS rides_prior_7d
FROM vehicles v
LEFT JOIN rides r ON r.vehicle_id = v.id
GROUP BY v.vehicle_number
HAVING rides_last_7d < rides_prior_7d * 0.5;

-- Coorte LTV de cliente
SELECT
  DATE_TRUNC('month', c.created_at) AS cohort_month,
  COUNT(DISTINCT c.id) AS cohort_size,
  SUM(r.total_cents) / 100.0 AS cohort_revenue_usd
FROM customers c
LEFT JOIN rides r ON r.customer_id = c.id
GROUP BY cohort_month
ORDER BY cohort_month DESC;

Precos

US$ 199/mes por destino, faturado mensalmente via Stripe. A Levy cobra a taxa de plataforma padrao de 20% (este e um plugin proprietario, entao a taxa vai diretamente para a Levy). Sem componente baseado em uso - linhas exportadas ilimitadas.

Teste gratuito: primeiros 30 dias sao gratuitos. Voce pode cancelar a qualquer momento durante o teste sem cobranca.

Notas de conformidade

  • Todas as exportacoes usam TLS 1.2+ em transito.
  • As credenciais sao armazenadas criptografadas em repouso no Supabase Vault.
  • A exportacao de PII e restrita pela permissao read:customers.pii - sem ela, nomes, e-mails e telefones sao mascarados com hashes estaveis (para que voce ainda possa fazer join entre exportacoes sem ver valores reais).
  • A Levy retem logs de trabalho de exportacao por 90 dias para depuracao.
  • Direito de exclusao GDPR: quando um passageiro exclui sua conta, a Levy emite uma linha de exclusao na proxima exportacao para que seu warehouse possa aplicar a exclusao downstream.

Solucao de problemas

SintomaSolucao
Trabalho de exportacao falhando com "permission denied"Verifique se as credenciais do warehouse tem INSERT, UPDATE, CREATE TABLE no schema de destino
Backfill travadoVerifique Configuracoes -> Plugins -> engrenagem -> Log de auditoria. Causa comum: quota de warehouse excedida.
Linhas faltandoConfirme que sua instalacao tem os escopos de permissao corretos para o tipo de dado
Migracao de schema quebrou uma consultaMudancas de schema sao anunciadas 90 dias com antecedencia. Verifique o banner em Configuracoes -> Plugins ou e-mails recentes.

O que vem a seguir