ERP → ClickHouse (50M linhas/dia)
Ingestão diária com dedup e SCD2 em dbt. Performance de subsegundo no dashboard. Substituiu Power BI pago por Plotly Dash + ClickHouse.
← Voltar para a home
Engenharia de Dados
Engenharia de Dados
Pipelines confiáveis, testáveis e versionados. Da fonte ao data warehouse, com qualidade e governança — sem 'mágica' que ninguém entende depois.
O que fazemos
→
ETLs & ingestão
Python para APIs, bancos OLTP e arquivos. Spark quando precisa de escala. Schedulers configurados para o SLA do negócio.
→
Modelagem analítica (dbt)
Raw → staging → marts. Testes de qualidade, documentação automática, lineage. O time entende o que cada coluna significa.
→
CDC & replicação near-real-time
Debezium + Kafka pra mover SQL Server e PostgreSQL pro DW com latência de segundos, sem janela de batch.
→
Data Quality e observabilidade
Great Expectations + alertas. O pipeline grita se algo quebra silenciosamente — não é o usuário que descobre.
Exemplos & cases
Trabalhos típicos que entregamos nesta área.
Replicação SQL Server → BigQuery (CDC)
Debezium captura mudanças em real-time, Kafka transporta, sink no BQ. Sem janela de batch, sem downtime de produção.
Data Quality framework cross-domain
60+ validações automáticas em vendas, estoque e cadastro. PRs em dbt rodam testes antes do merge.
Tecnologias
Python
Airflow
Dagster
dbt
Kafka
Debezium
Great Expectations
ClickHouse
BigQuery
Snowflake
PostgreSQL
Spark
Vamos conversar
Sua fonte de dados precisa de carinho? Vamos arrumar.
Conta o seu desafio — respondemos em 24h com um diagnóstico inicial sem custo.