Sumário do artigo
- 1. A provoca??o
- 2. O que ?, formalmente, um pipeline de dados
- 3. Maxime Beauchemin ? pipeline como engenharia funcional
- 4. Martin Kleppmann ? DDIA: as tr?s propriedades que importam
- 5. Arquiteturas ? a evolu??o em 4 atos
- 6. Lambda vs Kappa ? batch e streaming em paz
- 7. Data Contracts ? o sistema imune do pipeline
- 8. Observabilidade de dados ? a camada que faltava
- 9. Casos ? quando pipeline fr?gil custou caro
- 10. Antipadr?es que ainda vivem em produ??o
- 11. Roteiro pr?tico ? como construir pipeline em que se confia
- 12. Diverg?ncias e tens?es no debate
- 13. Conclus?o ? pipeline ?onde a decis?o come?a
- Refer?ncias e leitura adicional
- 4.1 Reliability (Confiabilidade)
- 4.2 Scalability (Escalabilidade)
- 4.3 Maintainability (Manutenibilidade)
- Ato 1 ? Bill Inmon vs Ralph Kimball (anos 90)
- Ato 2 ? Data Lake (anos 2010)
- Ato 3 ? Lakehouse (CIDR 2021)
- Ato 4 ? Data Mesh (2019?2020)
- 6.1 Arquitetura Lambda (Nathan Marz, 2011)
- 6.2 Arquitetura Kappa (Jay Kreps, 2014)
- 6.3 Onde estamos hoje
- 9.1 Knight Capital ? US$ 440 milh?es em 45 minutos
- 9.2 Robinhood/GameStop ? janeiro de 2021
- 9.3 Casos brasileiros que importam
- 11.1 Princ?pios (Beauchemin + Kleppmann)
- 11.2 Estrutura de camadas (medallion)
- 11.3 Orquestra??o e workflow
- 11.4 Contratos (Sanderson)
- 11.5 Observabilidade (Five Pillars / Moses)
- 11.6 Governan?a como c?digo
- 11.7 DataOps (DORA aplicado a dado)
- 12.1 Data Mesh vs Centralized Warehouse
- 12.2 Lakehouse vs Warehouse "puro"
- 12.3 Kappa vs Lambda
- 12.4 ETL vs ELT
- 12.5 Modelagem dimensional ainda importa?
- Livros essenciais
- Papers e ensaios fundadores
- Casos e estudos
- Opera??o e DataOps
1. A provoca??o
Pipeline de dados ainda ?tratado, em muitas empresas, como detalhe t?cnico. O CEO entra no comit?, olha o dashboard, e raramente pergunta:
- De qual sistema esse n?mero saiu?
- Quando foi atualizado pela ?ltima vez?
- Quem ?o owner do pipeline?
- Existe SLA?
- O que acontece se a fonte cair ?s 3h da manh??
Ele pergunta o n?mero? e age sobre ele. O problema ?que o n?mero que ele v? ?s? o ?ltimo elo de uma cadeia de pr?-condi??es. Quebra qualquer elo e o n?mero perde sentido. Pior: continua bonito, plaus?vel e operacionalmente errado.
A tese deste artigo:
Pipeline de dados ?a infraestrutura de decis?o da empresa. Trat?-lo como detalhe t?cnico ?tratar a funda??o do pr?dio como detalhe arquitet?nico.
A defesa t?cnica vem a seguir.
2. O que ?, formalmente, um pipeline de dados
Joe Reis e Matt Housley, em Fundamentals of Data Engineering (O'Reilly, 2022) ? hoje o livro-texto mais adotado do setor ? definem o ciclo de vida da engenharia de dados em cinco est?gios + correntes transversais:
| Est?gio | O que faz |
|---|---|
| Generation | Onde o dado nasce (apps, sensores, logs, ERPs) |
| Storage | Onde fica (OLTP, lake, warehouse, lakehouse, feature store) |
| Ingestion | Como entra (batch, CDC, streaming, API) |
| Transformation | Como vira informa??o (SQL, dbt, Spark, Flink) |
| Serving | Como sai (BI, ML, reverse ETL, APIs anal?ticas) |
Atravessando tudo, correntes transversais: seguran?a, gest?o de dados (governan?a, modelagem, lineage, qualidade), DataOps (CI/CD, monitoramento), arquitetura, orquestra??o, engenharia de software.
Cada est?gio pode falhar de forma silenciosa. Cada corrente transversal pode ser inexistente. E uma corrente fraca em uma empresa faz toda a casa balan?ar quando o vento bate.
A primeira mudan?a de mentalidade: pipeline n?o ?"o ETL". Pipeline ?o ciclo completo, com correntes transversais, vivendo e respirando o tempo todo.
3. Maxime Beauchemin ? pipeline como engenharia funcional
Maxime Beauchemin, criador do Apache Airflow no Airbnb, ?uma das vozes mais influentes da ?ltima d?cada. Em 2017 ele publicou The Rise of the Data Engineer, definindo a profiss?o como "superset de BI e data warehousing trazendo mais elementos da engenharia de software".
Em janeiro de 2018, ele tornou expl?cito o princ?pio que sustenta um pipeline confi?vel: Functional Data Engineering ? a modern paradigm for batch data processing. A s?ntese:
"Pure functions, without side-effects, can be written, tested, and debugged in isolation. By applying functional programming principles to data engineering, we bring clarity to ETL: reproducibility, immutability, testability."
Os princ?pios funcionais aplicados a pipeline s?o quatro, e quem opera dado os vive todo dia:
- Idempot?ncia? rodar a mesma transforma??o duas vezes para a mesma janela devolve o mesmo resultado. Sem isso, retry ?roleta.
- Imutabilidade? parti??es hist?ricas n?o mudam. Mudou?Nova parti??o. Nada de
UPDATEem escala. - Determinismo? dada a mesma entrada e o mesmo c?digo, a sa?da ?sempre a mesma. Sem efeitos colaterais ocultos.
- Reprodutibilidade? qualquer resultado pode ser refeito a partir do dado bruto e do c?digo versionado.
Esses quatro princ?pios s?o a diferen?a entre pipeline em que se confia e pipeline que precisa ser "babado". Se sua resposta para um erro em produ??o ?"vou rodar de novo e torcer", voc? violou os quatro de uma vez.
??Conex?o: o paper irm?o sobre IA mostra que rotulagem reprodut?vel ?base de modelo confi?vel. O mesmo princ?pio escala para dado: se o pipeline n?o ?funcional, nenhuma an?lise l? em cima ?audit?vel.
4. Martin Kleppmann ? DDIA: as tr?s propriedades que importam
Martin Kleppmann (University of Cambridge) publicou em 2017 Designing Data-Intensive Applications? o livro t?cnico mais respeitado da d?cada sobre sistemas distribu?dos com foco em dado. A 2? edi??o saiu em 2026, coautorada com Chris Riccomini.
A contribui??o mais ?til para pipeline de dados est? no cap?tulo 1. Kleppmann define tr?s propriedades n?o-negoci?veis de qualquer sistema de dados s?rio:
4.1 Reliability (Confiabilidade)
"O sistema deve continuar trabalhando corretamente (executando a fun??o certa no n?vel de performance desejado) mesmo na presen?a de adversidade (faltas em hardware ou software, ou erro humano)."
Para pipeline isso significa: toler?ncia a falhas. Job morreu no meio? Sem corrup??o de sa?da. Schema mudou? Detectado, alertado, com fallback. Operador apagou tabela por engano? Restaur?vel.
4.2 Scalability (Escalabilidade)
"? medida que o sistema cresce (em dado, em tr?fego, em complexidade), deve haver caminhos razo?veis para lidar com esse crescimento."
Para pipeline: particionamento, paralelismo, separa??o compute/storage, escolha consciente entre batch e stream.Throughput planejado em ordem de grandeza, n?o em chute.
4.3 Maintainability (Manutenibilidade)
"Operabilidade, simplicidade e evolutability ? a capacidade do sistema ser operado, entendido e modificado por equipes diferentes ao longo do tempo."
Para pipeline: c?digo leg?vel, depend?ncias documentadas, DAGs audit?veis, observabilidade que conta hist?rias humanas, n?o s? m?tricas t?cnicas.
??Conex?o: Kleppmann ?literal ? a maioria dos problemas em produ??o n?o ?falta de tecnologia, ?falta dessas tr?s propriedades sendo tratadas como requisitos, n?o como "veremos depois".
5. Arquiteturas ? a evolu??o em 4 atos
Nenhuma discuss?o sobre pipeline sobrevive sem passar pela hist?ria das arquiteturas. Em sequ?ncia:
Ato 1 ? Bill Inmon vs Ralph Kimball (anos 90)
Dois pais fundadores do data warehouse, com filosofias opostas que ainda hoje orientam projetos:
- Inmon (Building the Data Warehouse, 1992) ?top-down: warehouse corporativo ?nico, normalizado em 3NF, fonte de verdade.
- Kimball (The Data Warehouse Toolkit, 1996) ?bottom-up: data marts dimensionais, schema estrela/floco-de-neve, otimizado para an?lise.
Inmon enfatiza integridade; Kimball enfatiza usabilidade. Na pr?tica, a maioria dos projetos modernos ?hibrida: armazenamento normalizado em camada bronze/silver, modelagem dimensional em camada gold. Nenhum dos dois "perdeu" ? ambos comp?em.
Ato 2 ? Data Lake (anos 2010)
Hadoop, depois S3/ADLS/GCS. Promessa: armazene tudo, decida depois ("schema-on-read"). Realidade frequente: data swamp? sem cat?logo, sem owner, sem qualidade. Quem viveu pipeline com 600 tabelas Parquet sem cat?logo sabe do que falo.
Ato 3 ? Lakehouse (CIDR 2021)
Michael Armbrust, Ali Ghodsi, Reynold Xin e Matei Zaharia (UC Berkeley/Stanford/Databricks) publicaram em 2021 Lakehouse: A New Generation of Open Platforms that Unify Data Warehousing and Advanced Analytics, propondo unificar warehouse e lake em uma camada s?. Tr?s pilares:
- Formato aberto (Parquet/ORC + Delta Lake, Apache Iceberg ou Apache Hudi para transa??es ACID).
- Suporte de primeira classe a ML/DS (n?o s? SQL).
- Performance competitiva com warehouse (benchmarks TPC-DS).
Bem ou mal, Lakehouse virou o desenho dominante de plataforma anal?tica moderna em cloud. Saber que existe ? e por que existe ? ?parte do trabalho de arquitetar pipeline em 2024?2026.
Ato 4 ? Data Mesh (2019?2020)
Zhamak Dehghani (ThoughtWorks) prop?s em 2019, e formalizou em 2020, o Data Mesh? uma rea??o ao gargalo do time central de dados. Quatro princ?pios:
- Domain-oriented decentralized ownership? cada dom?nio de neg?cio ?dono do seu dado anal?tico, igual a microsservi?o.
- Data as a product? dado tem owner, SLA, contrato, consumer, observabilidade. Tratado como produto, n?o como subproduto.
- Self-serve data infrastructure as a platform? plataforma comum permite dom?nios operarem sem refazer infraestrutura.
- Federated computational governance? pol?ticas s?o c?digo, aplicadas em todo o mesh, n?o comandadas de cima.
Data Mesh n?o ?"moda" ? ?uma resposta a uma falha real: times centralizados n?o escalam com a complexidade de neg?cio. Mas ?controverso (volto ? diverg?ncia adiante).
6. Lambda vs Kappa ? batch e streaming em paz
Outra ramifica??o importante: quando o tempo de decis?o exige lat?ncia baixa, pipeline puramente batch n?o basta.
6.1 Arquitetura Lambda (Nathan Marz, 2011)
Dois caminhos em paralelo:
- Batch layer: processa todo o hist?rico, lentamente, com alta precis?o.
- Speed layer: processa em tempo real, com aproxima??o.
- Serving layer: combina os dois para entregar resposta.
Funciona, mas tem um custo: mant?m duas implementa??es da mesma l?gica, em frameworks diferentes (Hadoop + Storm/Spark Streaming).
6.2 Arquitetura Kappa (Jay Kreps, 2014)
Jay Kreps, cocriador do Apache Kafka e fundador da Confluent, publicou em julho de 2014 Questioning the Lambda Architecture. Tese: streaming bem feito ?suficiente.
"Por que manter duas pilhas, duas linguagens, dois bugs? Se o backbone for um log distribu?do imut?vel (Kafka), voc? pode replay do log inteiro e reprocessar como streaming. Uma codebase, um modelo mental."
A Kappa Architecture, com Kafka + Flink (ou Spark Structured Streaming), virou a base de muitas pilhas modernas ? Uber, LinkedIn, Netflix.
6.3 Onde estamos hoje
Lambda ainda ?defens?vel quando a empresa tem dois universos de stakeholders (anal?tico tolerante a lat?ncia grande + operacional cr?tico).Kappa vence em ambientes onde streaming ?o padr?o. Empresas grandes vivem com modelos h?bridos, escolhendo por caso de uso.
??Conex?o: lat?ncia de decis?o ?um requisito, n?o um luxo. Pipeline di?rio?coerente com decis?o semanal; pipeline di?rio para decidir oferta em tempo real ?arquitetura errada.
7. Data Contracts ? o sistema imune do pipeline
A inova??o metodol?gica mais relevante dos ?ltimos 3 anos no setor ?o conceito de data contract, popularizado por Chad Sanderson e adotado em empresas como Convoy, GoCardless e Glassdoor.
A defini??o operacional:
Um contrato de dado ?um acordo program?tico, versionado e enforced, entre um produtor (servi?o/aplica??o que gera dado) e um consumidor (pipeline anal?tico, ML, BI) sobre o schema, sem?ntica, qualidade e SLA do dado.
Os elementos can?nicos de um data contract:
- Schema? colunas, tipos, null?veis, faixas, formato.
- Sem?ntica? defini??o operacional de cada campo (o que ?"ativo"? o que ?"convertido"?).
- SLA? frescor, completude, frequ?ncia, lat?ncia.
- Owner? quem responde quando quebra.
- Versionamento? semver, breaking change comunicado.
- Consumers declarados? quem usa, para qu?.
A diferen?a pr?tica:
- Sem contrato: produtor mexe no schema, pipeline anal?tico quebra na madrugada, analista descobre na sexta de manh?, comit? de segunda fica sem n?mero.
- Com contrato: PR do produtor ?bloqueado por CI/CD se viola contrato; mudan?a ?comunicada com tempo; consumidores migram; nada quebra.
??Conex?o: Sanderson defende "shift-left"? qualidade detectada o mais pr?ximo poss?vel da fonte. ? o mesmo princ?pio que Andrew Ng aplica a IA e que MIT Sloan aplica a cultura de dados.
8. Observabilidade de dados ? a camada que faltava
Pipeline confi?vel tem observabilidade nativa. Barr Moses (Monte Carlo) popularizou as "Five Pillars of Data Observability" em 2020:
- Freshness? quando a tabela foi atualizada pela ?ltima vez?
- Distribution? os valores est?o dentro do esperado?
- Volume? est? chegando a quantidade certa de linhas?
- Schema? o schema mudou sem aviso?
- Lineage? de onde veio cada coluna? quem usa o qu??
Equivalente em pipeline ao que APM (Application Performance Monitoring) ?em software. E ainda surpreendentemente raro fora de empresas com cultura de dados madura. Sem isso, descobre-se que o pipeline quebrou pelo consumidor reclamando? frequentemente, em comit?.
9. Casos ? quando pipeline fr?gil custou caro
9.1 Knight Capital ? US$ 440 milh?es em 45 minutos
Em 1? de agosto de 2012, a Knight Capital Americas perdeu US$ 440 milh?es em 45 minutos (NYT/DealBook; SEC Order 2013). O sistema de roteamento autom?tico (SMARS) processou 212 ordens de varejo e disparou mais de 4 milh?es de ordens em 154 a??es, acumulando posi??o l?quida de US$ 3,5 bilh?es antes de ser parado.
A causa-raiz?Pipeline de deploy mal arquitetado.
- Em 2005, um trecho de c?digo foi movido para um ponto mais inicial da sequ?ncia, deixando uma rota "morta" no c?digo.
- Em julho de 2012, no deploy para suportar o novo Retail Liquidity Program da NYSE, o novo c?digo foi instalado em 7 dos 8 servidores. No oitavo, o c?digo antigo continuou ativo, mas agora referenciava aquela rota morta.
- Quando ordens chegaram, o oitavo servidor disparou uma cascata de ordens duplicadas. Em 45 minutos, a empresa estava quebrada.
O incidente ?o estudo de caso mais citado em SRE/DataOps para tr?s princ?pios:
- Deploys precisam ser audit?veis e at?micos? todos os servidores ou nenhum.
- C?digo morto ?mina ativada?feature flags removidas no mesmo PR que as elimina.
- Disjuntores s?o obrigat?rios? automated kill-switch quando output sai da distribui??o esperada.
A SEC multou a Knight Capital em US$ 12 milh?es em 2013. A empresa foi vendida ? Getco em dezembro de 2012.
9.2 Robinhood/GameStop ? janeiro de 2021
Em janeiro de 2021, o pico de short squeeze do GameStop sobrecarregou a infraestrutura da Robinhood. A rea??o foi bloquear compras de GME, AMC e outros ? em parte por requisitos de clearing, em parte porque a arquitetura de risco n?o tinha sido projetada para aquele volume. Resultado: investiga??o do Congresso, processos coletivos, multa de US$ 65 milh?es pela SEC.
A li??o: pipeline de risco precisa escalar como pipeline de receita. Quando n?o escala, o neg?cio toma decis?es defensivas que custam confian?a do cliente.
9.3 Casos brasileiros que importam
Sem entrar em alvos espec?ficos, qualquer profissional s?nior de dados no Brasil sabe que:
- Opera??es de cobran?a que mandaram WhatsApp para clientes errados porque o pipeline de telefone n?o foi higienizado.
- Bancos que abriram cr?dito para CPF errado porque pipeline de bureau teve lat?ncia maior que o esperado.
- E-commerce que cobrou frete errado porque pipeline de CEP tinha cache vencido.
Em todos: o dashboard mostrava n?mero. O pipeline tra?a o n?mero. A empresa decidiu sobre engano.
10. Antipadr?es que ainda vivem em produ??o
Lista crua, observada repetidamente em diagn?sticos:
| Antipadr?o | Por que ?perigoso |
|---|---|
| "Rodar de madrugada e torcer" | Sem idempot?ncia, retry ?roleta russa |
| Cron solto em servidor | Sem orquestra??o, sem retry, sem observabilidade, sem owner |
| Pipeline sem testes | Voc? s? descobre a falha quando o consumidor reclama |
| Sem versionamento de schema | Produtor muda; pipeline anal?tico quebra em sil?ncio |
| Tabela "final_v3_FINAL" | Sem versionamento real, sem lineage, ningu?m sabe qual ?a oficial |
SELECT * FROM produ??o | Sem contrato, qualquer adi??o de coluna pode quebrar consumidores |
| "Limpa no BI" | Limpeza fora do pipeline = limpeza n?o-audit?vel e irreproduz?vel |
| Sem dead-letter queue | Linha ruim derruba job inteiro; ou pior, ?silenciosamente descartada |
| Late-arriving data n?o tratado | Janelas fechadas; dado correto fica fora |
| Sem cat?logo / lineage | N?o d? para responder "quem usa esta tabela?" antes de despublic?-la |
| Permiss?es "ALL" em produ??o | Um DROP TABLE mal direcionado e ?fim de semana perdido |
| Sem ambiente de stage | Mudan?a vai direto ? veia |
Cada linha aqui ?fruto de literatura t?cnica (Beauchemin, Kleppmann, Reis & Housley, Sanderson). N?o ?opini?o ? ?converg?ncia.
11. Roteiro pr?tico ? como construir pipeline em que se confia
A s?ntese, organizada em camadas:
11.1 Princ?pios (Beauchemin + Kleppmann)
- Idempot?ncia? toda transforma??o devolve o mesmo resultado para a mesma janela de entrada.
- Imutabilidade? parti??es hist?ricas n?o mudam; novas vers?es substituem.
- Determinismo? sem efeitos colaterais ocultos (sem timestamps externos n?o-versionados, sem chamadas a APIs cujo resultado muda).
- Reprodutibilidade? c?digo versionado + dado bruto = poss?vel regenerar qualquer sa?da.
- Reliability / Scalability / Maintainability? requisitos expl?citos, com testes correspondentes.
11.2 Estrutura de camadas (medallion)
- Bronze? dado bruto, imut?vel, no formato em que veio.
- Silver? dado limpo, padronizado, com schema controlado.
- Gold? dado modelado para consumo (dimensional, marts, features).
- Nada de pular camadas? cada uma tem prop?sito.
11.3 Orquestra??o e workflow
- DAG expl?cito (Airflow, Dagster, Prefect) com depend?ncias audit?veis.
- Retry com exponential backoff, idempotente.
- SLA monitorado? alerta quando job atrasa, n?o s? quando falha.
- Backfill disciplinado ? script pronto, testado, n?o improvisado ?s 23h.
11.4 Contratos (Sanderson)
- Schema versionado e validado em CI/CD.
- Mudan?as breaking comunicadas com tempo (m?nimo 1 sprint).
- Owner nominal por dataset.
- SLA expl?cito de frescor, completude e disponibilidade.
11.5 Observabilidade (Five Pillars / Moses)
- Freshness, Distribution, Volume, Schema, Lineage.
- Alertas direcionados ao owner (n?o para canal gen?rico onde ningu?m olha).
- Dashboard de sa?de do pipeline acess?vel aos consumidores.
11.6 Governan?a como c?digo
- Permiss?es versionadas (IaC).
- Pol?tica de reten??o / privacidade aplicada por cat?logo, n?o por conven??o.
- Lineage automatizado (OpenLineage, Datakin, Atlan).
11.7 DataOps (DORA aplicado a dado)
- Lead time for changes? quanto tempo da PR at?produ??o?
- Deployment frequency? com que frequ?ncia mudan?as entram?
- Change failure rate? quantas mudan?as causam incidente?
- Mean time to restore? quanto tempo at?voltar?
Essas quatro m?tricas ? popularizadas pelo estudo DORA (DevOps Research and Assessment, Forsgren et al., 2018) ? funcionam diretamente em pipeline de dados. E s?o inc?modas no bom sentido: o pipeline que ningu?m mexe h? 6 meses porque "est? rodando" ?, em geral, o que vai quebrar feio quando precisar mudar.
12. Diverg?ncias e tens?es no debate
Como nos artigos irm?os, vale transpar?ncia: h?debates leg?timos dentro da literatura t?cnica.
12.1 Data Mesh vs Centralized Warehouse
Zhamak Dehghani defende mesh.Bill Inmon, em entrevistas recentes, discorda parcialmente? argumenta que descentralizar sem funda??o de qualidade reproduz silos.Joe Reis j? criticou o exagero de ado??o sem entender que mesh ?um modelo organizacional, n?o uma stack tecnol?gica. A s?ntese honesta: mesh resolve problemas de escala organizacional, mas ?overengineering para empresas pequenas/m?dias. Aplique pelo problema, n?o pelo hype.
12.2 Lakehouse vs Warehouse "puro"
Defensores de warehouse tradicional (Snowflake, BigQuery) apontam que lakehouse ainda paga pre?o em lat?ncia e maturidade de SQL para certos workloads. Defensores de lakehouse (Databricks, Iceberg, Hudi) apontam custo, vendor lock-in e dificuldade de ML em warehouse fechado.Tend?ncia clara: converg?ncia (Snowflake suporta Iceberg; Databricks tem Photon; BigQuery tem BigLake). O debate ?menos "vs" e mais "qual mix".
12.3 Kappa vs Lambda
J? discutido. Posi??o honesta: streaming n?o ?gr?tis. Streaming bem feito ?caro em complexidade operacional. Lambda continua razo?vel onde lat?ncia anal?tica grande ?aceit?vel.
12.4 ETL vs ELT
ETL (transforma antes de carregar) versus ELT (carrega bruto, transforma no warehouse) era debate em 2018. Em 2024 venceu ELT para a maioria dos casos (gra?as a warehouses el?sticos como Snowflake/BigQuery + dbt). Ainda h? casos onde ETL faz sentido ? pipelines com PII pesado que n?o pode pousar bruto no warehouse, por exemplo.
12.5 Modelagem dimensional ainda importa?
Alguns artigos recentes (especialmente em torno de "metric layers" como Cube, MetricFlow do dbt) sugerem que modelagem dimensional tradicional est? em obsolesc?ncia.Kimball respondeu no blog do Kimball Group em 2020 e 2022: o paradigma continua relevante; o que mudou ?a ergonomia (modelagem em SQL versionado vs. ferramentas propriet?rias). N?o jogue a modelagem dimensional fora antes de entender o que ela resolvia.
S?ntese honesta: n?o h? diverg?ncia sobre o ponto central deste artigo ?pipeline ?base de decis?o. H? diverg?ncia sobre arquitetura ?tima, e essa diverg?ncia ?saud?vel.
13. Conclus?o ? pipeline ?onde a decis?o come?a
A tese do artigo, ao final:
Empresa n?o decide por dado. Decide por dado entregue por um pipeline. Quando o pipeline ?confi?vel, a empresa decide por evid?ncia. Quando o pipeline ?fr?gil, a empresa decide por n?mero decorativo? e descobre, frequentemente, no m?s seguinte.
O dashboard?o ?ltimo elo. O modelo de IA?s? uma das sa?das. O pipeline?o que sustenta os dois. Quando ele falha:
- O dashboard pode continuar bonito.
- O modelo pode continuar respondendo.
- A empresa pode continuar reunindo.
- E tudo isso estar? errado ao mesmo tempo.
A pergunta-teste, no mesmo esp?rito dos artigos irm?os:
??Se amanh? uma das fontes principais do seu pipeline ficar fora do ar por 6 horas, o que acontece?
- H? detec??o autom?tica em menos de 15 minutos?
- O owner ?alertado por canal certo?
- Existe fallback documentado?
- Os consumidores s?o avisados antes de o n?mero errado aparecer em comit??
- O backfill, quando a fonte voltar, ?idempotente?
Se as cinco respostas s?o "sim", voc? tem pipeline. Se alguma ?"n?o", voc? tem encanamento esperando estourar? e a decis?o da semana que vem vai ser sobre engano.
Refer?ncias e leitura adicional
Livros essenciais
- Kleppmann, M. (2017).Designing Data-Intensive Applications. O'Reilly. (2? ed. com Chris Riccomini, 2026.)
- Reis, J. & Housley, M. (2022).Fundamentals of Data Engineering. O'Reilly.
- Inmon, W. H. (1992).Building the Data Warehouse. Wiley.
- Kimball, R. & Ross, M. (1996/2013).The Data Warehouse Toolkit. Wiley.
- Dehghani, Z. (2022).Data Mesh: Delivering Data-Driven Value at Scale. O'Reilly.
Papers e ensaios fundadores
- Armbrust, M., Ghodsi, A., Xin, R., Zaharia, M. (2021).Lakehouse: A New Generation of Open Platforms. CIDR.
- Beauchemin, M. (2017).The Rise of the Data Engineer.
- Beauchemin, M. (2018).Functional Data Engineering.
- Dehghani, Z. (2020).Data Mesh Principles and Logical Architecture. martinfowler.com.
- Kreps, J. (2014).Questioning the Lambda Architecture. O'Reilly Radar.
- Sanderson, C. (2022+).The Rise of Data Contracts|Engineer's Guide to Data Contracts.
Casos e estudos
- SEC. (2013).In the Matter of Knight Capital Americas LLC.
- The New York Times ? DealBook. (2012).Knight Capital Says Trading Glitch Cost It $440 Million.
- Uber Engineering.Kappa Architecture for Timely Data Stream Processing.
Opera??o e DataOps
- Forsgren, N., Humble, J., Kim, G. (2018).Accelerate: The Science of Lean Software and DevOps. IT Revolution.
- DORA ? DevOps Research and Assessment.
- Moses, B. ?Monte Carlo: Data Observability.
Dados com contexto, estrat?gia e pr?tica.
Antes de ir
Este artigo foi útil?
Curta para registrar e compartilhe com quem precisa tomar decisão com dados.