Sumário do artigo
  1. 1. A provoca??o
  2. 2. O que ?, formalmente, um pipeline de dados
  3. 3. Maxime Beauchemin ? pipeline como engenharia funcional
  4. 4. Martin Kleppmann ? DDIA: as tr?s propriedades que importam
  5. 5. Arquiteturas ? a evolu??o em 4 atos
  6. 6. Lambda vs Kappa ? batch e streaming em paz
  7. 7. Data Contracts ? o sistema imune do pipeline
  8. 8. Observabilidade de dados ? a camada que faltava
  9. 9. Casos ? quando pipeline fr?gil custou caro
  10. 10. Antipadr?es que ainda vivem em produ??o
  11. 11. Roteiro pr?tico ? como construir pipeline em que se confia
  12. 12. Diverg?ncias e tens?es no debate
  13. 13. Conclus?o ? pipeline ?onde a decis?o come?a
  14. Refer?ncias e leitura adicional
  15. 4.1 Reliability (Confiabilidade)
  16. 4.2 Scalability (Escalabilidade)
  17. 4.3 Maintainability (Manutenibilidade)
  18. Ato 1 ? Bill Inmon vs Ralph Kimball (anos 90)
  19. Ato 2 ? Data Lake (anos 2010)
  20. Ato 3 ? Lakehouse (CIDR 2021)
  21. Ato 4 ? Data Mesh (2019?2020)
  22. 6.1 Arquitetura Lambda (Nathan Marz, 2011)
  23. 6.2 Arquitetura Kappa (Jay Kreps, 2014)
  24. 6.3 Onde estamos hoje
  25. 9.1 Knight Capital ? US$ 440 milh?es em 45 minutos
  26. 9.2 Robinhood/GameStop ? janeiro de 2021
  27. 9.3 Casos brasileiros que importam
  28. 11.1 Princ?pios (Beauchemin + Kleppmann)
  29. 11.2 Estrutura de camadas (medallion)
  30. 11.3 Orquestra??o e workflow
  31. 11.4 Contratos (Sanderson)
  32. 11.5 Observabilidade (Five Pillars / Moses)
  33. 11.6 Governan?a como c?digo
  34. 11.7 DataOps (DORA aplicado a dado)
  35. 12.1 Data Mesh vs Centralized Warehouse
  36. 12.2 Lakehouse vs Warehouse "puro"
  37. 12.3 Kappa vs Lambda
  38. 12.4 ETL vs ELT
  39. 12.5 Modelagem dimensional ainda importa?
  40. Livros essenciais
  41. Papers e ensaios fundadores
  42. Casos e estudos
  43. Opera??o e DataOps

TL;DR? Pipeline de dados n?o ?encanamento, ?infraestrutura de decis?o. Quando ele falha, o que falha n?o ?"o dado": ?a decis?o que dependia dele, multiplicada por todos os processos a jusante. A literatura t?cnica ?farta sobre o tema ?Designing Data-Intensive Applications (Kleppmann, 2017), Fundamentals of Data Engineering (Reis & Housley, 2022), Functional Data Engineering (Beauchemin, 2018), Lakehouse Paper (Armbrust et al., CIDR 2021), Data Mesh Principles (Dehghani, 2020), Questioning the Lambda Architecture (Kreps, 2014), Data Contracts (Sanderson, 2022+). E h? os casos ?Knight Capital perdeu US$ 440 milh?es em 45 minutos por uma falha de deploy. Pipeline fr?gil ?caro. Este artigo mostra por qu? e como construir pipeline em que se confia.


1. A provoca??o

Pipeline de dados ainda ?tratado, em muitas empresas, como detalhe t?cnico. O CEO entra no comit?, olha o dashboard, e raramente pergunta:

  • De qual sistema esse n?mero saiu?
  • Quando foi atualizado pela ?ltima vez?
  • Quem ?o owner do pipeline?
  • Existe SLA?
  • O que acontece se a fonte cair ?s 3h da manh??

Ele pergunta o n?mero? e age sobre ele. O problema ?que o n?mero que ele v? ?s? o ?ltimo elo de uma cadeia de pr?-condi??es. Quebra qualquer elo e o n?mero perde sentido. Pior: continua bonito, plaus?vel e operacionalmente errado.

A tese deste artigo:

Pipeline de dados ?a infraestrutura de decis?o da empresa. Trat?-lo como detalhe t?cnico ?tratar a funda??o do pr?dio como detalhe arquitet?nico.

A defesa t?cnica vem a seguir.


2. O que ?, formalmente, um pipeline de dados

Joe Reis e Matt Housley, em Fundamentals of Data Engineering (O'Reilly, 2022) ? hoje o livro-texto mais adotado do setor ? definem o ciclo de vida da engenharia de dados em cinco est?gios + correntes transversais:

Est?gioO que faz
GenerationOnde o dado nasce (apps, sensores, logs, ERPs)
StorageOnde fica (OLTP, lake, warehouse, lakehouse, feature store)
IngestionComo entra (batch, CDC, streaming, API)
TransformationComo vira informa??o (SQL, dbt, Spark, Flink)
ServingComo sai (BI, ML, reverse ETL, APIs anal?ticas)

Atravessando tudo, correntes transversais: seguran?a, gest?o de dados (governan?a, modelagem, lineage, qualidade), DataOps (CI/CD, monitoramento), arquitetura, orquestra??o, engenharia de software.

Cada est?gio pode falhar de forma silenciosa. Cada corrente transversal pode ser inexistente. E uma corrente fraca em uma empresa faz toda a casa balan?ar quando o vento bate.

A primeira mudan?a de mentalidade: pipeline n?o ?"o ETL". Pipeline ?o ciclo completo, com correntes transversais, vivendo e respirando o tempo todo.


3. Maxime Beauchemin ? pipeline como engenharia funcional

Maxime Beauchemin, criador do Apache Airflow no Airbnb, ?uma das vozes mais influentes da ?ltima d?cada. Em 2017 ele publicou The Rise of the Data Engineer, definindo a profiss?o como "superset de BI e data warehousing trazendo mais elementos da engenharia de software".

Em janeiro de 2018, ele tornou expl?cito o princ?pio que sustenta um pipeline confi?vel: Functional Data Engineering ? a modern paradigm for batch data processing. A s?ntese:

"Pure functions, without side-effects, can be written, tested, and debugged in isolation. By applying functional programming principles to data engineering, we bring clarity to ETL: reproducibility, immutability, testability."

Os princ?pios funcionais aplicados a pipeline s?o quatro, e quem opera dado os vive todo dia:

  1. Idempot?ncia? rodar a mesma transforma??o duas vezes para a mesma janela devolve o mesmo resultado. Sem isso, retry ?roleta.
  2. Imutabilidade? parti??es hist?ricas n?o mudam. Mudou?Nova parti??o. Nada de UPDATE em escala.
  3. Determinismo? dada a mesma entrada e o mesmo c?digo, a sa?da ?sempre a mesma. Sem efeitos colaterais ocultos.
  4. Reprodutibilidade? qualquer resultado pode ser refeito a partir do dado bruto e do c?digo versionado.

Esses quatro princ?pios s?o a diferen?a entre pipeline em que se confia e pipeline que precisa ser "babado". Se sua resposta para um erro em produ??o ?"vou rodar de novo e torcer", voc? violou os quatro de uma vez.

??Conex?o: o paper irm?o sobre IA mostra que rotulagem reprodut?vel ?base de modelo confi?vel. O mesmo princ?pio escala para dado: se o pipeline n?o ?funcional, nenhuma an?lise l? em cima ?audit?vel.


4. Martin Kleppmann ? DDIA: as tr?s propriedades que importam

Martin Kleppmann (University of Cambridge) publicou em 2017 Designing Data-Intensive Applications? o livro t?cnico mais respeitado da d?cada sobre sistemas distribu?dos com foco em dado. A 2? edi??o saiu em 2026, coautorada com Chris Riccomini.

A contribui??o mais ?til para pipeline de dados est? no cap?tulo 1. Kleppmann define tr?s propriedades n?o-negoci?veis de qualquer sistema de dados s?rio:

4.1 Reliability (Confiabilidade)

"O sistema deve continuar trabalhando corretamente (executando a fun??o certa no n?vel de performance desejado) mesmo na presen?a de adversidade (faltas em hardware ou software, ou erro humano)."

Para pipeline isso significa: toler?ncia a falhas. Job morreu no meio? Sem corrup??o de sa?da. Schema mudou? Detectado, alertado, com fallback. Operador apagou tabela por engano? Restaur?vel.

4.2 Scalability (Escalabilidade)

"? medida que o sistema cresce (em dado, em tr?fego, em complexidade), deve haver caminhos razo?veis para lidar com esse crescimento."

Para pipeline: particionamento, paralelismo, separa??o compute/storage, escolha consciente entre batch e stream.Throughput planejado em ordem de grandeza, n?o em chute.

4.3 Maintainability (Manutenibilidade)

"Operabilidade, simplicidade e evolutability ? a capacidade do sistema ser operado, entendido e modificado por equipes diferentes ao longo do tempo."

Para pipeline: c?digo leg?vel, depend?ncias documentadas, DAGs audit?veis, observabilidade que conta hist?rias humanas, n?o s? m?tricas t?cnicas.

??Conex?o: Kleppmann ?literal ? a maioria dos problemas em produ??o n?o ?falta de tecnologia, ?falta dessas tr?s propriedades sendo tratadas como requisitos, n?o como "veremos depois".


5. Arquiteturas ? a evolu??o em 4 atos

Nenhuma discuss?o sobre pipeline sobrevive sem passar pela hist?ria das arquiteturas. Em sequ?ncia:

Ato 1 ? Bill Inmon vs Ralph Kimball (anos 90)

Dois pais fundadores do data warehouse, com filosofias opostas que ainda hoje orientam projetos:

Inmon enfatiza integridade; Kimball enfatiza usabilidade. Na pr?tica, a maioria dos projetos modernos ?hibrida: armazenamento normalizado em camada bronze/silver, modelagem dimensional em camada gold. Nenhum dos dois "perdeu" ? ambos comp?em.

Ato 2 ? Data Lake (anos 2010)

Hadoop, depois S3/ADLS/GCS. Promessa: armazene tudo, decida depois ("schema-on-read"). Realidade frequente: data swamp? sem cat?logo, sem owner, sem qualidade. Quem viveu pipeline com 600 tabelas Parquet sem cat?logo sabe do que falo.

Ato 3 ? Lakehouse (CIDR 2021)

Michael Armbrust, Ali Ghodsi, Reynold Xin e Matei Zaharia (UC Berkeley/Stanford/Databricks) publicaram em 2021 Lakehouse: A New Generation of Open Platforms that Unify Data Warehousing and Advanced Analytics, propondo unificar warehouse e lake em uma camada s?. Tr?s pilares:

  1. Formato aberto (Parquet/ORC + Delta Lake, Apache Iceberg ou Apache Hudi para transa??es ACID).
  2. Suporte de primeira classe a ML/DS (n?o s? SQL).
  3. Performance competitiva com warehouse (benchmarks TPC-DS).

Bem ou mal, Lakehouse virou o desenho dominante de plataforma anal?tica moderna em cloud. Saber que existe ? e por que existe ? ?parte do trabalho de arquitetar pipeline em 2024?2026.

Ato 4 ? Data Mesh (2019?2020)

Zhamak Dehghani (ThoughtWorks) prop?s em 2019, e formalizou em 2020, o Data Mesh? uma rea??o ao gargalo do time central de dados. Quatro princ?pios:

  1. Domain-oriented decentralized ownership? cada dom?nio de neg?cio ?dono do seu dado anal?tico, igual a microsservi?o.
  2. Data as a product? dado tem owner, SLA, contrato, consumer, observabilidade. Tratado como produto, n?o como subproduto.
  3. Self-serve data infrastructure as a platform? plataforma comum permite dom?nios operarem sem refazer infraestrutura.
  4. Federated computational governance? pol?ticas s?o c?digo, aplicadas em todo o mesh, n?o comandadas de cima.

Data Mesh n?o ?"moda" ? ?uma resposta a uma falha real: times centralizados n?o escalam com a complexidade de neg?cio. Mas ?controverso (volto ? diverg?ncia adiante).


6. Lambda vs Kappa ? batch e streaming em paz

Outra ramifica??o importante: quando o tempo de decis?o exige lat?ncia baixa, pipeline puramente batch n?o basta.

6.1 Arquitetura Lambda (Nathan Marz, 2011)

Dois caminhos em paralelo:

  • Batch layer: processa todo o hist?rico, lentamente, com alta precis?o.
  • Speed layer: processa em tempo real, com aproxima??o.
  • Serving layer: combina os dois para entregar resposta.

Funciona, mas tem um custo: mant?m duas implementa??es da mesma l?gica, em frameworks diferentes (Hadoop + Storm/Spark Streaming).

6.2 Arquitetura Kappa (Jay Kreps, 2014)

Jay Kreps, cocriador do Apache Kafka e fundador da Confluent, publicou em julho de 2014 Questioning the Lambda Architecture. Tese: streaming bem feito ?suficiente.

"Por que manter duas pilhas, duas linguagens, dois bugs? Se o backbone for um log distribu?do imut?vel (Kafka), voc? pode replay do log inteiro e reprocessar como streaming. Uma codebase, um modelo mental."

A Kappa Architecture, com Kafka + Flink (ou Spark Structured Streaming), virou a base de muitas pilhas modernas ? Uber, LinkedIn, Netflix.

6.3 Onde estamos hoje

Lambda ainda ?defens?vel quando a empresa tem dois universos de stakeholders (anal?tico tolerante a lat?ncia grande + operacional cr?tico).Kappa vence em ambientes onde streaming ?o padr?o. Empresas grandes vivem com modelos h?bridos, escolhendo por caso de uso.

??Conex?o: lat?ncia de decis?o ?um requisito, n?o um luxo. Pipeline di?rio?coerente com decis?o semanal; pipeline di?rio para decidir oferta em tempo real ?arquitetura errada.


7. Data Contracts ? o sistema imune do pipeline

A inova??o metodol?gica mais relevante dos ?ltimos 3 anos no setor ?o conceito de data contract, popularizado por Chad Sanderson e adotado em empresas como Convoy, GoCardless e Glassdoor.

A defini??o operacional:

Um contrato de dado ?um acordo program?tico, versionado e enforced, entre um produtor (servi?o/aplica??o que gera dado) e um consumidor (pipeline anal?tico, ML, BI) sobre o schema, sem?ntica, qualidade e SLA do dado.

Os elementos can?nicos de um data contract:

  1. Schema? colunas, tipos, null?veis, faixas, formato.
  2. Sem?ntica? defini??o operacional de cada campo (o que ?"ativo"? o que ?"convertido"?).
  3. SLA? frescor, completude, frequ?ncia, lat?ncia.
  4. Owner? quem responde quando quebra.
  5. Versionamento? semver, breaking change comunicado.
  6. Consumers declarados? quem usa, para qu?.

A diferen?a pr?tica:

  • Sem contrato: produtor mexe no schema, pipeline anal?tico quebra na madrugada, analista descobre na sexta de manh?, comit? de segunda fica sem n?mero.
  • Com contrato: PR do produtor ?bloqueado por CI/CD se viola contrato; mudan?a ?comunicada com tempo; consumidores migram; nada quebra.

??Conex?o: Sanderson defende "shift-left"? qualidade detectada o mais pr?ximo poss?vel da fonte. ? o mesmo princ?pio que Andrew Ng aplica a IA e que MIT Sloan aplica a cultura de dados.


8. Observabilidade de dados ? a camada que faltava

Pipeline confi?vel tem observabilidade nativa. Barr Moses (Monte Carlo) popularizou as "Five Pillars of Data Observability" em 2020:

  1. Freshness? quando a tabela foi atualizada pela ?ltima vez?
  2. Distribution? os valores est?o dentro do esperado?
  3. Volume? est? chegando a quantidade certa de linhas?
  4. Schema? o schema mudou sem aviso?
  5. Lineage? de onde veio cada coluna? quem usa o qu??

Equivalente em pipeline ao que APM (Application Performance Monitoring) ?em software. E ainda surpreendentemente raro fora de empresas com cultura de dados madura. Sem isso, descobre-se que o pipeline quebrou pelo consumidor reclamando? frequentemente, em comit?.


9. Casos ? quando pipeline fr?gil custou caro

9.1 Knight Capital ? US$ 440 milh?es em 45 minutos

Em 1? de agosto de 2012, a Knight Capital Americas perdeu US$ 440 milh?es em 45 minutos (NYT/DealBook; SEC Order 2013). O sistema de roteamento autom?tico (SMARS) processou 212 ordens de varejo e disparou mais de 4 milh?es de ordens em 154 a??es, acumulando posi??o l?quida de US$ 3,5 bilh?es antes de ser parado.

A causa-raiz?Pipeline de deploy mal arquitetado.

  • Em 2005, um trecho de c?digo foi movido para um ponto mais inicial da sequ?ncia, deixando uma rota "morta" no c?digo.
  • Em julho de 2012, no deploy para suportar o novo Retail Liquidity Program da NYSE, o novo c?digo foi instalado em 7 dos 8 servidores. No oitavo, o c?digo antigo continuou ativo, mas agora referenciava aquela rota morta.
  • Quando ordens chegaram, o oitavo servidor disparou uma cascata de ordens duplicadas. Em 45 minutos, a empresa estava quebrada.

O incidente ?o estudo de caso mais citado em SRE/DataOps para tr?s princ?pios:

  1. Deploys precisam ser audit?veis e at?micos? todos os servidores ou nenhum.
  2. C?digo morto ?mina ativada?feature flags removidas no mesmo PR que as elimina.
  3. Disjuntores s?o obrigat?rios? automated kill-switch quando output sai da distribui??o esperada.

A SEC multou a Knight Capital em US$ 12 milh?es em 2013. A empresa foi vendida ? Getco em dezembro de 2012.

9.2 Robinhood/GameStop ? janeiro de 2021

Em janeiro de 2021, o pico de short squeeze do GameStop sobrecarregou a infraestrutura da Robinhood. A rea??o foi bloquear compras de GME, AMC e outros ? em parte por requisitos de clearing, em parte porque a arquitetura de risco n?o tinha sido projetada para aquele volume. Resultado: investiga??o do Congresso, processos coletivos, multa de US$ 65 milh?es pela SEC.

A li??o: pipeline de risco precisa escalar como pipeline de receita. Quando n?o escala, o neg?cio toma decis?es defensivas que custam confian?a do cliente.

9.3 Casos brasileiros que importam

Sem entrar em alvos espec?ficos, qualquer profissional s?nior de dados no Brasil sabe que:

  • Opera??es de cobran?a que mandaram WhatsApp para clientes errados porque o pipeline de telefone n?o foi higienizado.
  • Bancos que abriram cr?dito para CPF errado porque pipeline de bureau teve lat?ncia maior que o esperado.
  • E-commerce que cobrou frete errado porque pipeline de CEP tinha cache vencido.

Em todos: o dashboard mostrava n?mero. O pipeline tra?a o n?mero. A empresa decidiu sobre engano.


10. Antipadr?es que ainda vivem em produ??o

Lista crua, observada repetidamente em diagn?sticos:

Antipadr?oPor que ?perigoso
"Rodar de madrugada e torcer"Sem idempot?ncia, retry ?roleta russa
Cron solto em servidorSem orquestra??o, sem retry, sem observabilidade, sem owner
Pipeline sem testesVoc? s? descobre a falha quando o consumidor reclama
Sem versionamento de schemaProdutor muda; pipeline anal?tico quebra em sil?ncio
Tabela "final_v3_FINAL"Sem versionamento real, sem lineage, ningu?m sabe qual ?a oficial
SELECT * FROM produ??oSem contrato, qualquer adi??o de coluna pode quebrar consumidores
"Limpa no BI"Limpeza fora do pipeline = limpeza n?o-audit?vel e irreproduz?vel
Sem dead-letter queueLinha ruim derruba job inteiro; ou pior, ?silenciosamente descartada
Late-arriving data n?o tratadoJanelas fechadas; dado correto fica fora
Sem cat?logo / lineageN?o d? para responder "quem usa esta tabela?" antes de despublic?-la
Permiss?es "ALL" em produ??oUm DROP TABLE mal direcionado e ?fim de semana perdido
Sem ambiente de stageMudan?a vai direto ? veia

Cada linha aqui ?fruto de literatura t?cnica (Beauchemin, Kleppmann, Reis & Housley, Sanderson). N?o ?opini?o ? ?converg?ncia.


11. Roteiro pr?tico ? como construir pipeline em que se confia

A s?ntese, organizada em camadas:

11.1 Princ?pios (Beauchemin + Kleppmann)

  • Idempot?ncia? toda transforma??o devolve o mesmo resultado para a mesma janela de entrada.
  • Imutabilidade? parti??es hist?ricas n?o mudam; novas vers?es substituem.
  • Determinismo? sem efeitos colaterais ocultos (sem timestamps externos n?o-versionados, sem chamadas a APIs cujo resultado muda).
  • Reprodutibilidade? c?digo versionado + dado bruto = poss?vel regenerar qualquer sa?da.
  • Reliability / Scalability / Maintainability? requisitos expl?citos, com testes correspondentes.

11.2 Estrutura de camadas (medallion)

  • Bronze? dado bruto, imut?vel, no formato em que veio.
  • Silver? dado limpo, padronizado, com schema controlado.
  • Gold? dado modelado para consumo (dimensional, marts, features).
  • Nada de pular camadas? cada uma tem prop?sito.

11.3 Orquestra??o e workflow

  • DAG expl?cito (Airflow, Dagster, Prefect) com depend?ncias audit?veis.
  • Retry com exponential backoff, idempotente.
  • SLA monitorado? alerta quando job atrasa, n?o s? quando falha.
  • Backfill disciplinado ? script pronto, testado, n?o improvisado ?s 23h.

11.4 Contratos (Sanderson)

  • Schema versionado e validado em CI/CD.
  • Mudan?as breaking comunicadas com tempo (m?nimo 1 sprint).
  • Owner nominal por dataset.
  • SLA expl?cito de frescor, completude e disponibilidade.

11.5 Observabilidade (Five Pillars / Moses)

  • Freshness, Distribution, Volume, Schema, Lineage.
  • Alertas direcionados ao owner (n?o para canal gen?rico onde ningu?m olha).
  • Dashboard de sa?de do pipeline acess?vel aos consumidores.

11.6 Governan?a como c?digo

  • Permiss?es versionadas (IaC).
  • Pol?tica de reten??o / privacidade aplicada por cat?logo, n?o por conven??o.
  • Lineage automatizado (OpenLineage, Datakin, Atlan).

11.7 DataOps (DORA aplicado a dado)

  • Lead time for changes? quanto tempo da PR at?produ??o?
  • Deployment frequency? com que frequ?ncia mudan?as entram?
  • Change failure rate? quantas mudan?as causam incidente?
  • Mean time to restore? quanto tempo at?voltar?

Essas quatro m?tricas ? popularizadas pelo estudo DORA (DevOps Research and Assessment, Forsgren et al., 2018) ? funcionam diretamente em pipeline de dados. E s?o inc?modas no bom sentido: o pipeline que ningu?m mexe h? 6 meses porque "est? rodando" ?, em geral, o que vai quebrar feio quando precisar mudar.


12. Diverg?ncias e tens?es no debate

Como nos artigos irm?os, vale transpar?ncia: h?debates leg?timos dentro da literatura t?cnica.

12.1 Data Mesh vs Centralized Warehouse

Zhamak Dehghani defende mesh.Bill Inmon, em entrevistas recentes, discorda parcialmente? argumenta que descentralizar sem funda??o de qualidade reproduz silos.Joe Reis j? criticou o exagero de ado??o sem entender que mesh ?um modelo organizacional, n?o uma stack tecnol?gica. A s?ntese honesta: mesh resolve problemas de escala organizacional, mas ?overengineering para empresas pequenas/m?dias. Aplique pelo problema, n?o pelo hype.

12.2 Lakehouse vs Warehouse "puro"

Defensores de warehouse tradicional (Snowflake, BigQuery) apontam que lakehouse ainda paga pre?o em lat?ncia e maturidade de SQL para certos workloads. Defensores de lakehouse (Databricks, Iceberg, Hudi) apontam custo, vendor lock-in e dificuldade de ML em warehouse fechado.Tend?ncia clara: converg?ncia (Snowflake suporta Iceberg; Databricks tem Photon; BigQuery tem BigLake). O debate ?menos "vs" e mais "qual mix".

12.3 Kappa vs Lambda

J? discutido. Posi??o honesta: streaming n?o ?gr?tis. Streaming bem feito ?caro em complexidade operacional. Lambda continua razo?vel onde lat?ncia anal?tica grande ?aceit?vel.

12.4 ETL vs ELT

ETL (transforma antes de carregar) versus ELT (carrega bruto, transforma no warehouse) era debate em 2018. Em 2024 venceu ELT para a maioria dos casos (gra?as a warehouses el?sticos como Snowflake/BigQuery + dbt). Ainda h? casos onde ETL faz sentido ? pipelines com PII pesado que n?o pode pousar bruto no warehouse, por exemplo.

12.5 Modelagem dimensional ainda importa?

Alguns artigos recentes (especialmente em torno de "metric layers" como Cube, MetricFlow do dbt) sugerem que modelagem dimensional tradicional est? em obsolesc?ncia.Kimball respondeu no blog do Kimball Group em 2020 e 2022: o paradigma continua relevante; o que mudou ?a ergonomia (modelagem em SQL versionado vs. ferramentas propriet?rias). N?o jogue a modelagem dimensional fora antes de entender o que ela resolvia.

S?ntese honesta: n?o h? diverg?ncia sobre o ponto central deste artigo ?pipeline ?base de decis?o. H? diverg?ncia sobre arquitetura ?tima, e essa diverg?ncia ?saud?vel.


13. Conclus?o ? pipeline ?onde a decis?o come?a

A tese do artigo, ao final:

Empresa n?o decide por dado. Decide por dado entregue por um pipeline. Quando o pipeline ?confi?vel, a empresa decide por evid?ncia. Quando o pipeline ?fr?gil, a empresa decide por n?mero decorativo? e descobre, frequentemente, no m?s seguinte.

O dashboard?o ?ltimo elo. O modelo de IA?s? uma das sa?das. O pipeline?o que sustenta os dois. Quando ele falha:

  • O dashboard pode continuar bonito.
  • O modelo pode continuar respondendo.
  • A empresa pode continuar reunindo.
  • E tudo isso estar? errado ao mesmo tempo.

A pergunta-teste, no mesmo esp?rito dos artigos irm?os:

??Se amanh? uma das fontes principais do seu pipeline ficar fora do ar por 6 horas, o que acontece?

  • H? detec??o autom?tica em menos de 15 minutos?
  • O owner ?alertado por canal certo?
  • Existe fallback documentado?
  • Os consumidores s?o avisados antes de o n?mero errado aparecer em comit??
  • O backfill, quando a fonte voltar, ?idempotente?

Se as cinco respostas s?o "sim", voc? tem pipeline. Se alguma ?"n?o", voc? tem encanamento esperando estourar? e a decis?o da semana que vem vai ser sobre engano.


Refer?ncias e leitura adicional

Livros essenciais

Papers e ensaios fundadores

Casos e estudos

Opera??o e DataOps


Dados com contexto, estrat?gia e pr?tica.

Antes de ir

Este artigo foi útil?

Curta para registrar e compartilhe com quem precisa tomar decisão com dados.

Continue lendo

Artigos relacionados

Governança
Agente de IA já está em produção — e o gargalo é o seu dado
12 min
Inteligência Artificial
IA sem dados confi?veis s? automatiza confus?o
26 min
Liderança Técnica
Nem toda empresa precisa de IA
19 min