IA sem dados confiáveis só automatiza confusão

TL;DR — IA não cria verdade, aprende padrões. Se o padrão vem de dado inconsistente, viesado, mal documentado ou drift, o modelo escala o erro com velocidade industrial. A literatura técnica é categórica: o famoso paper Hidden Technical Debt in Machine Learning Systems (Sculley et al., Google, NeurIPS 2015) já avisava que "ML é o cartão de crédito da dívida técnica". Andrew Ng formalizou em Data-Centric AI que melhorar dado supera melhorar modelo. Buolamwini e Gebru provaram em Gender Shades (2018) que dataset desbalanceado vira sistema com erro de 34,7% em mulheres negras. Bender, Gebru e colegas, em Stochastic Parrots (2021), mostraram por que LLM "grande" não é o mesmo que LLM "bom". E os surveys recentes de 2023–2024 sobre alucinações em LLMs reafirmam: dado é a causa raiz mais frequente. Este artigo é a versão científica da provocação — com nomes, papers e datas.

1. A provocação técnica

"IA é amplificador. Se o dado é frágil, o modelo escala fragilidade. Se o dado é viesado, o modelo escala viés. Se o dado está fora de contexto, o modelo gera alucinação confiante. IA sem dado confiável automatiza confusão — só que mais rápido, mais barato e com cara de algoritmo."

Essa é a tese. Ela tem duas implicações que precisam ser ditas em voz alta porque a indústria ainda finge não ouvir:

Modelo não conserta dado. A esperança recorrente de que "treinar com mais dado resolve o problema" é falsa quando o problema é estrutural: definição ambígua, rotulagem inconsistente, distribuição desbalanceada, contexto faltando, drift não monitorado.
IA não é solução, é amplificador de processo. Aplicada a um processo claro, com dado confiável, ela amplifica resultado. Aplicada ao caos, ela amplifica caos. Não existe carma. Existe pipeline.

O resto do artigo é a defesa técnica desse argumento — com casos reais, papers fundadores e práticas que sustentam.

2. GIGO clássico, GIGO 2024

A frase "garbage in, garbage out" nasceu no MIT em 1957, atribuída ao programador George Fuechsel da IBM, e atravessou sete décadas sem perder validade. O que mudou em 2024 não é o princípio, é a escala e a opacidade:

Escala — em 1957, "garbage in" significava um deck de cartões com erro. Em 2024, significa trilhões de tokens raspados da web, dezenas de milhões de imagens, gigabytes de logs.
Opacidade — antes você lia a entrada. Agora a entrada está distribuída em buckets S3, data lakes, feature stores, embeddings, contextos de retrieval. Saber o que entrou em quê é um problema de arqueologia de dados.

O que era um aviso de boas práticas virou uma categoria de risco operacional. E a literatura técnica responde a esse risco há pelo menos uma década.

3. Sculley et al. (Google, 2015) — a dívida técnica oculta do ML

O paper Hidden Technical Debt in Machine Learning Systems, de D. Sculley e colegas do Google, publicado em NeurIPS 2015, é o documento fundador do que hoje se chama MLOps. Aviso na introdução:

"Machine learning offers a fantastically powerful toolkit for building useful complex prediction systems quickly. This paper argues it is dangerous to think of these quick wins as coming for free. Using the software engineering framing of technical debt, we find it is common to incur massive ongoing maintenance costs in real-world ML systems."

Sculley et al. listam categorias de dívida técnica que não existem em software comum e que vivem na fronteira entre código e dado:

Entanglement — "Changing Anything Changes Everything" (CACE): trocar uma feature recalibra todo o modelo. Sem isolar, qualquer mexida custa caro.
Hidden feedback loops — o modelo afeta o sistema que gera o dado que retreina o modelo. Sem detectar, o viés se autoamplifica.
Undeclared consumers — pipelines onde times consomem a saída do modelo sem o produtor saber. Quando o produtor muda, quebra silenciosa.
Data dependencies — features dependem de fontes que mudam de schema, semântica, frequência. Sem contrato, frágil.
Configuration debt — hiperparâmetros, splits, thresholds, regras de fallback dispersos em código, notebooks e e-mail.
Changes in the external world — o mundo muda; o modelo treinado em 2022 não enxerga 2024.

A síntese mais lembrada do paper: "ML systems are a high-interest credit card of technical debt". Dez anos depois, a indústria ainda paga juro.

4. Andrew Ng (2021) — a virada para Data-Centric AI

Em março de 2021, Andrew Ng anunciou publicamente o que muita gente vivia sem nomear: mudar dado dá mais retorno que mudar modelo. A campanha Data-Centric AI (From Big Data to Good Data; The Data-Centric AI Approach) condensou anos de prática em três afirmações:

99% da pesquisa em IA é centrada em modelo, mas 80% do tempo dos times é gasto em dado. A pesquisa publica novas arquiteturas; o trabalho real é em rotulagem, limpeza e curadoria.
Para datasets pequenos (< 10.000 exemplos), melhorar rótulos supera coletar mais dado. Em problemas industriais (50–100 amostras), o ganho via data-centric frequentemente passa de 20%, sem trocar o modelo.
"Data is food for AI. Don't feed it junk." A frase é a tatuagem da década. Mais dado de baixa qualidade não é melhor do que menos dado de alta qualidade.

As cinco práticas operacionais que Ng recomenda são desconfortavelmente simples:

Tornar rótulos consistentes (dois rotuladores devolvem o mesmo rótulo?).
Usar consenso entre rotuladores com revisão e desempate.
Documentar as instruções de rotulagem (e versioná-las).
Remover exemplos ruidosos ou ambíguos.
Usar análise de erro para descobrir onde o dado está mentindo.

Convergência com a tese: IA "ruim" raramente é problema de algoritmo. É quase sempre problema de dado mal definido, mal rotulado ou mal curado.

5. Casos icônicos — o que aconteceu quando se ignorou o dado

A literatura é unânime em um ponto: os casos mais célebres de "IA que deu errado" são, na verdade, casos de dado que deu errado. Quatro deles compõem o cânone.

5.1 Amazon, 2014–2018 — o recrutador algorítmico misógino

A Amazon começou em 2014 a desenvolver um sistema interno para triagem automática de currículos. O sistema atribuía nota de 1 a 5 estrelas aos candidatos. Em 2015 a equipe percebeu que o sistema penalizava sistematicamente mulheres — rebaixava currículos que continham a palavra "women's" (como em "women's chess club captain") e desclassificava graduadas de faculdades femininas (Reuters/MIT Tech Review, 2018).

A causa raiz não foi o algoritmo. Foi o conjunto de treinamento: 10 anos de currículos majoritariamente masculinos. O modelo aprendeu o padrão que o dado entregou —"homens são preferíveis para essa empresa" — e o internalizou como sinal de qualidade. Em 2018 a Amazon dissolveu o time e arquivou o projeto.

A lição é técnica e moral ao mesmo tempo: dataset representa o passado, modelo perpetua o passado, decisão impõe o passado ao futuro.

5.2 COMPAS, 2016 — recidiva criminal com viés racial

A reportagem Machine Bias da ProPublica em 2016 analisou o COMPAS, sistema da Northpointe usado em tribunais americanos para estimar risco de reincidência criminal. Em mais de 10.000 réus em Broward County (FL):

Réus negros tinham 2× mais chance de serem classificados erroneamente como alto risco quando não reincidiriam (45% vs. 23%).
Réus brancos tinham 2× mais chance de serem classificados erroneamente como baixo risco quando reincidiriam (48% vs. 28%).
Mesmo controlando por crime prévio, idade e gênero, réus negros recebiam 45–77% mais probabilidade de receber pontuação alta.

A Northpointe respondeu que o sistema era "igualmente preditivo" entre grupos raciais — e essa resposta abriu uma discussão técnica importante: definições diferentes de fairness são matematicamente incompatíveis (Chouldechova, 2017; Kleinberg et al., 2017). Mas, voltando ao ponto deste artigo: o dado histórico de policiamento e justiça americana carrega séculos de viés. Treinar um modelo nesse dado e esperar saída neutra é matemática ingênua.

5.3 Gender Shades, 2018 — reconhecimento facial com erro 43× maior em mulheres negras

Grupo	Taxa de erro pior
Homens de pele clara	0,8%
Mulheres de pele escura	34,7%

Diferença de cerca de 43×. A razão?Datasets de avaliação majoritariamente compostos por homens brancos — o benchmark IJB-A tinha 79,6% de sujeitos de pele clara; o Adience tinha 86,2%. As autoras construíram o Pilot Parliaments Benchmark, balanceado, e expuseram o que os benchmarks da indústria escondiam.

Consequências reais:

A IBM descontinuou seu produto de reconhecimento facial em 2020.
A Microsoft aposentou classificação de gênero em 2023.
O paper acumulou mais de 3.400 citações e virou Netflix em Coded Bias.

Lição operacional: se seu dataset não representa a população que vai usar o sistema, seu modelo não está pronto para essa população. Ponto.

5.4 Microsoft Tay, 2016 — feedback loop não controlado

Em 23 de março de 2016 a Microsoft lançou no Twitter o chatbot Tay, treinado para conversar com jovens adultos.Em menos de 24 horas, Tay foi retirada do ar após publicar mensagens racistas, misóginas e antissemitas. Não houve hacker: houve loop de feedback com usuários que sistematicamente alimentaram a IA com conteúdo extremo.

O caso é um exemplo perfeito do "hidden feedback loop" que Sculley já havia descrito um ano antes. Modelo aberto, sem curadoria de stream de entrada, é um espelho amplificador. Em vez de aprender com público amplo, Tay aprendeu com o pior subconjunto, e devolveu mais rápido do que qualquer humano conseguia moderar.

6. Datasheets for Datasets — documentação como infraestrutura

Em 2018, Timnit Gebru, Jamie Morgenstern, Briana Vecchione, Jennifer Wortman Vaughan, Hanna Wallach, Hal Daumé III e Kate Crawford publicaram Datasheets for Datasets, um paper inspirado nos datasheets da indústria eletrônica.

A analogia é precisa. Um resistor não vai pra produção sem datasheet com tolerância, faixa de temperatura, comportamento sob carga. Mas um dataset com milhões de imagens — usado para treinar sistema que afeta milhões de pessoas — costuma chegar sem nada. Sem motivação documentada, sem processo de coleta, sem consentimento, sem amostragem descrita, sem uso recomendado.

Um datasheet padrão responde a perguntas como:

Motivação — Por que esse dataset foi criado? Por quem? Com que financiamento?
Composição — Quantos exemplos? Que distribuição? Há instâncias sensíveis?
Processo de coleta — Como foi coletado? Quando? Com que consentimento?
Pré-processamento / Limpeza / Rotulagem — O que foi descartado? Por que? Quem rotulou?
Usos — Para que serve? Para que não serve?
Distribuição — Como o dataset é compartilhado? Licenciamento?
Manutenção — Quem mantém? Como reportar erros?

Margaret Mitchell e colegas estenderam a ideia em 2019 com Model Cards for Model Reporting, aplicando o mesmo princípio a modelos. Hoje as duas práticas são convenção em laboratórios responsáveis (Hugging Face, Google, Meta) — mas adoção corporativa é desigual.

Conexão com a tese: documentação não é burocracia, é a única forma de auditar o que entrou na IA. Sem isso, "explicar o modelo" é teatro.

7. Stochastic Parrots (2021) — quando "grande" virou problema

On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?, de Emily M. Bender, Timnit Gebru, Angelina McMillan-Major e Shmargaret Shmitchell (FAccT 2021), é um marco. Os argumentos centrais, do ponto de vista deste artigo:

Datasets gigantes não são, por construção, diversos. O acesso à internet é assimétrico (mais jovens, mais desenvolvido, mais norte global, mais homens em domínios técnicos). Sites populares dominam. Conteúdo de minorias é sub-representado. Resultado: um LLM treinado em "internet" é um LLM treinado em uma fatia específica da humanidade que ele apresenta como universal.
Custos de curadoria são opostos ao incentivo de escalar. Para um LLM de fronteira, treinar custa US$ 150.000 para mover 0,1 BLEU. A pressão é por mais token, mais rápido, não por mais curadoria.
O modelo aprende a juntar formas linguísticas — não significado. Daí "papagaio estocástico": prediz a próxima palavra com base em padrões plausíveis, sem referente ou intenção comunicativa. A fluência impressiona; o conteúdo, frequentemente, é mentira convincente.

A controvérsia em torno do paper (que levou à saída forçada de Gebru do Google em dezembro de 2020) é um capítulo à parte. O conteúdo, no entanto, envelheceu espetacularmente bem: tudo que se viu em 2023–2024 sobre alucinações em LLMs, viés em geração de imagem, custos de treino e impacto ambiental estava esboçado lá.

8. Alucinação em LLM — a versão moderna do GIGO

8.1 Taxonomia

Factuality hallucination — contradição com fato verificável do mundo real.
Faithfulness hallucination — desvio em relação à fonte fornecida (ex.: resumo que distorce o texto original).
Subcategorias úteis: input-conflicting, context-conflicting, fact-conflicting.

8.2 Causas-raiz (e onde dado entra em cada uma)

Dados de pré-treinamento massivos e mal curados — trilhões de tokens, impossível auditar em escala. Conteúdos contraditórios, errados ou enviesados aparecem misturados a verdades.
Conhecimento de cauda longa — modelos representam bem o que é frequente; representam mal o que é raro.Long-tail é onde a alucinação mais frequenta.
Otimização SFT/RLHF —fine-tuning supervisionado e RLHF podem introduzir incentivos enviesados (modelo aprende a "soar confiante" mesmo quando não tem base).
Privacidade e desatualização — dado privado removido por filtro causa lacunas; dado de antes de 2023 não enxerga 2024.
Auto-confiança inflada — o modelo gera "sem hesitar" porque é treinado para isso. Calibração de incerteza é um problema aberto.

Síntese: alucinação não é "bug" do modelo. É propriedade emergente de treinar com dado massivo, mal curado e mal documentado. Mitigar passa por RAG (recuperação que ancora a geração em fonte controlada), calibração, filtros de fato — e, sobretudo, dado de treinamento curado.

9. Distribution shift / Data drift — o mundo muda, seu modelo não sabe

Mesmo com dado limpo e bem documentado, há um inimigo silencioso: o tempo. O paper canônico aqui é Concept Drift in Machine Learning (Gama et al., 2014, ACM Computing Surveys). A taxonomia mais usada:

Covariate shift — a distribuição das features muda; o relacionamento entre features e alvo continua igual. Ex.: campanha mudou perfil de quem chega ao funil.
Prior probability shift — a base mudou (mais clientes de um segmento entraram).
Concept drift — a relação entre features e alvo mudou. Ex.: comportamento de pagamento na pandemia.

Sem monitoramento contínuo, o modelo opera no mundo de 2022 enquanto o mundo está em 2024. Isso é o que mata silenciosamente um modelo de cobrança, de churn, de fraude.

A pilha mínima de defesa: monitoramento de input distribution (PSI, KS test), de output distribution, de performance contra realidade (quando rótulo está disponível), e shadow deployment antes de promover qualquer novo modelo.

10. O modelo herda — exemplos práticos

Para tornar tangível: o que IA faz com cada tipo de dado ruim?

Problema no dado	O que a IA faz com ele
Definição ambígua de "cliente ativo"	Modelo aprende um conceito; produto consome outro. Saídas inúteis na ponta.
Rotulagem inconsistente entre rotuladores	Acurácia teto baixa, ceiling não sobe com mais dado, só com revisão.
Dataset desbalanceado (Gender Shades)	Modelo é "bom" no agregado e horrível em subgrupos.
Feature com fuga temporal	Métricas espetaculares em treino, performance pífia em produção.
Histórico que reflete preconceito (Amazon, COMPAS)	Modelo aprende e legitima o preconceito como "padrão".
Drift não monitorado	Modelo bom no go-live, ruim 6 meses depois — sem alarme.
Texto coletado sem curadoria (Stochastic Parrots)	LLM com viés tonal, lacuna de cauda longa, alucinação confiante.
Loop de feedback não controlado (Tay)	Pior subconjunto domina a aprendizagem em tempo real.

Em nenhuma dessas linhas o problema raiz é "qual algoritmo escolher". Em todas o problema raiz é dado mal definido, mal rotulado, mal documentado, mal distribuído ou mal monitorado.

11. Como montar um pipeline de IA que confia no próprio dado

A síntese pragmática, fundamentada em Sculley, Ng, Gebru, Mitchell, Bender e nos surveys de 2023–2024:

11.1 Antes do modelo, contratos de dado

Glossário de cada feature: definição, fonte, tipo, faixa, missing, owner.
Schema versionado com quebra de contrato sinalizada.
SLA de frescor e completude por dataset.

11.2 Rotulagem como engenharia

Instruções versionadas e testadas.
Inter-rater agreement medido (Cohen's kappa, Fleiss); revisão obrigatória abaixo de threshold.
Análise de erro dirigida — mais útil que mais rótulos aleatórios (Ng).

11.3 Datasheet + Model Card

Todo dataset crítico tem datasheet (Gebru et al., 2018).
Todo modelo em produção tem model card (Mitchell et al., 2019) com: dados de treino, métricas por subgrupo, casos de uso recomendado e não recomendado, limitações conhecidas.

11.4 Validação por subgrupo, não só agregada

Acurácia agregada esconde Gender Shades.
Reportar por subgrupo demograficamente relevante (gênero, etnia, faixa etária, região) sempre que aplicável.
Reportar incerteza (intervalo de confiança), não só ponto.

11.5 MLOps com observabilidade

Monitorar input distribution em produção.
Monitorar output distribution.
Monitorar performance contra realidade quando há rótulo de retorno.
Alerta automático para drift; retreino disciplinado, não impulsivo.

11.6 RAG e calibração para LLM

Para LLM com risco de alucinação: retrieval-augmented generation ancorando geração em fontes auditáveis.
Calibração de incerteza — modelo precisa saber dizer "não sei" sem perda de utilidade.
Filtros de fato e verificação automática para domínios sensíveis (saúde, finanças, jurídico).

11.7 Loop de feedback governado

Shadow deployment antes de qualquer rollout.
Verificação humana em decisões de alto impacto.
Monitoramento explícito de feedback loop (modelo afeta dado de treino futuro? Como?).

12. Divergências e tensões no debate (transparência)

Como no artigo irmão sobre data-driven, vale a transparência: discorda alguém?.

12.1 Sutton — "The Bitter Lesson"

Rich Sutton, pioneiro do aprendizado por reforço, escreveu em 2019 o ensaio The Bitter Lesson. A tese: "métodos gerais com computação escalável vencem métodos baseados em conhecimento humano".

À primeira vista, isso parece contradizer o argumento "qualidade > quantidade". Lendo de perto, não contradiz: Sutton fala que não vale codificar conhecimento humano específico no modelo; ele não argumenta que dado ruim treina IA boa. Pelo contrário, computação escalável amplifica diferenças de qualidade do dado. Em 2024, o consenso (Ng, Gebru, Bender) é que escala precisa ser acompanhada de curadoria — o oposto de "joga tudo no lake".

12.2 LeCun — model-centric com nuance

Yann LeCun (Meta) defende que arquiteturas auto-supervisionadas como JEPA reduzem a dependência de rotulagem massiva. Isso é um argumento técnico legítimo sobre o tipo de dado (não-rotulado vs. rotulado), não sobre a qualidade do dado. LeCun explicitamente defende que observação rica e estruturada do mundo é o que importa — o oposto de "qualquer dado serve".

12.3 "More data fixes everything" — a posição enterrada

O ensaio The End of Theory (Chris Anderson, Wired, 2008) e o discurso pré-2020 de "big data" sustentavam que volume superava qualidade. Em 2024, essa posição é isolada e desautorizada pela literatura técnica. Gender Shades (2018), Amazon Recruiting (2014–2018), COMPAS (2016), Tay (2016) e todos os surveys de alucinação em LLM apontam na direção oposta.

Síntese honesta: não encontrei um único pesquisador de peso defendendo, em 2024–2025, que "IA com dado ruim entrega resultado bom". O debate aberto é sobre o trade-off entre escala e curadoria — e mesmo lá, ninguém defende ausência de curadoria.

13. Conclusão — IA é amplificador, não tradutor

Voltando à provocação:

"IA sem dados confiáveis só automatiza confusão."

A frase é a versão executiva do que dez anos de pesquisa técnica sustentam:

Sculley (2015) — dívida técnica em ML vive no dado; ignorar é caríssimo.
Buolamwini & Gebru (2018) — dataset desbalanceado vira sistema discriminatório.
Gebru et al. (2018) — sem documentação, IA é caixa-preta auditavelmente irresponsável.
Mitchell et al. (2019) — model cards trazem o mesmo princípio ao modelo.
Ng (2021) — qualidade do dado supera arquitetura na maioria dos problemas reais.
Bender, Gebru et al. (2021) — "grande" não é o mesmo que "bom"; LLM gigante mal curado é amplificador de viés.
Surveys de alucinação (2023–2024) — causa raiz é dado.

A IA, hoje, faz três coisas extraordinariamente bem: encontra padrões, escala decisões, e baixa custo marginal de geração. Aplicada com dado confiável, ela acelera negócio. Aplicada com dado frágil, ela acelera o problema — e o problema agora tem cara de algoritmo, o que torna mais difícil contestar.

A pergunta-teste, no mesmo espírito do artigo irmão:

Se amanhã sua empresa colocar um modelo em produção, você consegue mostrar, em menos de cinco minutos, o datasheet do dataset de treino, a model card com performance por subgrupo, o contrato dos pipelines de entrada, e o painel de monitoramento de drift?
Se sim, sua IA é uma adição ao processo. Se não, sua IA é risco operacional com nome bonito.

Referências e leitura adicional

Papers fundadores

Sculley, D. et al. (2015).Hidden Technical Debt in Machine Learning Systems. NeurIPS.
Buolamwini, J. & Gebru, T. (2018).Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification. FAccT.
Gebru, T. et al. (2018).Datasheets for Datasets.Communications of the ACM, 2021.
Mitchell, M. et al. (2019).Model Cards for Model Reporting. FAccT.
Bender, E.M., Gebru, T., McMillan-Major, A. & Shmitchell, S. (2021).On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? FAccT.
Gama, J. et al. (2014).A Survey on Concept Drift Adaptation.ACM Computing Surveys.

Surveys recentes sobre alucinação em LLM

Huang, L. et al. (2023).A Survey on Hallucination in Large Language Models.ACM Transactions on Information Systems.
Zhang, Y. et al. (2023).Siren's Song in the AI Ocean: A Survey on Hallucination in LLMs.

Andrew Ng — Data-Centric AI

Dados com contexto, estratégia e prática.