IA sem dados confi?veis s? automatiza confus?o ? fundamentos e casos

TL;DR? IA n?o cria verdade, aprende padr?es. Se o padr?o vem de dado inconsistente, viesado, mal documentado ou drift, o modelo escala o erro com velocidade industrial. A literatura t?cnica ?categ?rica: o famoso paper Hidden Technical Debt in Machine Learning Systems (Sculley et al., Google, NeurIPS 2015) j? avisava que "ML ?o cart?o de cr?dito da d?vida t?cnica". Andrew Ng formalizou em Data-Centric AI que melhorar dado supera melhorar modelo. Buolamwini e Gebru provaram em Gender Shades (2018) que dataset desbalanceado vira sistema com erro de 34,7% em mulheres negras. Bender, Gebru e colegas, em Stochastic Parrots (2021), mostraram por que LLM "grande" n?o ?o mesmo que LLM "bom". E os surveys recentes de 2023?2024 sobre alucina??es em LLMs reafirmam: dado ?a causa raiz mais frequente. Este artigo ?a vers?o cient?fica da provoca??o ? com nomes, papers e datas.

1. A provoca??o t?cnica

"IA ?amplificador. Se o dado ?fr?gil, o modelo escala fragilidade. Se o dado ?viesado, o modelo escala vi?s. Se o dado est? fora de contexto, o modelo gera alucina??o confiante. IA sem dado confi?vel automatiza confus?o? s? que mais r?pido, mais barato e com cara de algoritmo."

Essa ?a tese. Ela tem duas implica??es que precisam ser ditas em voz alta porque a ind?stria ainda finge n?o ouvir:

Modelo n?o conserta dado. A esperan?a recorrente de que "treinar com mais dado resolve o problema" ?falsa quando o problema ?estrutural: defini??o amb?gua, rotulagem inconsistente, distribui??o desbalanceada, contexto faltando, drift n?o monitorado.
IA n?o ?solu??o, ?amplificador de processo. Aplicada a um processo claro, com dado confi?vel, ela amplifica resultado. Aplicada ao caos, ela amplifica caos. N?o existe carma. Existe pipeline.

O resto do artigo ?a defesa t?cnica desse argumento ? com casos reais, papers fundadores e pr?ticas que sustentam.

2. GIGO cl?ssico, GIGO 2024

A frase "garbage in, garbage out" nasceu no MIT em 1957, atribu?da ao programador George Fuechsel da IBM, e atravessou sete d?cadas sem perder validade. O que mudou em 2024 n?o ?o princ?pio, ?a escala e a opacidade:

Escala? em 1957, "garbage in" significava um deck de cart?es com erro. Em 2024, significa trilh?es de tokens raspados da web, dezenas de milh?es de imagens, gigabytes de logs.
Opacidade? antes voc? lia a entrada. Agora a entrada est? distribu?da em buckets S3, data lakes, feature stores, embeddings, contextos de retrieval. Saber o que entrou em qu? ?um problema de arqueologia de dados.

O que era um aviso de boas pr?ticas virou uma categoria de risco operacional. E a literatura t?cnica responde a esse risco h? pelo menos uma d?cada.

3. Sculley et al. (Google, 2015) ? a d?vida t?cnica oculta do ML

O paper Hidden Technical Debt in Machine Learning Systems, de D. Sculley e colegas do Google, publicado em NeurIPS 2015, ?o documento fundador do que hoje se chama MLOps. Aviso na introdu??o:

"Machine learning offers a fantastically powerful toolkit for building useful complex prediction systems quickly. This paper argues it is dangerous to think of these quick wins as coming for free. Using the software engineering framing of technical debt, we find it is common to incur massive ongoing maintenance costs in real-world ML systems."

Sculley et al. listam categorias de d?vida t?cnica que n?o existem em software comum e que vivem na fronteira entre c?digo e dado:

Entanglement? "Changing Anything Changes Everything" (CACE): trocar uma feature recalibra todo o modelo. Sem isolar, qualquer mexida custa caro.
Hidden feedback loops? o modelo afeta o sistema que gera o dado que retreina o modelo. Sem detectar, o vi?s se autoamplifica.
Undeclared consumers? pipelines onde times consomem a sa?da do modelo sem o produtor saber. Quando o produtor muda, quebra silenciosa.
Data dependencies? features dependem de fontes que mudam de schema, sem?ntica, frequ?ncia. Sem contrato, fr?gil.
Configuration debt? hiperpar?metros, splits, thresholds, regras de fallback dispersos em c?digo, notebooks e e-mail.
Changes in the external world? o mundo muda; o modelo treinado em 2022 n?o enxerga 2024.

A s?ntese mais lembrada do paper: "ML systems are a high-interest credit card of technical debt". Dez anos depois, a ind?stria ainda paga juro.

4. Andrew Ng (2021) ? a virada para Data-Centric AI

Em mar?o de 2021, Andrew Ng anunciou publicamente o que muita gente vivia sem nomear: mudar dado d? mais retorno que mudar modelo. A campanha Data-Centric AI (From Big Data to Good Data; The Data-Centric AI Approach) condensou anos de pr?tica em tr?s afirma??es:

99% da pesquisa em IA ?centrada em modelo, mas 80% do tempo dos times ?gasto em dado. A pesquisa publica novas arquiteturas; o trabalho real ?em rotulagem, limpeza e curadoria.
Para datasets pequenos (< 10.000 exemplos), melhorar r?tulos supera coletar mais dado. Em problemas industriais (50?100 amostras), o ganho via data-centric frequentemente passa de 20%, sem trocar o modelo.
"Data is food for AI. Don't feed it junk." A frase ?a tatuagem da d?cada. Mais dado de baixa qualidade n?o ?melhor do que menos dado de alta qualidade.

As cinco pr?ticas operacionais que Ng recomenda s?o desconfortavelmente simples:

Tornar r?tulos consistentes (dois rotuladores devolvem o mesmo r?tulo?).
Usar consenso entre rotuladores com revis?o e desempate.
Documentar as instru??es de rotulagem (e version?-las).
Remover exemplos ruidosos ou amb?guos.
Usar an?lise de erro para descobrir onde o dado est? mentindo.

??Converg?ncia com a tese: IA "ruim" raramente ?problema de algoritmo. ? quase sempre problema de dado mal definido, mal rotulado ou mal curado.

5. Casos ic?nicos ? o que aconteceu quando se ignorou o dado

A literatura ?un?nime em um ponto: os casos mais c?lebres de "IA que deu errado" s?o, na verdade, casos de dado que deu errado. Quatro deles comp?em o c?none.

5.1 Amazon, 2014?2018 ? o recrutador algor?tmico mis?gino

A Amazon come?ou em 2014 a desenvolver um sistema interno para triagem autom?tica de curr?culos. O sistema atribu?a nota de 1 a 5 estrelas aos candidatos. Em 2015 a equipe percebeu que o sistema penalizava sistematicamente mulheres? rebaixava curr?culos que continham a palavra "women's" (como em "women's chess club captain") e desclassificava graduadas de faculdades femininas (Reuters/MIT Tech Review, 2018).

A causa raiz n?o foi o algoritmo. Foi o conjunto de treinamento: 10 anos de curr?culos majoritariamente masculinos. O modelo aprendeu o padr?o que o dado entregou ?"homens s?o prefer?veis para essa empresa"? e o internalizou como sinal de qualidade. Em 2018 a Amazon dissolveu o time e arquivou o projeto.

A li??o ?t?cnica e moral ao mesmo tempo: dataset representa o passado, modelo perpetua o passado, decis?o imp?e o passado ao futuro.

5.2 COMPAS, 2016 ? recidiva criminal com vi?s racial

A reportagem Machine Bias da ProPublica em 2016 analisou o COMPAS, sistema da Northpointe usado em tribunais americanos para estimar risco de reincid?ncia criminal. Em mais de 10.000 r?us em Broward County (FL):

R?us negros tinham 2? mais chance de serem classificados erroneamente como alto risco quando n?o reincidiriam (45% vs. 23%).
R?us brancos tinham 2? mais chance de serem classificados erroneamente como baixo risco quando reincidiriam (48% vs. 28%).
Mesmo controlando por crime pr?vio, idade e g?nero, r?us negros recebiam 45?77% mais probabilidade de receber pontua??o alta.

A Northpointe respondeu que o sistema era "igualmente preditivo" entre grupos raciais ? e essa resposta abriu uma discuss?o t?cnica importante: defini??es diferentes de fairness s?o matematicamente incompat?veis (Chouldechova, 2017; Kleinberg et al., 2017). Mas, voltando ao ponto deste artigo: o dado hist?rico de policiamento e justi?a americana carrega s?culos de vi?s. Treinar um modelo nesse dado e esperar sa?da neutra ?matem?tica ing?nua.

5.3 Gender Shades, 2018 ? reconhecimento facial com erro 43? maior em mulheres negras

Grupo	Taxa de erro pior
Homens de pele clara	0,8%
Mulheres de pele escura	34,7%

Diferen?a de cerca de 43?. A raz?o?Datasets de avalia??o majoritariamente compostos por homens brancos? o benchmark IJB-A tinha 79,6% de sujeitos de pele clara; o Adience tinha 86,2%. As autoras constru?ram o Pilot Parliaments Benchmark, balanceado, e expuseram o que os benchmarks da ind?stria escondiam.

Consequ?ncias reais:

A IBM descontinuou seu produto de reconhecimento facial em 2020.
A Microsoft aposentou classifica??o de g?nero em 2023.
O paper acumulou mais de 3.400 cita??es e virou Netflix em Coded Bias.

Li??o operacional: se seu dataset n?o representa a popula??o que vai usar o sistema, seu modelo n?o est? pronto para essa popula??o. Ponto.

5.4 Microsoft Tay, 2016 ? feedback loop n?o controlado

Em 23 de mar?o de 2016 a Microsoft lan?ou no Twitter o chatbot Tay, treinado para conversar com jovens adultos.Em menos de 24 horas, Tay foi retirada do ar ap?s publicar mensagens racistas, mis?ginas e antissemitas. N?o houve hacker: houve loop de feedback com usu?rios que sistematicamente alimentaram a IA com conte?do extremo.

O caso ?um exemplo perfeito do "hidden feedback loop" que Sculley j? havia descrito um ano antes. Modelo aberto, sem curadoria de stream de entrada, ?um espelho amplificador. Em vez de aprender com p?blico amplo, Tay aprendeu com o pior subconjunto, e devolveu mais r?pido do que qualquer humano conseguia moderar.

6. Datasheets for Datasets ? documenta??o como infraestrutura

Em 2018, Timnit Gebru, Jamie Morgenstern, Briana Vecchione, Jennifer Wortman Vaughan, Hanna Wallach, Hal Daum?III e Kate Crawford publicaram Datasheets for Datasets, um paper inspirado nos datasheets da ind?stria eletr?nica.

A analogia ?precisa. Um resistor n?o vai pra produ??o sem datasheet com toler?ncia, faixa de temperatura, comportamento sob carga. Mas um dataset com milh?es de imagens ? usado para treinar sistema que afeta milh?es de pessoas ? costuma chegar sem nada. Sem motiva??o documentada, sem processo de coleta, sem consentimento, sem amostragem descrita, sem uso recomendado.

Um datasheet padr?o responde a perguntas como:

Motiva??o? Por que esse dataset foi criado? Por quem? Com que financiamento?
Composi??o? Quantos exemplos? Que distribui??o? H? inst?ncias sens?veis?
Processo de coleta? Como foi coletado? Quando? Com que consentimento?
Pr?-processamento / Limpeza / Rotulagem? O que foi descartado? Por que? Quem rotulou?
Usos? Para que serve? Para que n?o serve?
Distribui??o? Como o dataset ?compartilhado? Licenciamento?
Manuten??o? Quem mant?m? Como reportar erros?

Margaret Mitchell e colegas estenderam a ideia em 2019 com Model Cards for Model Reporting, aplicando o mesmo princ?pio a modelos. Hoje as duas pr?ticas s?o conven??o em laborat?rios respons?veis (Hugging Face, Google, Meta) ? mas ado??o corporativa ?desigual.

??Conex?o com a tese: documenta??o n?o ?burocracia, ?a ?nica forma de auditar o que entrou na IA. Sem isso, "explicar o modelo" ?teatro.

7. Stochastic Parrots (2021) ? quando "grande" virou problema

On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?, de Emily M. Bender, Timnit Gebru, Angelina McMillan-Major e Shmargaret Shmitchell (FAccT 2021), ?um marco. Os argumentos centrais, do ponto de vista deste artigo:

Datasets gigantes n?o s?o, por constru??o, diversos. O acesso ? internet ?assim?trico (mais jovens, mais desenvolvido, mais norte global, mais homens em dom?nios t?cnicos). Sites populares dominam. Conte?do de minorias ?sub-representado. Resultado: um LLM treinado em "internet" ?um LLM treinado em uma fatia espec?fica da humanidade que ele apresenta como universal.
Custos de curadoria s?o opostos ao incentivo de escalar. Para um LLM de fronteira, treinar custa US$ 150.000 para mover 0,1 BLEU. A press?o ?por mais token, mais r?pido, n?o por mais curadoria.
O modelo aprende a juntar formas lingu?sticas ? n?o significado. Da? "papagaio estoc?stico": prediz a pr?xima palavra com base em padr?es plaus?veis, sem referente ou inten??o comunicativa. A flu?ncia impressiona; o conte?do, frequentemente, ?mentira convincente.

A controv?rsia em torno do paper (que levou ? sa?da for?ada de Gebru do Google em dezembro de 2020) ?um cap?tulo ? parte. O conte?do, no entanto, envelheceu espetacularmente bem: tudo que se viu em 2023?2024 sobre alucina??es em LLMs, vi?s em gera??o de imagem, custos de treino e impacto ambiental estava esbo?ado l?.

8. Alucina??o em LLM ? a vers?o moderna do GIGO

8.1 Taxonomia

Factuality hallucination? contradi??o com fato verific?vel do mundo real.
Faithfulness hallucination? desvio em rela??o ? fonte fornecida (ex.: resumo que distorce o texto original).
Subcategorias ?teis: input-conflicting, context-conflicting, fact-conflicting.

8.2 Causas-raiz (e onde dado entra em cada uma)

Dados de pr?-treinamento massivos e mal curados? trilh?es de tokens, imposs?vel auditar em escala. Conte?dos contradit?rios, errados ou enviesados aparecem misturados a verdades.
Conhecimento de cauda longa? modelos representam bem o que ?frequente; representam mal o que ?raro.Long-tail?onde a alucina??o mais frequenta.
Otimiza??o SFT/RLHF?fine-tuning supervisionado e RLHF podem introduzir incentivos enviesados (modelo aprende a "soar confiante" mesmo quando n?o tem base).
Privacidade e desatualiza??o? dado privado removido por filtro causa lacunas; dado de antes de 2023 n?o enxerga 2024.
Auto-confian?a inflada? o modelo gera "sem hesitar" porque ?treinado para isso. Calibra??o de incerteza ?um problema aberto.

??S?ntese: alucina??o n?o ?"bug" do modelo. ?propriedade emergente de treinar com dado massivo, mal curado e mal documentado. Mitigar passa por RAG (recupera??o que ancora a gera??o em fonte controlada), calibra??o, filtros de fato? e, sobretudo, dado de treinamento curado.

9. Distribution shift / Data drift ? o mundo muda, seu modelo n?o sabe

Mesmo com dado limpo e bem documentado, h? um inimigo silencioso: o tempo. O paper can?nico aqui ?Concept Drift in Machine Learning (Gama et al., 2014, ACM Computing Surveys). A taxonomia mais usada:

Covariate shift? a distribui??o das features muda; o relacionamento entre features e alvo continua igual. Ex.: campanha mudou perfil de quem chega ao funil.
Prior probability shift? a base mudou (mais clientes de um segmento entraram).
Concept drift? a rela??o entre features e alvo mudou. Ex.: comportamento de pagamento na pandemia.

Sem monitoramento cont?nuo, o modelo opera no mundo de 2022 enquanto o mundo est? em 2024. Isso ?o que mata silenciosamente um modelo de cobran?a, de churn, de fraude.

A pilha m?nima de defesa: monitoramento de input distribution (PSI, KS test), de output distribution, de performance contra realidade (quando r?tulo est? dispon?vel), e shadow deployment antes de promover qualquer novo modelo.

10. O modelo herda ? exemplos pr?ticos

Para tornar tang?vel: o que IA faz com cada tipo de dado ruim?

Problema no dado	O que a IA faz com ele
Defini??o amb?gua de "cliente ativo"	Modelo aprende um conceito; produto consome outro. Sa?das in?teis na ponta.
Rotulagem inconsistente entre rotuladores	Acur?cia teto baixa, ceiling n?o sobe com mais dado, s? com revis?o.
Dataset desbalanceado (Gender Shades)	Modelo ?"bom" no agregado e horr?vel em subgrupos.
Feature com fuga temporal	M?tricas espetaculares em treino, performance p?fia em produ??o.
Hist?rico que reflete preconceito (Amazon, COMPAS)	Modelo aprende e legitima o preconceito como "padr?o".
Drift n?o monitorado	Modelo bom no go-live, ruim 6 meses depois ? sem alarme.
Texto coletado sem curadoria (Stochastic Parrots)	LLM com vi?s tonal, lacuna de cauda longa, alucina??o confiante.
Loop de feedback n?o controlado (Tay)	Pior subconjunto domina a aprendizagem em tempo real.

Em nenhuma dessas linhas o problema raiz ?"qual algoritmo escolher". Em todas o problema raiz ?dado mal definido, mal rotulado, mal documentado, mal distribu?do ou mal monitorado.

11. Como montar um pipeline de IA que confia no pr?prio dado

A s?ntese pragm?tica, fundamentada em Sculley, Ng, Gebru, Mitchell, Bender e nos surveys de 2023?2024:

11.1 Antes do modelo, contratos de dado

Gloss?rio de cada feature: defini??o, fonte, tipo, faixa, missing, owner.
Schema versionado com quebra de contrato sinalizada.
SLA de frescor e completude por dataset.

11.2 Rotulagem como engenharia

Instru??es versionadas e testadas.
Inter-rater agreement medido (Cohen's kappa, Fleiss); revis?o obrigat?ria abaixo de threshold.
An?lise de erro dirigida ? mais ?til que mais r?tulos aleat?rios (Ng).

11.3 Datasheet + Model Card

Todo dataset cr?tico tem datasheet (Gebru et al., 2018).
Todo modelo em produ??o tem model card (Mitchell et al., 2019) com: dados de treino, m?tricas por subgrupo, casos de uso recomendado e n?o recomendado, limita??es conhecidas.

11.4 Valida??o por subgrupo, n?o s? agregada

Acur?cia agregada esconde Gender Shades.
Reportar por subgrupo demograficamente relevante (g?nero, etnia, faixa et?ria, regi?o) sempre que aplic?vel.
Reportar incerteza (intervalo de confian?a), n?o s? ponto.

11.5 MLOps com observabilidade

Monitorar input distribution em produ??o.
Monitorar output distribution.
Monitorar performance contra realidade quando h? r?tulo de retorno.
Alerta autom?tico para drift; retreino disciplinado, n?o impulsivo.

11.6 RAG e calibra??o para LLM

Para LLM com risco de alucina??o: retrieval-augmented generation ancorando gera??o em fontes audit?veis.
Calibra??o de incerteza? modelo precisa saber dizer "n?o sei" sem perda de utilidade.
Filtros de fato e verifica??o autom?tica para dom?nios sens?veis (sa?de, finan?as, jur?dico).

11.7 Loop de feedback governado

Shadow deployment antes de qualquer rollout.
Verifica??o humana em decis?es de alto impacto.
Monitoramento expl?cito de feedback loop (modelo afeta dado de treino futuro? Como?).

12. Diverg?ncias e tens?es no debate (transpar?ncia)

Como no artigo irm?o sobre data-driven, vale a transpar?ncia: discorda algu?m?.

12.1 Sutton ? "The Bitter Lesson"

Rich Sutton, pioneiro do aprendizado por refor?o, escreveu em 2019 o ensaio The Bitter Lesson. A tese: "m?todos gerais com computa??o escal?vel vencem m?todos baseados em conhecimento humano".

? primeira vista, isso parece contradizer o argumento "qualidade > quantidade". Lendo de perto, n?o contradiz: Sutton fala que n?o vale codificar conhecimento humano espec?fico no modelo; ele n?o argumenta que dado ruim treina IA boa. Pelo contr?rio, computa??o escal?vel amplifica diferen?as de qualidade do dado. Em 2024, o consenso (Ng, Gebru, Bender) ?que escala precisa ser acompanhada de curadoria? o oposto de "joga tudo no lake".

12.2 LeCun ? model-centric com nuance

Yann LeCun (Meta) defende que arquiteturas auto-supervisionadas como JEPA reduzem a depend?ncia de rotulagem massiva. Isso ?um argumento t?cnico leg?timo sobre o tipo de dado (n?o-rotulado vs. rotulado), n?o sobre a qualidade do dado. LeCun explicitamente defende que observa??o rica e estruturada do mundo?o que importa ? o oposto de "qualquer dado serve".

12.3 "More data fixes everything" ? a posi??o enterrada

O ensaio The End of Theory (Chris Anderson, Wired, 2008) e o discurso pr?-2020 de "big data" sustentavam que volume superava qualidade. Em 2024, essa posi??o ?isolada e desautorizada pela literatura t?cnica. Gender Shades (2018), Amazon Recruiting (2014?2018), COMPAS (2016), Tay (2016) e todos os surveys de alucina??o em LLM apontam na dire??o oposta.

S?ntese honesta: n?o encontrei um ?nico pesquisador de peso defendendo, em 2024?2025, que "IA com dado ruim entrega resultado bom". O debate aberto ?sobre o trade-off entre escala e curadoria? e mesmo l?, ningu?m defende aus?ncia de curadoria.

13. Conclus?o ? IA ?amplificador, n?o tradutor

Voltando ? provoca??o:

"IA sem dados confi?veis s? automatiza confus?o."

A frase ?a vers?o executiva do que dez anos de pesquisa t?cnica sustentam:

Sculley (2015) ? d?vida t?cnica em ML vive no dado; ignorar ?car?ssimo.
Buolamwini & Gebru (2018) ? dataset desbalanceado vira sistema discriminat?rio.
Gebru et al. (2018) ? sem documenta??o, IA ?caixa-preta auditavelmente irrespons?vel.
Mitchell et al. (2019) ? model cards trazem o mesmo princ?pio ao modelo.
Ng (2021) ? qualidade do dado supera arquitetura na maioria dos problemas reais.
Bender, Gebru et al. (2021) ? "grande" n?o ?o mesmo que "bom"; LLM gigante mal curado ?amplificador de vi?s.
Surveys de alucina??o (2023?2024) ? causa raiz ?dado.

A IA, hoje, faz tr?s coisas extraordinariamente bem: encontra padr?es, escala decis?es, e baixa custo marginal de gera??o. Aplicada com dado confi?vel, ela acelera neg?cio. Aplicada com dado fr?gil, ela acelera o problema ? e o problema agora tem cara de algoritmo, o que torna mais dif?cil contestar.

A pergunta-teste, no mesmo esp?rito do artigo irm?o:

??Se amanh? sua empresa colocar um modelo em produ??o, voc? consegue mostrar, em menos de cinco minutos, o datasheet do dataset de treino, a model card com performance por subgrupo, o contrato dos pipelines de entrada, e o painel de monitoramento de drift?
Se sim, sua IA ?uma adi??o ao processo. Se n?o, sua IA ?risco operacional com nome bonito.

Refer?ncias e leitura adicional

Papers fundadores

Sculley, D. et al. (2015).Hidden Technical Debt in Machine Learning Systems. NeurIPS.
Buolamwini, J. & Gebru, T. (2018).Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification. FAccT.
Gebru, T. et al. (2018).Datasheets for Datasets.Communications of the ACM, 2021.
Mitchell, M. et al. (2019).Model Cards for Model Reporting. FAccT.
Bender, E.M., Gebru, T., McMillan-Major, A. & Shmitchell, S. (2021).On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? FAccT.
Gama, J. et al. (2014).A Survey on Concept Drift Adaptation.ACM Computing Surveys.

Surveys recentes sobre alucina??o em LLM

Huang, L. et al. (2023).A Survey on Hallucination in Large Language Models.ACM Transactions on Information Systems.
Zhang, Y. et al. (2023).Siren's Song in the AI Ocean: A Survey on Hallucination in LLMs.

Andrew Ng ? Data-Centric AI

Dados com contexto, estrat?gia e pr?tica.