IA nos tribunais dos EUA: o escândalo do algoritmo em 2016

Uma investigação pioneira revelou em 2016 que o software de avaliação de risco criminal COMPAS apresentava severo viés racial ao calcular a probabilidade de reincidência nos tribunais americanos.

Quando pensamos em decisões judiciais, a promessa de um cálculo matemático neutro parece o ápice da justiça perfeita, livre de paixões humanas. No entanto, o uso da IA nos tribunais dos EUA expôs uma realidade muito mais complexa e perturbadora: em 2016, descobriu-se que um dos sistemas mais populares do país errava com frequência alarmante e reproduzia preconceitos históricos contra populações vulneráveis.

A promessa da justiça matemática e a ascensão do COMPAS

Durante décadas, os sistemas judiciários buscaram formas de tornar a concessão de fianças e a dosimetria de penas mais consistentes e racionais. Magistrados humanos sofrem com cansaço, variações de humor e preconceitos inconscientes, o que historicamente resultou em sentenças muito discrepantes para crimes idênticos cometidos sob circunstâncias semelhantes.

Foi nesse cenário que as ferramentas de avaliação de risco começaram a ganhar espaço acelerado nas cortes americanas a partir do início dos anos 2000, prometendo precisão científica para antecipar comportamentos futuros.

O que é a ferramenta desenvolvida pela Northpointe

O software mais emblemático dessa transformação foi batizado de COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), desenvolvido pela empresa Northpointe, hoje conhecida como Equivant. O objetivo central era fornecer aos juízes uma pontuação de 1 a 10 que indicava a probabilidade de um réu voltar a cometer crimes nos próximos dois anos.

A ferramenta não utilizava dados biológicos ou genéticos, mas sim um questionário extenso respondido pelos réus e complementado por seus registros criminais públicos anteriores.

• Questionário detalhado com cento e trinta e sete perguntas sobre estilo de vida, família e emprego.
• Cálculo automatizado de pontuação de risco para crimes gerais e delitos violentos.
• Utilização direta por promotores e juízes para decisões de fiança, liberdade condicional e duração de penas.
• Classificação dos indivíduos em categorias simplificadas de baixo, médio ou alto risco.

A adoção em larga escala ocorreu sob a premissa de que números não possuem sentimentos, criando a impressão de que a tecnologia eliminaria de vez a arbitrariedade humana dos tribunais.

A investigação da ProPublica que abalou a tecnologia judicial

Em maio de 2016, uma equipe de jornalistas investigativos e cientistas de dados da organização sem fins lucrativos ProPublica publicou uma reportagem bombástica intitulada "Machine Bias". A matéria analisou as pontuações de risco atribuídas a mais de sete mil pessoas presas no condado de Broward, na Flórida, entre os anos de 2013 e 2014.

O objetivo dos repórteres era simples: verificar se as pessoas que o software apontava como perigosas realmente voltavam a cometer crimes no período de dois anos seguintes à avaliação.

Os resultados surpreenderam a comunidade científica e o meio jurídico global ao demonstrar que a precisão geral do sistema mal superava o lançamento de uma moeda comum. Quando o algoritmo tentava prever reincidência violenta, a margem de acerto caía para patamares ainda mais constrangedores, revelando que a ferramenta falhava grosseiramente em sua principal missão técnica.

O problema mais grave, contudo, não estava apenas na imprecisão estatística geral, mas na maneira assimétrica e discriminatória como os erros se distribuíam entre diferentes grupos sociais e étnicos.

A constatação pública de que a ferramenta apresentava disparidades evidentes provocou um debate global sobre transparência algorítmica e abriu precedentes para questionar a suposta infalibilidade dos códigos de programação.

A disparidade racial nos erros de previsão do algoritmo

A investigação da ProPublica isolou variáveis socioeconômicas e revelou um padrão consistente de discriminação sistemática embutido nas respostas geradas pelo programa. Ao analisar os falsos positivos e os falsos negativos, o estudo mostrou que o modelo matemático penalizava réus negros com severidade desproporcional.

Pessoas negras tinham quase o dobro de probabilidade de serem rotuladas incorretamente como futuros criminosos reincidentes quando comparadas a pessoas brancas com históricos similares.

Os números que comprovaram o viés

A análise estatística dos dados do condado de Broward expôs contradições matemáticas que não podiam ser ignoradas pelos desenvolvedores da tecnologia nem pelos magistrados que a utilizavam diariamente.

Os dados demonstraram que os erros cometidos pelo software não eram distribuídos de forma aleatória, mas seguiam uma linha claramente racializada em seus efeitos práticos.

• Réus negros classificados como de alto risco que não reincidiram atingiram a taxa de 44,9%.
• Réus brancos classificados erroneamente como de alto risco sem cometer novos delitos somaram apenas 23,5%.
• Réus brancos que voltaram a cometer crimes foram classificados como de baixo risco em 47,7% dos casos.
• Réus negros reincidentes receberam classificação errônea de baixo risco em apenas 28% das situações.

Essas disparidades provaram que a máquina era muito mais complacente com réus brancos e consideravelmente mais implacável com acusados negros, perpetuando injustiças históricas sob um verniz de objetividade.

A defesa da empresa e o dilema das métricas de justiça

A publicação dos dados gerou uma resposta contundente da Northpointe, que defendeu a integridade matemática do seu produto por meio de artigos técnicos e contestações públicas. A empresa alegou que o COMPAS havia sido calibrado de maneira justa e que os jornalistas não compreendiam adequadamente os conceitos estatísticos aplicados à avaliação de risco.

O embate transformou-se em um marco histórico da ciência da computação ao revelar que diferentes definições matemáticas de justiça não podem coexistir simultaneamente em um mesmo modelo preditivo.

A Northpointe sustentava o critério de calibração preditiva: uma pontuação 7, por exemplo, representava a mesma probabilidade percentual de reincidência para qualquer grupo. Já a ProPublica utilizava o critério de paridade nas taxas de erro, apontando que as chances de uma pessoa inocente ser considerada perigosa deveriam ser rigorosamente iguais entre negros e brancos.

Pesquisadores independentes de instituições de renome internacional, como as universidades de Harvard e Stanford, confirmaram posteriormente que é matematicamente impossível satisfazer ambos os critérios quando as taxas de criminalidade de base em uma sociedade são desiguais devido a fatores estruturais.

A polêmica deixou evidente que escolher qual fórmula de justiça adotar em um software não é uma decisão técnica neutra, mas sim uma escolha política e ética de grande impacto social.

A caixa-preta comercial e a falta de transparência nos tribunais

Outro elemento alarmante evidenciado pelo caso foi o sigilo comercial que protegia o funcionamento interno do COMPAS durante os processos criminais. Como o algoritmo pertencia a uma empresa privada, o código-fonte e o peso exato de cada uma das variáveis eram tratados como segredo de negócio confidencial.

Isso significava que advogados de defesa e os próprios réus não tinham autorização legal para auditar como a pontuação que definia o futuro daquelas vidas havia sido gerada.

O caso emblemático de Eric Loomis

O dilema chegou à Suprema Corte do estado de Wisconsin no famoso caso State v. Loomis em 2016. Eric Loomis foi condenado a seis anos de prisão após o juiz citar explicitamente sua pontuação de alto risco calculada pelo COMPAS na sentença.

Loomis recorreu alegando que o segredo comercial da empresa violava seu direito constitucional ao devido processo legal, já que ele não podia contestar a lógica da máquina que pesou contra sua liberdade.

• Impossibilidade de advogados auditarem a precisão do código-fonte utilizado nas sentenças.
• Dependência de parâmetros proprietários criados por corporações privadas com fins lucrativos.
• Risco de magistrados aceitarem passivamente relatórios técnicos sem compreender as limitações estatísticas.
• Decisão judicial que manteve o uso da ferramenta, desde que acompanhada de avisos sobre suas imperfeições.

Embora a Suprema Corte estadual tenha mantido a sentença, estabeleceu que tais relatórios nunca deveriam ser o fator determinante em decisões judiciais, recomendando cautela redobrada aos magistrados.

Como o viés dos dados históricos contamina modelos inteligentes

Para entender como um algoritmo se torna discriminatório sem que os programadores declarem essa intenção explícita no código, é preciso examinar a matéria-prima utilizada no treinamento: os dados históricos. Algoritmos de aprendizado de máquina encontram padrões com base no passado para tentar antever o que ocorrerá no futuro.

Se o passado da segurança pública contém patrulhamento desproporcional em bairros de periferia, taxas desiguais de abordagem policial e prisões diferenciadas, a máquina interpreta esses números como verdades universais sobre o comportamento humano.

Mesmo que a variável de raça seja expressamente removida do banco de dados, o algoritmo consegue deduzi-la por meio de variáveis correlatas, conhecidas tecnicamente como variáveis proxy. Perguntas sobre endereço residencial, escolaridade da família, estabilidade no emprego ou histórico de prisões de parentes acabam espelhando as mesmas divisões sociais que historicamente marcam a sociedade.

Dessa maneira, a inteligência artificial não cria novos preconceitos a partir do nada; ela simplesmente acelera, automatiza e confere um verniz de legitimidade técnica aos preconceitos já existentes nas bases de dados institucionais.

Compreender esse mecanismo é o primeiro passo para evitar que novas ferramentas digitais continuem reproduzindo e aprofundando injustiças antigas em tribunais e serviços públicos pelo mundo.

O impacto do caso nas regulamentações de IA pelo mundo

O escândalo do COMPAS em 2016 tornou-se o principal estudo de caso global sobre ética, transparência e responsabilidade no desenvolvimento de inteligência artificial. O episódio serviu de catalisador para que governos, universidades e organizações internacionais passassem a exigir auditorias rigorosas em sistemas algorítmicos aplicados a áreas de alto risco.

A partir dessa experiência, o conceito de explicabilidade tornou-se um requisito indispensável para ferramentas digitais que afetam direitos fundamentais dos cidadãos.

Mudanças legislativas e novas abordagens

Diversos países e blocos econômicos começaram a estruturar marcos legais com o objetivo de frear a utilização cega de sistemas automatizados de decisão em contextos sensíveis como segurança pública, concessão de crédito e justiça criminal.

O debate incentivou pesquisadores a criarem métodos mais robustos de governança de dados e ferramentas de código aberto capazes de identificar vieses antes da implementação prática.

• Criação do AI Act na União Europeia, classificando ferramentas de justiça criminal como de alto risco regulatório.
• Avanço de propostas legislativas no Brasil e na América Latina exigindo transparência e direito à explicação algorítmica.
• Obrigatoriedade de testes de impacto ético e auditorias externas em sistemas adquiridos pelo poder público.
• Proibição em várias jurisdições do uso de pontuações proprietárias e secretas em julgamentos criminais.

A repercussão internacional daquele caso consolidou a ideia de que a tecnologia deve atuar apenas como suporte consultivo, jamais substituindo o julgamento crítico, a empatia e a responsabilidade humana.

Conclusão

O caso do COMPAS permanece como um dos episódios mais instrutivos da história recente da computação. Ele provou de forma inequívoca que a tecnologia não é imune às imperfeições humanas, mas sim um espelho ampliado da sociedade que a constrói. Ao automatizar processos sem fiscalização crítica, corremos o risco de institucionalizar injustiças sob a capa da modernidade científica. O verdadeiro progresso tecnológico exige transparência, ética rigorosa e o reconhecimento permanente de que a justiça real jamais poderá ser reduzida a uma equação fechada.