Análise do livro “Weapons of Math Destruction” de Cathy O’Neil

"O Big Data tem muitos evangelistas, mas não sou uma delas", diz Cathy O'Neil, blogueira (mathsbabe.org) e ex-analista quantitativa do fundo de investimentos DE Shaw que se tornou tão desiludida com o modelo do seu fundo de investimentos que se juntou ao movimento Occupy.

No início do livro "Weapons of Math Destruction" ela descreve o caso de Sarah Wysocki, uma professora popular da escola MacFarland Middle School em Washington, que recebeu uma pontuação ruim na sua avaliação IMPACT. O sistema, uma ferramenta para avaliar professores, foi desenvolvido com a intenção de detectar professores com baixo desempenho e demití-los.

A baixa pontuação de Wysocki foi baseada em um novo sistema de pontuação conhecido como "value-added modelling", que foi desenvolvido pelo Mathematica Policy Research, uma consultoria localizada em Princeton. No entanto, "existem tantos fatores que influenciam o aprendizado e o ensino, que seria muito difícil medir todos eles", relatou Wysocki. E O'Neil complementa "tentar avaliar a efetividade de um professor, analisando o resultado dos testes de apenas trinta alunos é estatisticamente pouco sólido, ou até mesmo cômico. Os dados não são suficientes para possibilitar avaliar o que poderia dar errado".

Mas existe um outro problema aqui, sistemas estatísticos precisam de dados para entender que estão no caminho errado.

Quando o sistema da Mathematica sinalizou Sarah Wysocki e outros 205 professores com desempenho abaixo do desejável, eles foram demitidos. Mas como o sistema aprende que está errando? Não aprende. O sistema determinou que eles são professores ruins, e é assim que eles são vistos. Duzentos e seis "maus" professores foram demitidos. Esse fato, isolado, demonstra a efetividade dos "value-added model". Com isso, está "livrando o distrito" de professores ruins. Ao invés de buscar a realidade, o sistema veio para incorporá-la.

O'Neil usa o termo "arma de destruição matemática" ("weapon of math destruction" - WMD) para descrever as características dos piores tipos de modelos matemáticos, dos quais o IMPACT é um exemplo. Para se encaixar ao termo, o modelo deve possuir três características: Obscuridade, Escala e Dano. Ao longo do livro O'Neil comenta sobre uma variedade de sistemas e modelos matemáticos que impactam a vida de um grande número de pessoas enquanto elas tentam ir à faculdade, fazer empréstimos, são condenadas à prisão, e tentam encontrar ou manter um emprego. Existe uma quantidade abundante de exemplos, pontuação de crédito sendo usado para avaliar possíveis candidatos a empregos com a suposição, errada, que pontuação de crédito ruins implicam em baixo desempenho no trabalho. Faculdades particulares nos Estados Unidos, estão usando uma tática agressiva de marketing em pessoas "vulneráveis", tentando melhorar suas chances, mas normalmente acabam levando essas pessoas a se endividarem; softwares de prevenção de crimes fazem a polícia desperdiçar recursos em pequenos transtornos em comunidades mais pobres, ignorando crimes mais graves em vizinhanças em situação financeira um pouco melhor.

Em geral, O'Neil argumenta que esses modelos têm um impacto negativo nos mais pobres e menos privilegiados, ao mesmo tempo que torna a vida dos mais afortunados mais fácil. O principal pilar que suporta as idéias de O'Neil é a tendência que as pessoas tem em acreditar cegamente nos algoritmos. Mas é óbvio que esse não é o caso. Se por um lado o algoritmo pode ser criado de maneira precária e falha, é mais comum, nos casos em que são usados sistemas de aprendizado de máquina, os dados utilizados para alimentar o sistema podem ter alguma predisposição ou tendência. Por exemplo, se uma Startup no Vale do Silício tem historicamente contratado pouca ou nenhuma mulher como engenheira, então, enquanto a startup cresce, cria um algoritmo que tenta contratar engenheiros baseados nos dados históricos dos engenheiros da empresa que tiveram um bom desempenho, o algoritmo terá uma predisposição em não contratar mulheres.

No nosso algoritmo imaginário para contratar engenheiros a tendência em não contratar mulheres não foi intencional. Mas se a métrica de sucesso é contratar bons engenheiros que permaneçam na empresa por mais que dois anos, por exemplo, a empresa não teria consciência do problema. No caso do IMPACT, dentro da sua métrica ele parece estar avaliando as pessoas corretamente. Frequentemente, se o modelo é muito complexo, e os algoritmos de aprendizado de máquina normalmente são, a empresa nem sequer está ciente do problema, e nunca descobrirá a tendência em não contratar mulheres até testar o modelo com dados idênticos para homens e mulheres.

O problema em julgar o sucesso dos algoritmos é um assunto que O'Neil aborda repetidas vezes no livro. Outro assunto abordado no livro é o sistema utilizado por empresas como Starbucks, McDonalds e Wallmart para montar a escala de trabalho dos funcionários. O modelo utilizado pelo software é otimizado para maximizar a eficiência e a lucratividade das empresas com praticamente nenhum respeito pela justiça ou bem estar dos funcionários. Tanto que:

Os trabalhadores das maiores empresas americanas inventaram um novo termo: "clopening". O termo é utilizado quando um funcionário trabalha até tarde da noite para fechar uma loja e retorna algumas horas depois, antes do amanhecer, para abrir a loja novamente.

Essas escalas caóticas, normalmente sem aviso prévio, estão se tornando muito comuns, e os mais afetados são os trabalhadores com baixos salários e suas famílias.

O software também condena uma grande porcentagem de crianças à crescer sem rotina. Elas se acostumam a ver as mães com olheiras no café da manhã, ou saindo de casa apressada sem jantar, ou argumentando com as suas mães sobre quem vai tomar conta de quem no domingo de manhã. Essa vida caótica afeta profundamente as crianças. Um estudo feito pela Economic Policy Institute um grupo de advogados, "Crianças e adolescentes, filhos de pais que trabalham em escalas imprevisíveis e totalmente diferentes dos horários habituais diurnos, têm maior probabilidade de desenvolver problemas cognitivos e comportamentais". Os pais normalmente se culpam por terem filhos revoltados ou que não tem um desempenho bom na escola, mas na maioria dos casos, o verdadeiro motivo é a pobreza que obriga os trabalhadores a aceitar trabalhos com escalas aleatórias; e modelos de escala que dificultam ainda mais a vida das famílias com dificuldades.

Segundo O'Neil, o problema nesse caso é a escolha do objetivo do modelo que é eficiência e lucratividade. Uma vez que o modelo normalmente aumenta o lucro por funcionário, esses tipos de práticas de trabalho não irão mudar até que as empresas em questão sejam criticadas publicamente por aplicar essas práticas de trabalho.

No livro, também é explorada a situação de falta de detalhes dos dados. Uma das narrativas mais impactantes e fascinantes é sobre o trabalho feito por uma empresa de análise de dados de Nova Iorque chamada Sense Networks. A Sense começou analisar, dez anos atrás, dados anônimos de celulares para mostrar os lugares que as pessoas frequentavam.

Os dados dos celulares dos usuários de Nova Iorque foram inseridos no sistema de machine-learning, mas foram dados poucos parâmetros para guiar o modelo. A equipe não instruiu o programa para diferenciar áreas suburbanas, idade ou ainda criar diferentes classificações de compradores. O software deveria encontrar as similaridades por si só. Muitas dessas similaridades seriam tolas, como pessoas que passam 50% do dia na rua e o nome inicia com a letra J, ou aqueles que almoçam fora da empresa. Porém, se o software explorar milhões de dados, esses padrões começariam a aparecer. Correlações começariam a aparecer, provavelmente algumas que os humanos nunca considerariam. "Nós não reconheceríamos, necessariamente, o que essas pessoas têm em comum", disse o co-fundador e antigo CEO da Sense, Greg Skibiski. "Esses padrões não se encaixam nas divisões tradicionais que nós imaginamos".

… a Sense foi vendida em 2014 para a YP, uma empresa de marketing para celular originada da AT/T. Desta forma, por enquanto, essa classificação será utilizada para identificar diferentes grupos ou tribos para receber propagandas. Mas é possível imaginar como os sistemas de machine-learning, alimentados por diferentes dados de comportamento, irão classificar as pessoas em não apenas um grupo, mas em centenas, ou milhares de grupos.

Em outras palavras, modelos treinados para resolver um problema específico podem invadir outras áreas aumentando os riscos à medida que os dados aumentam. Normalmente, cientistas de dados não são pagos para pensar sobre isso, diz O'Neill. Além disso "na era do machine learning, a maioria das variáveis permanecerão um mistério … os modelos serão extremamente eficientes, aparentemente arbitrários, e completamente inexplicavéis"

O livro faz um trabalho excelente descrevendo, em termos gerais e exemplos concretos, os tipos de problemas que o uso crescente do Big Data tem o potencial de causar. Mas na minha opinião peca em sugerir soluções para esses problemas. O'Neill argumenta de forma convincente que será necessário criar regulamentações, começando pelos criadores dos modelos matemáticos. Mas criar esse tipo de modelo regulatório pode se provar um desafio imenso, pois O'Neil aponta, ele teria que tentar medir custos escondidos.

Na verdade isso já acontece com outros tipos de regulamentações. Embora os economistas tentem calcular os custos para a poluição atmosférica ou êxodo rural, ou a extinção da coruja-pintada, esses números nunca poderão expressar o seu real valor. E isso geralmente se aplica também à maioria dos bons e velhos modelos matemáticos. Esses conceitos residem apenas na mente humana, e é difícil quantificá-los. E como humanos estão encarregados de criar modelos matemáticos, eles dificilmente vão além do básico para tentar criá-los da forma correta.

O'Neil ainda sugere que é necessário auditar os modelos:

O primeiro passo, antes de começar a escrever código, é fazer uma pesquisa. Nós começamos tratando o WMD como uma caixa preta que recebe dados em devolve conclusões. Esta pessoa tem 50% de chance de cometer um crime, essa outra tem 73% de chance de votar nos Republicanos, esse professor tem a pior qualificação do seu grupo. Estudando esses resultados, é possível recriar as suposições por trás do modelo and avaliar esses resultados com mais clareza.

Eu gostaria muito de ver mais detalhes sobre isso, mesmo que sejam provas de conceito, mas talvez por ser uma área relativamente nova, ainda não existem muitos detalhes. Ainda assim, O'Neil aponta que algumas técnicas e algoritmos para auditoria de modelos estão começando a aparecer na comunidade acadêmica.

Por exemplo, em Princeton, pesquisadores lançaram o projeto Web Transparency and Accountability. Eles criaram robôs que se passam por pessoal de todo tipo, ricos, pobres, homens, mulheres, ou sofrendo de problemas mentais. Ao estudar os tratamentos que esses robôs recebem, os pesquisadores podem detectar desvios nos sistemas automáticos de pesquisas, e até nos que sugerem empregos.

Desde que escreveu o livro, O'Neil criou uma comunidade para oferecer serviços de auditor em modelos e existem ainda outros sinais de progresso.

O livro também foca exclusivamente em casos dos Estados Unidos; eu gostaria de ver exemplos de casos na Europa ou em outros lugares para ter uma idéia se o problema ocorre apenas nos Estados Unidos, ou se também está presente em outros mercados que tendem a ter mais regulamentações.

Enquanto desvios em modelos e muitos outros problemas relacionados ao machine learning são discutidos em outros vários canais, este é o primeiro livro que tenho ciência que trata dos potenciais problemas e suas implicações com tamanha quantidade de detalhes e pesquisa, além de exemplos concretos. O'Neil escreveu com muita clareza e paixão, e este é um livro urgente e importante.

Sobre a Autora do Livro

Cathy O'Neil é a autora do blog mathbabe.org. Ele é ex-diretora da Lede Program in Data Practices na Columbia University Graduate School of Journalism, Tow Center e foi funcionária na Johnson Research Labs como Consultora de Data Science. Cathy é Ph.D em matemática pela Harvard University e atualmente mora em Nova Iorque.