Pontos Principais
- Os cidadãos são impactados por modelos, métodos, e algoritmos criados pelos cientistas de dados, mas seu poder é limitado para afetar as ferramentas que estão agindo sobre eles.
- A ética da ciência de dados pode se basear nas estruturas conceituais dos campos existentes para orientação sobre como abordar questões éticas - especificamente, neste caso, a área civil.
- Os cientistas de dados também são cidadãos. Eles são influenciados pelas ferramentas da ciência de dados, bem como influenciam em sua construção. Geralmente, quando esses papéis colidem é que se tem uma melhor compreensão da importância em desenvolver sistemas éticos.
- Um modelo para garantir os direitos dos cidadãos, por exemplo, é buscar o mesmo nível de transparência para práticas éticas em ciência de dados que existem para advogados e legisladores.
- Tal como aconteceu com outros movimentos éticos anteriores, como a busca por maior proteção ambiental ou condições de trabalho mais justas, a implementação de novos direitos e responsabilidades em grande escala exigirá muito lobby e suporte público.
Não sou uma cientista de dados, mas ainda assim, me importo com a ética na tecnologia da informação. Preocupo-me com isso pela mesma razão pela qual me preocupo com a educação cívica: não sou advogada nem legisladora, mas as leis afetam minha vida de uma forma que quero entender bem o suficiente para que eu saiba como navegar efetivamente pela paisagem cívica. Por analogia, os cidadãos são impactados pelos modelos, métodos, e algoritmos criados pelos cientistas de dados, mas temos poder limitado para afetá-los.
Assim, devemos apelar aos cientistas de dados para garantir que seus dados sejam tratados eticamente. A ética da ciência de dados é um campo novo e pode parecer que teremos que inventar todas as ferramentas e métodos que precisaremos para construir esse campo a partir do zero. No entanto, podemos nos basear nos quadros conceituais de campos existentes - especificamente, neste caso, civis - para criar algumas das novas ferramentas, métodos, processos, e procedimentos que precisamos construir na ética dos dados.
Tanto a lei quanto a ciência de dados são conceitos com limites e hierarquias incertos.
Reconheço isso, mas, para os propósito deste artigo, vou fingir que são uma coisa única e não uma bricolagem de partes diferentes.
Na vida civil, os cidadãos têm mecanismos para influenciar as decisões dos legisladores e advogados. Como muitos sistemas, estes são imperfeitos e refletem as estruturas de poder social que são desiguais, mas temos opções:
- Podemos votar e fazer campanha em favor das partes e dos indivíduos que consideramos que representam melhor nossas opiniões sobre como as leis devem ser criadas e executadas.
- Podemos peticionar e fazer lobby para que nossas opiniões sejam ouvidas.
- Quando tudo o mais falhar, podemos protestar ou às vezes buscar reparação por meio de investigações e ações judiciais.
No mundo da cidadania dos dados esses mecanismos são menos bem definidos. Até mesmo para descobrir esse viés pode ser um desafio, já que muitos resultados da ciência de dados são de conhecimento proprietário. Pode não ser óbvio para qualquer pessoa que não tenha recursos para conduzir um estudo em grande escala que a contratação de algoritmos esteja conduzindo inadvertidamente a ciclos viciosos de pobreza, ou que o software de avaliação de risco seja consistentemente fraco na avaliação de riscos, mas é ótimo para categorizar pessoas por raça; ou que o software de tradução impõe estereótipos de gênero, mesmo quando traduz de uma linguagem sem gênero.
Estes são, evidentemente, exemplos que foram descobertos e investigados publicamente, mas existem muitos outros que não sabemos. Em seu livro "Weapons of Math Destruction", Cathy O'Neil descreve um jovem que é consistentemente rejeitado pelos principais empregadores com base em um teste de personalidade comum. O'Neil aponta que esses testes rejeitam as pessoas por serem inadequadas, mas nunca recebem feedback sobre se a pessoa rejeitada foi bem em outro lugar, o que significa que não há nenhuma evidência real sobre se os testes são eficazes. Felizmente, o pai desse jovem é um advogado, e desafia o uso desses testes de personalidade na prática de contratação.
Percebendo um exemplo de injustiça, este advogado é capaz de pressionar por um tratamento mais igualitário para todos. Mas, mesmo reconhecendo que esse bloqueio repetitivo, a falha em passar no teste de personalidade, pode ser uma evidência de discriminação que requer uma especialização não disponível para todos.
Em seu podcast para o InfoQ, logo após a publicação de Weapons of Math Destruction, O'Neil esclarece que os algoritmos de sentenciamento em particular são "equivalentes a um tipo de lei" e podem ser vistos como "leis algorítmicas digitais". Ao contrário de outras partes da lei, não há visibilidade para os cidadãos sobre como esses algoritmos funcionam. Mesmo quando o "como" é esclarecido, não há nenhum recurso para os cidadãos questionarem como eles foram categorizados ou as previsões geradas sobre eles por esses algoritmos.
O'Neil acredita que, como cidadãos, todos merecemos ter "... o mesmo tipo de proteção que temos com as leis, que é basicamente constitucional. Devemos ter permissão para saber quais são as regras, e isso também deve valer para esses algoritmos poderosos." Para todos os tipos de práticas algorítmicas tendenciosas em sentenciamento, contratação e além, O'Neil aponta que "os algoritmos de aprendizado de máquina não perguntam o por quê... apenas procuram por padrões e os repetem...
Se temos um sistema imperfeito e o automatizamos, estamos repetindo os erros do passado.
"Só porque um sistema é numérico ou matemático, isso não o torna automaticamente mais justo, mas os cidadãos (e muitas vezes os cientistas de dados) frequentemente assumem que os resultados sistematizados são mais objetivos, mas não é assim que funciona."
Os papéis nesse modelo triangular se sobrepõem: um legislador é também um cidadão; um cientista de dados também pode ser classificado incorretamente por um algoritmo ruim. Geralmente, quando esses papéis colidem é que as pessoas têm um melhor entendimento para desenvolver práticas éticas para a ciência de dados e a maior parte das agências para desenvolver essas práticas. No podcast, O'Neil aponta que
...os cientistas de dados literalmente precisam tomar decisões éticas durante o trabalho, mesmo que não estejam cientes disso, e muitas vezes não estão.
Ajudar os cientistas de dados a reconhecerem essa responsabilidade, talvez por meio de exemplos pessoais em que foram impactados como cidadãos pela tomada de decisões automatizada, são cruciais para negociar a relação entre cidadãos e a ciência de dados.
Então, como podemos pressionar por uma "ciência de dados" mais eficaz e justa? Um primeiro passo pode ser insistir no mesmo nível de transparência para práticas éticas em ciência de dados que existem para advogados e legisladores. Por suas falhas e frustrações, o Regulamento Geral sobre a Proteção de Dados (GDPR em inglês) de certa forma codifica os direitos dos cidadãos e penaliza as organizações quando esses direitos são violados.
Especificamente para a ciência de dados, quatro cláusulas principais se destacam:
- Em primeiro lugar, o direito de acesso, segundo o qual os proprietários dos dados têm o direito de entender como e com que finalidade seus dados pessoais estão sendo processados, bem como o direito a uma cópia desses dados.
- Segundo, o direito de ser esquecido, onde os indivíduos podem pedir que seus dados sejam apagados e não mais compartilhados com terceiros.
- Terceiro, portabilidade de dados, onde os indivíduos podem solicitar que seus dados sejam transferidos para outro processador.
- Finalmente, o princípio da privacidade desde a concepção, não é mais apenas um conceito de design reconhecido pelo setor, mas agora é uma exigência legal focada no uso dos dados mínimos necessários para executar as obrigações.
Esses direitos terão impacto sobre como os cientistas de dados projetam os modelos. Novas considerações entram em cena para construir ferramentas de dados científicos quando a forma dos dados muda porque as pessoas solicitam que seus dados sejam removidos, ou quando a quantidade mínima de dados está sendo usada para criar a modelagem.
Bem como a GDPR, existem numerosas tentativas dentro da comunidade de ciência de dados para codificar e operacionalizar meios para gerenciar considerações éticas. O gráfico de ética de dados do Open Data Institute é um exemplo, o framework de ética da ciência de dados do Gov.uk é outro, as "Dez regras simples para pesquisa responsável de big data" da Public Library of Science é mais um.
Os serviços de consultoria, como o Cathy O'Neil ORCAA, oferecem auditoria algorítmica; e grandes empresas de tecnologia, como Microsoft e Facebook, estão trabalhando no desenvolvimento de kits de ferramentas de auditoria. A Accenture é pioneira com o lançamento do protótipo da Fairness Tool, projetado para identificar e corrigir vieses em algoritmos.
No entanto, para que a ferramenta realmente funcione, "sua empresa também precisa ter uma cultura de ética", diz Rumman Chowdhury, líder global da Accenture em IA ética. Caso contrário, as empresas acharão muito fácil ignorar as recomendações da ferramenta e continuar a perpetuar práticas tendenciosas.
A maioria dos cidadãos não são cientistas de dados, e não fazemos as compensações éticas no momento em que eles decidem usar uma determinada biblioteca de códigos ou atribuem uma ponderação a uma variável em detrimento de outra. Não escolhemos quais informações incluir e o que deixar de fora ao desenvolver nossos modelos. Mas o que podemos fazer é nos familiarizarmos com as histórias do que deu errado e por que, e exemplos de onde as coisas estão indo bem.
Podemos usar essas histórias para examinar criticamente nossas próprias interações com dados, onde nossos dados estão sendo usados para tomar decisões sobre nós, e para ver padrões sobre onde isso está indo mal ou bem para nós. Mas há pessoas que usam os dois chapéus: os cientistas de dados estão na posição de entender como as decisões éticas tomadas por outras pessoas em seu campo podem afetar a si mesmas, suas famílias, amigos e, mais imediatamente, os cidadãos usando seus serviços. Como construtores desses sistemas, os cientistas de dados têm a responsabilidade de usar bem os dados.
Como aconteceu com outros movimentos éticos anteriores, na busca de maior proteção ambiental ou condições de trabalho mais justas, comunicar isso em escala exigirá muito lobby e defesa. Felizmente, grupos como o doteveryone e o Coed: Ethics estão enfrentando o desafio de pressionar nossos governos e as empresas que nos servem para criar um mundo algorítmico mais justo.
Caitlin McDonald falou sobre o impacto civil dos algoritmos na conferência Coed: Ethics, em Londres, em julho, a primeira conferência que visa discutir a ética técnica do ponto de vista de um desenvolvedor.
Esse artigo faz parte de uma série de cinco artigos a respeito da ética na tecnologia da informação. Veja a seguir o link para os outros artigos da série:
- Engenheiros de software - última esperança para a ética na tecnologia da informação?
- Ética - uma perspectiva psicológica
- A ética na segurança da informação
- Ética - qual o próximo passo?
Sobre a autora
A Dra. Caitlin E McDonald é uma estudiosa e escritora premiada sobre comunidades digitais e ciência de dados. Com experiência em métodos de pesquisa qualitativa e quantitativa, é especializada na interseção entre a imaginação humana e os sistemas digitais. Caitlin obteve seu PhD pela Universidade de Exeter em 2011, concentrando seus estudos em como as comunidades culturais e artísticas da prática se adaptam em um mundo cada vez mais globalizado.
Confira esse artigo e muitos outros em nossa eMag de Ética