A ética na segurança da informação

Fui convidada a realizar o primeiro workshop sobre segurança e ética no Open Security Summit, em Londres, em junho de 2018.

Tem algum especialista por aí?

Segurança não é minha área de especialização, mas é uma disciplina bem estabelecida. Posso me referir a seus excelentes recursos e melhores práticas que estão bem documentadas e, se isso não for suficiente, posso pedir ajuda a especialistas.

Também não sou especialista em ética, e nesse caso é mais difícil encontrar ajuda. Existem poucos recursos, melhores práticas, ou especialistas para consultar porque a ética na tecnologia da informação é um conceito novo. Ainda não há rockstars éticos que sejam qualificados para nos dizer o que fazer. Talvez isso não seja uma coisa ruim. Mas, teremos que aprender juntos. Somos todos autorizados a considerar os erros e acertos do código, a dizer o que pensamos, e a agir. Na verdade, acho que devíamos fazer isso!

O que é ética?

Eu definiria a ética na tecnologia da informação como algo que fazemos para tentar evitar que o código prejudique usuários ou qualquer outra pessoa. Essa é uma descrição enganosamente ampla. Poderíamos estar falando de coisas chatas como perder todos os seus dados (backups defeituosos) ou coisas mais recentes, como submetê-los a decisões arbitrárias (equidade algorítmica). A ética na tecnologia da informação é sobre evitar o dano em todas as formas, do mundano ao futurista.

A tecnologia pode ser uma força incrível para o bem. Eu amo a nossa indústria de engenheiros inteligentes e criativos. Mas, de repente, percebemos que há muitas maneiras do que produzimos prejudicar pessoas, sobre as quais precisamos ter cuidado. Uso da energia, poluição, exclusão, notícias falsas, manipulação, perigo físico, propaganda, saúde mental - há uma lista enorme de áreas em que podemos piorar as coisas para algumas partes da sociedade.

A tecnologia está crescendo rapidamente numa escala global. Se estragarmos as coisas, afetaremos potencialmente bilhões de pessoas. Isso é tão intimidante que me faz sentir que não posso ter nenhum impacto sobre isso - a cultura orientada a tecnologia é muito poderosa para alguns, mais importantes do que eu, para se preocupar. Mas os produtos são apenas softwares. Alguém tem que desenhá-los, escrevê-los, implantá-los, e operá-los. E esses seriam os engenheiros de software. Poderíamos ser a última barreira de defesa, ou isso é problema de outra pessoa?

Afinal, o que a ética tem a ver com segurança?

Eu defini a ética na tecnologia da informação como proteger usuários contra danos o máximo possível. Da mesma forma, o principal objetivo da segurança é tentar proteger usuários de pessoas que querem prejudicá-los ou roubá-los através de nossos sistemas. Isso parece implicar que a segurança é um aspecto da ética. Não é tudo questão de ética: há outras maneiras pelas quais pessoas podem ser prejudicadas por códigos que não tem a ver com 3PP (produtos terceirizados) ou exploração de código, mas, um subconjunto. Então, talvez haja maneiras de aprender mais sobre a ética na tecnologia da informação observando o que funciona bem em segurança.

Um pouco de filosofia

Se a segurança é um recurso potencial para pensar sobre ética em tecnologia da informação, existem outras então? Bem, no século XVIII, a Europa era louca por teorias de moralidade e ética, ou "sentimento moral" como Adam Smith descreveu. Muitos filósofos, como o próprio Smith, Immanuel Kant, Jeremy Bentham, e outros, passaram anos inventando regras (efetivamente programáveis) incontestáveis que eles achavam que o resto de nós poderia seguir para distinguir o certo do errado. Os dois conjuntos de regras muito diferentes que mais ouvimos hoje em dia são as três máximas de Kant e o utilitarismo de Bentham. Na época, o utilitarismo era profundamente desacreditado por ser antinatural, sem coração, e um tanto distópico (e não sem uma boa razão). Mas acabou por ser o mais facilmente programável.

Utilitarismo

O utilitarismo define as ações como certas se, estatisticamente, elas fazem mais bem do que mal. Trata uma ação como positiva inteiramente baseada em seus resultados, não em suas intenções. Para engenheiros de software, departamentos de estatísticas do governo, e para as manchetes dos jornais, isso soa muito bem. E é programável! Tudo o que precisamos é de um alvo e alguma maneira de medi-lo. Ótimo! Definimos a ética e chegamos em casa a tempo para o jantar.

Gostou da ideia? Você seria criticado pelos colegas pensadores morais de Jeremy Bentham. O problema do utilitarismo é aceitar alegremente algumas condições excepcionais bastante desagradáveis. O experimento de pensamento no estilo Black Mirror (reconhecidamente não usado no século XVIII) é imaginar que você vai visitar um amigo no hospital. Ao entrar pela porta, seu novo Benthamometer detecta que seu coração saudável, pulmões, fígado, e rins podem salvar a vida de cinco pessoas doentes, e sua baixa contagem de amigos nas mídias sociais sugere que poucas pessoas sentiriam sua falta. Estatisticamente, sacrificá-lo para salvar os cinco pacientes mais populares não é apenas ok, é moralmente imperativo!

Os casos extremos de uma abordagem utilitária ou estatística é o que muitas vezes são a causa de injustiça algorítmica. Se os KPIs forem atendidos, então, por definição, o algoritmo deve ser bom, mesmo que algumas pessoas sofram um pouco. Para fazer um omelete tem que quebrar alguns ovos!

Se acha que isso nunca aconteceria na realidade, basta olhar a lista de mortes causadas pelo uso de drones, geradas por algoritmos do governo dos EUA no Iêmen. A jornalista e advogada de direitos humanos Cori Crider revelou que milhares de pessoas aparentemente inocentes foram mortas pela abordagem utilitarista norte-americana de vítimas civis aceitáveis em um país onde supostamente deveriam estar ajudando.

No Reino Unido, vimos recentemente algumas ações extraordinariamente desumanas: cidadãos britânicos de toda uma vida sendo deportados à força por seu próprio governo para cumprir metas arbitrárias; e moradores de rua sendo enviados para a prisão a fim de deixar as ruas mais seguras. É certo que esses casos no Reino Unido não foram totalmente automatizados. Se o fosse, os resultados poderiam ter sido ainda piores.

Immanuel Kant

E quanto a Immanuel Kant? Ele tinha uma abordagem mais rigorosa ao comportamento ético, que incluía três elementos que conflitavam com o utilitarismo de Bentham. O primeiro é a noção de que os seres humanos são fins e não meios. Kant achava que nenhum ser humano deveria ser sacrificado ou prejudicado com o propósito de atingir um fim, por mais valioso que esse fim aparecesse. Ele também é famoso por sua checagem rápida para dizer se você está agindo de forma antiética ou não, chamado de Máxima da Universalidade, que eu vou parafrasear como "Dá para escalar?" A ideia é que você se pergunte se uma ação que quer tomar ainda funcionaria, ou faria sentido, uma vez que todo mundo já fez isso? Se não, você está colocando seu próprio benefício antes dos outros e isso seria errado. Apenas para lançar o princípio kantiano final, você nunca deve mentir para outra pessoa, mesmo que se com a melhor das intenções, porque isso é privá-la de seu direito à escolha racional e informada.

A abordagem de Kant descartaria o experimento do hospital (Black Mirror): você não poderia ser sacrificado para salvar outros; e os ataques de drones dos EUA (inocentes não podem ser mortos). Isso descartaria a poluição (não é escalável), o Facebook, e o fluxo de receita de notícias falsas e o novo emulador humano Duplex do Google (sem mentir, por favor).

Mas a abordagem de Kant tem suas falhas

Kant parece ótimo! Tô dentro! Infelizmente, há uma razão pela qual todos nos tornamos um pouco utilitários. Kant certamente descarta um monte de mau comportamento, mas ele também baniu quase todo o resto também: carros causam mortes de civis, usar eletricidade no momento não escala e não temos nenhum plano viável para lidar com isso, e nem mesmo contemplar uma mentira branca.

O utilitarismo de fato funciona. Foi responsável por muito do progresso dos últimos 200 anos. Apenas nunca nos preocupamos muito com os casos excepcionais. Ocasionalmente, eles seriam publicados pela imprensa e deliberadamente, ou forçadamente os corrigiríamos. A questão é: podemos continuar a ignorar os erros secundários e confiar no The Guardian, no Reprieve ou, às vezes, no Daily Mail, para ser nossas ferramentas de observação e alerta?

Se optarmos por um "utilitarismo compassivo" e tentarmos mitigar essas questões éticas excepcionais, teremos duas coisas para resolver:

1. Descobrir a linha correta principal para que, em média, não prejudiquemos os usuários.
2. Identificar, manipular, e resolver os casos não-principais de danos compassivos (com casos especiais, se necessário).

Como segurança ou segurança industrial, isso é inevitavelmente retrospectivo, o que é lamentável (algo ruim tem que acontecer antes para aprendermos com isso). No entanto, se compartilharmos o que aprendemos, podemos pelo menos minimizar o dano adicional. Acho que este é o melhor caminho, e depende de observação, monitoramento, relatórios, e aprendizagem, o que não é fornecido apenas pelos principais jornais.

O que se faz em Segurança?

No campo da segurança, a melhor a fazer é tomar uma abordagem utilitarista deliberadamente. É muito difícil proteger completamente um sistema de alto valor. Pelo que você sabe, o seu cônjuge é um espião infiltrado que joga seguindo uma estratégia (eu assistir a série "The Americans"). Em vez disso, a maioria dos especialistas em segurança se concentra em consertar os problemas relativamente simples e mais prováveis de causar brechas na segurança, e aceitam que um personagem mau, suficientemente determinado, provavelmente será capaz de se infiltrar eventualmente. Nesse caso, o objetivo é identificar que uma violação ocorreu e realizar alguma ação corretiva - no mínimo, informar aos usuários afetados que seus dados foram comprometidos.

Esta não é uma abordagem tão ruim e não é totalmente utilitária. Boa segurança ainda antecipa e lida com os casos excepcionais (uma violação pode acontecer) e tenta atenuá-los de alguma forma, em vez de apenas aceitar uma falha ocasional, desde que no geral o resto tenha funcionado. Pode-se considerar isso como o utilitarismo compassivo descrito acima - há um toque de Kant lá em que se prioriza manter a vítima informada.

O que podemos aprender com a ética?

Numa pesquisa do Stack Overflow em 2018, perguntaram aos desenvolvedores se sentiam-se responsáveis, em última instância, pelo uso antiético de seu próprio código. 80% disseram que não. Eles presumivelmente deixaram isso nas mãos de conselhos, acionistas, e Product Owners.

Você trabalharia para uma empresa que deixasse a segurança nas mãos de acionistas, que têm pouca ideia do que é isso? Espero que não. Isso seria pouco profissional. Na maioria dos casos, há vários firewalls culturais envolvidos em tornar uma aplicação segura. Conselhos e acionistas concordam, mas os profissionais de tecnologia têm a última palavra em segurança porque entendem o produto, o prospecto, e as opções. As equipes de segurança são a última barreira de defesa contra uma empresa que faça uma jogada insegura.

Então, por que a ética na tecnologia da informação também não? O que há de diferente nela? Será que esperamos que os conselhos compreendam as limitações de dados de teste de machine learning (ML) mais do que entendem as estratégias de criptografia? Se assim for, estamos sendo ingênuos.

• Especialistas em ML terão que defender os usuários de más decisões.
• Desenvolvedores terão que proteger os usuários contra danos causados por algoritmos potencialmente viciantes ou exploradores que eles criem.
• Ops e devops terão que proteger os usuários do dano do impacto cumulativo do uso ineficiente e sujo da energia nos data centers.

Se não nós, os técnicos, então quem? Somos nós que estamos escrevendo o código, somos muito mais diretamente responsáveis por qualquer dano resultante do que um profissional de segurança que está tentando proteger usuários de danos causados por outras pessoas. Os desenvolvedores podem não se sentir responsáveis pelo código, mas os tribunais dos EUA não concordam.

No ano passado, um engenheiro da Volkswagen foi preso nos EUA por quase quatro anos por ter escrito um código antiético.

Por isso, não é apenas a segurança do usuário em risco se desenvolvedores não tiverem ética. É nossa própria liberdade também.

Creio que precisamos construir um nível básico de familiaridade e confiança em questões éticas na indústria de tecnologia, assim como todos precisamos estar basicamente familiarizados com a segurança. Precisamos desses recursos excelentes, das melhores práticas bem documentadas, e de pessoas especializadas. Organizei a conferência Coed: Ethics, em Londres, em julho deste ano, para tentar nos fazer começar com isso; instituições de caridade como a DataKindUK e think tanks (conselhos de especialistas) como a Doteveryone estão trabalhando para desenvolver diretrizes e processos; e empresas de tecnologia como Container Solutions estão começando a testar esses processos e fornecer feedback. A conferência foi filmada e disponibilizada no InfoQ, e os recursos que estamos construindo estão no Github.

É hora de todos nós pensarmos ativamente sobre ética em nossas próprias áreas. Não precisamos ser especialistas para participar. Como Disraeli disse: "A história é feita por aqueles que aparecem".

Esse artigo faz parte de uma série de cinco artigos a respeito da ética na tecnologia da informação. Veja a seguir o link para os outros artigos da série:

• Engenheiros de software - última esperança para a ética na tecnologia da informação?
• Ética - uma perspectiva psicológica
• Ética - qual o próximo passo?
• Cidadania e ética na tecnologia da informação: por que se importar?

Sobre a autora

Anne Currie está na indústria de tecnologia há mais de 20 anos trabalhando em tudo, desde Microsoft Back Office Servers nos anos 90 e lingerie internacional online nos anos 2000, até devops de ponta e o impacto de containers orquestrados em 2010. Anne é co-fundadora de startups de tecnologia nos espaços de produtividade, varejo, e devops. Ela atualmente trabalha em Londres para a Container Solutions.

Confira esse artigo e muitos outros em nossa eMag de Ética