No QCon New York, Brittany Postnikoff deu uma palestra intitulada "Engenharia Social Robótica: Engenharia Social Usando Robôs Físicos". Citando resultados da literaturas de pesquisa acadêmica, demonstrou que os seres humanos podem ser manipulados por meio de robôs. Dada a crescente quantidade de robôs na vida cotidiana, combinada com o fato de que essas máquinas geralmente são mal projetadas ou dependem de um software antigo que é mal explorado e pouco conhecido, criam oportunidades para invasores poderem operar os robôs baseados em engenharia social, para se comunicarem com os humanos com objetivos escusos. A mensagem central da palestra foi a necessidade da segurança e privacidade fazerem parte do design fundamental de qualquer robô.
Postnikoff é analista de sistemas de computação, especializada em robótica e sistemas embarcados da GRIMM, além de estudar sobre os três pontos principais: pessoas, robôs e a relação entre ambos. Postnikoff começou a conversa dizendo que, gostando ou não, máquinas inteligentes estão chegando cada vez mais próximos de nós e do nosso cotidiano, citando alguns exemplos, como:
- No bairro de Mission em São Francisco, um robô percorre as ruas para observar atividades criminosas e desencorajar moradores de rua a montar as barracas.
- A Amazon patenteou a vigilância como serviço. Segundo o plano da Amazon, os drones de entrega ficam de olho na casa do cliente enquanto o mesmo está ausente. Os drones alertam o cliente sobre quaisquer suspeitas. É uma situação que ambos os lados ganham, os clientes têm mais segurança, e a Amazon possui a permissão que os drones da empresa voem sobre as casas dos clientes para fazer as entregas.
- No Japão, robôs em hospitais levantam e transportam pacientes que não podem andar sozinhos.
- No Hospital Sinai, em Baltimore, os robôs entregam medicamentos aos pacientes.
Cada um desses cenários está repleto de preocupações com privacidade e segurança. Por exemplo, o robô que patrulha as ruas da cidade pode fazer julgamentos sobre o direito das pessoas de ocuparem espaços públicos? Os drones da Amazon podem ver dentro da casa do cliente ou dentro da casa de um vizinho? Um robô hospitalar com defeito pode deixar um paciente doente? Um robô pode ser hackeado para sequestrar um paciente? E os robôs hospitalares sempre entregam os medicamentos corretos?
Algumas dessas preocupações aplicam-se tanto a trabalhadores humanos quanto a robôs, mas o uso das máquinas adiciona novas camadas de complexidade. Com o estado atual do machine learning, os agentes inteligentes carecem do tipo de julgamento necessário para lidar com situações novas ou incomuns. E enquanto as pessoas podem ser subornadas, as máquinas podem ser hackeadas. Cidades inteiras foram mantidas como reféns quando hackers invadiram a infraestrutura de computação.
Postnikoff define engenharia social como "o ato de persuadir ou manipular outras pessoas a fazer ou dizer algo que, de outra forma, não fariam", além disso, identificou três mecanismos sociais que os robôs podem usar para fins de engenharia social: a autoridade, a empatia e a persuasão.
Um estudo recente examinou a autoridade dos robôs e concluiu que as pessoas estavam mais dispostas a continuar renomeando os arquivos de computador, que convenhamos, é uma tarefa tediosa, quando um robô, em vez de um humano, lhes dizia para continuar.
No que diz respeito à empatia, as pessoas muitas vezes atribuem sentimentos a qualquer coisa que se mova por conta própria. Em outro estudo, os seres humanos jogaram Sudoku com um simpático robô falante. Depois de algum tempo, o robô mostrou que estava com mal funcionamento dizendo, "receio que o pesquisador tenha que me resetar". Em seguida, o pesquisador resetava o robô na frente da pessoa, e todos ficavam visivelmente desanimados quando, após a reinicialização, o robô falava com uma personalidade mais fria e reservada. No Japão, os clientes com robôs companheiros da AIBO tornam-se emocionalmente ligados aos amigos robóticos, tanto que preferem que os robôs com defeitos sejam consertados ao invés de serem substituídos.
Em outro estudo, desta vez focado na persuasão, uma equipe de pesquisadores mostrou imagens de rostos de pessoas para sujeitos humanos. As imagens vieram do Conjunto de Imagens de Expressão Facial Emocional de Varsóvia (Warsaw Set of Emotional Facial Expression Pictures - WSEFEP). No WSEFEP, cada par de imagens mostra os rostos das pessoas exibindo uma emoção específica, como raiva, alegria ou tristeza.
As pessoas foram questionados sobre qual imagem do par mostra uma emoção mais clara, então compararam as opiniões com o que achavam ser um robô e discutiram verbalmente com a máquina até chegarem a um consenso. Sem o conhecimento dos entrevistados, um pesquisador escondido atrás de uma cortina estava escrevendo frases para o robô dizer. Este truque é apropriadamente chamado de "O Mágico de Oz". Todos, exceto uma pessoa, estava disposta a aceitar as escolhas do robô para alguns pares de imagens. Isso dá evidência à noção de que os seres humanos podem ser persuadidos por palavras vindas de um robô. Vale a pena notar que este estudo precede o anúncio da Microsoft do Projeto Oxford, no qual o software reconhece emoções com precisão significativa.
Em seguida, Postnikoff trocou de assunto e argumentou que a segurança e a privacidade deveriam fazer parte do projeto fundamental de qualquer robô. Analisando o NAOrobot de nove mil dólares da SoftBank Robotics, podemos obter o endereço IP do robô pressionando o botão presente no peito, combinando essas informações com a possibilidade de uma senha fraca, podemos entrar na página administrativa do robô com qualquer navegador web. Neste caso, uma decisão de design levou a uma vulnerabilidade de segurança.
Outro robô estava enviando dados confidenciais para a nuvem sem nenhum tipo de criptografia. Os dados continham informações que Postnikoff não havia dado diretamente ao robô, indicando que alguns dados haviam sido compilados para envio posterior. Para ajudar a trazer a questão à tona, uma entidade desconhecida acabou hackeando o NAO no laboratório de Postnikoff.
Postnikoff encontrou instâncias de tecnologias legadas nos robôs que foram lançados recentemente por outros fabricantes. Em um outro caso, a tecnologia do servidor do robô estava obsoleta há uma década e possuía pelo menos doze pontos de falha de segurança conhecidas. Postnikoff não revelou o nome do fornecedor do robô e o chamou de "Fornecedor X", disse que gostaria de ter a conta do Fornecedor X reconfigurada, então enviou um email para um endereço no domínio do fornecedor. O destinatário do email respondeu que Postnikoff havia redefinido a conta de maneira remota. Isso foi bom, mas Postnikoff também notou que o destinatário não estava mais trabalhando para o Fornecedor X. A partir disso, Postnikoff imaginou que alguns ex-funcionários do Vendedor X tinham acesso aos vídeos que o robô gravou dentro de sua casa.
À medida que o machine learning moderno entra na alta velocidade, devemos estar cientes das potenciais armadilhas. Máquinas que simulam o comportamento humano apresentam problemas especialmente diferentes. A responsabilidade recai sobre todos os envolvidos, pesquisadores, designers, fornecedores e até mesmo os consumidores, para tratar a segurança e a privacidade como as principais preocupações.