BT

Disseminando conhecimento e inovação em desenvolvimento de software corporativo.

Contribuir

Tópicos

Escolha a região

Início Artigos Quanto devemos confiar na Inteligência Artificial

Quanto devemos confiar na Inteligência Artificial

Pontos Principais

  • Launchbury atribui o termo "aprendizagem estatística" ao que ele considera a segunda onda de Inteligência Artificial, onde a percepção e a aprendizagem são fortes, mas a tecnologia não possui qualquer habilidade para realizar raciocínio e abstração.
  • No seu núcleo, Inteligência Artificial é uma construção de alta ordem. Na prática, vemos inúmeros algoritmos de busca que, aparentemente, parecem compor a maioria das instâncias de Inteligência Artificial - muitas vezes cruzando muitos domínios tópicos.
  • Esta miríade de possíveis algoritmos e métodos disponíveis para alcançar algum estado de aprendizagem de máquinas levanta alguns problemas de confiança significativos, especialmente para aqueles envolvidos em testes de software.
  • O teste da máquina torna-se ainda mais complicado, pois são necessários conjuntos de dados extensivos para "treinar" a Inteligência Artificial em um ambiente de aprendizagem.
  • Qualquer tendência para acreditar no que, de fato, continua sendo uma tecnologia não confiável pode levar a conclusões enganosas e às vezes perigosas.

Este artigo apareceu pela primeira vez na revista IEEE IT Professional . O IEEE IT Professional oferece informações sólidas e revisadas por pares sobre os problemas de tecnologia estratégica de hoje. Para enfrentar os desafios da execução de empresas confiáveis ​​e flexíveis, os gerentes de TI e as lideranças técnicas contam com o IT Pro para soluções de ponta.

Houve uma grande quantidade de rumores recentes sobre a noção bastante datada de inteligência artificial (AI). A AI nos rodeia, envolvendo inúmeras aplicações que vão desde a pesquisa do Google, até Uber ou Lyft, preços de companhia aérea, até Alexa ou Siri. Para alguns, a Inteligência Artificial é uma forma de salvação, melhorando a qualidade de vida ao mesmo tempo em que infunde a inovação em inúmeras indústrias estabelecidas. Outros, no entanto, avisam terríveis advertências de que todos nós estaremos totalmente subjugados a inteligência de uma máquina superior. Inteligência Artificial é basicamente, mas nem sempre, o software dominante e o software é propenso a vulnerabilidades. Diante disso, como sabemos que a Inteligência Artificial em si é suficientemente confiável para fazer o seu trabalho, ou - colocando de forma mais sucinta - quanto devemos confiar nos resultados gerados?

Riscos de confiança mal colocada

Vamos analisar o caso dos carros auto-dirigidos. Elementos da Inteligência Artificial entram em jogo em um número cada vez maior de automóveis sendo dirigidos pelo piloto automático. Isso resulta em veículos que obedecem às regras da estrada, exceto quando não as obedecem. Assim foi o caso quando um veículo em modo automático colidiu com um caminhão na Flórida, matando seu motorista. O acidente foi logo atribuído a um erro do motorista, já que os controles automáticos eram considerados como sendo executados dentro do normal. O painel do sistema de segurança no momento exigiu que o radar e os sistemas visuais concordassem antes que uma ação evasiva fosse comprometida.

As evidências sugerem, no entanto, que o sistema visual recebeu um brilho branco no caminhão antes de voltar-se contra o solo. O sistema nem percebeu e não respondeu à iminência do perigo. No entanto, no impacto, outras evidências indicam que o motorista estava assistindo Harry Potter. O motorista que, evidentemente pelo excesso de confiança no piloto automático, não monitorou normalmente o seu comportamento para substituí-lo, apesar de ter um número estimado de sete segundos antes de uma visível colisão1. O padrão do nível de segurança foi estabelecido, mas o motorista não percebeu que o piloto automático ainda exigia sua total atenção. Neste caso, a confiança perdida em um sistema baseado em AI tornou-se mortal..

Estabelecendo um limite para a confiança

O avanço da AI ​​é realmente impressionante. A bem sucedida DARPA, patrocinadora de competições de veículos autônomos, completou a competição do Cyber ​​Grand Challenge (CGC) no final de 2016. O CGC estabeleceu que as máquinas atuando sozinhas poderiam fazer igual a um jogo de hackers ao vivo, conhecido como Capture a bandeira, onde uma "bandeira" está escondida no código, e o trabalho do hacker é explorar vulnerabilidades para alcançar e comprometer a bandeira de um oponente. O CGC ofereceu um prêmio de US $ 2 milhões para o time vencedor que mais competiu com sucesso no jogo. A rodada final do CGC derrubou sete máquinas uma contra a outra em uma rede fechada comum sem qualquer intervenção humana. As máquinas tiveram que identificar vulnerabilidades no sistema de um oponente, corrigi-las em seu próprio sistema e explorá-las nos sistemas dos adversários para capturar a bandeira. O time da Mayhem da Carnegie Mellon University foi declarado vencedor2.

O diretor do Escritório de Inovação da Informação da DARPA John Launchbury, caracteriza o tipo de AI associado ao CGC como conhecimento artesanal . Surgindo dos primeiros sistemas especializados, esta tecnologia continua a ser vital para o avanço da AI moderna. No conhecimento artesanal, os sistemas são responsáveis ​​por conjuntos de regras elaborados e definidos manualmente. Este tipo de AI tem força no raciocínio, mas é limitado em formas de percepção. No entanto, não possui habilidade para aprender ou executar abstração 3 .

Ao construir a confiança de que o raciocínio futuro da AI pode, de fato, diagnosticar e reparar rapidamente as vulnerabilidades do software, é importante notar que o CGC foi intencionalmente limitado no escopo. A extensão do sistema operacional de código aberto foi simplificada para fins da competição 4 , e instâncias de malware conhecidas foram implantadas como versões diluídas de suas contrapartes da vida real 5 . Isso facilitou intencionalmente o desenvolvimento, permitindo uma base uniforme para a avaliação competitiva, e reduziu o risco de liberar o software dos concorrentes para o mundo em rede maior sem requerer modificações significativas.

O uso de "truques sujos" para derrotar um oponente no jogo acrescenta uma dimensão mais obscura. Embora a capacidade de código de reengenharia para isolar e corrigir vulnerabilidades rapidamente seja bom, é uma outra coisa transformar essas vulnerabilidades em oportunidades que exploram eficientemente outros códigos. Alguns temem que, se essa capacidade fosse desencadeada e ficasse fora de controle, ela poderia se tornar uma forma de "super código", ambos isentos de vulnerabilidades comuns e capazes de aproveitar as mesmas vulnerabilidades para assumir o controle sobre as redes de outros, incluindo o crescimento e potencialmente vulnerável Internet das Coisas . Esta preocupação levou a Electronic Frontier Foundation a pedir um "código moral" entre os desenvolvedores de AI para limitar os sistemas de raciocínios para realizá-lo de forma confiável 4 .

Aprendizado de máquina aumenta a confiança

Launchbury atribui o termo aprendizagem estatística ao que ele considera a segunda onda de AI. Aqui, a percepção e a aprendizagem são fortes, mas a tecnologia não possui qualquer habilidade para realizar raciocínio e abstração. Embora estatisticamente impressionante, a aprendizagem automática de máquinas produz resultados individualmente não confiáveis, muitas vezes se manifestando como valores estranhos. O aprendizado da máquina (machine learning, em inglês) também pode ser distorcido ao longo do tempo por dados de treinamento contaminados 3 . Porque nem toda a aprendizagem da AI ​​produz resultados previsíveis, levando à realidade de que os sistemas de AI poderiam dar errados de maneiras inesperadas, definir o nível de confiança nas ferramentas baseadas em AI torna-se um obstáculo alto 6 .

No seu núcleo, AI é uma construção de alta ordem, onde inúmeras práticas e algoritmos federados aparentemente parecem compor a maioria das instâncias de AI, muitas vezes cruzando muitos domínios tópicos. Na verdade, a AI se estende muito além da ciência da computação para incluir domínios como neurociência, linguística, matemática, estatística, física, psicologia, fisiologia, ciência da rede, ética e muitos outros. A Figura 1 representa uma lista de algoritmos menos inclusivos que está subjacente aos fenômenos da AI ​​de segunda onda, muitas vezes conhecidos coletivamente como aprendizado automático.

(Clique na imagem para ampliá-la)

Figura 1. Algoritmos de aprendizado de máquinas AI prevalentes.

Esta miríade de algoritmos e métodos subjacentes potenciais, disponíveis para alcançar algum estado de aprendizagem por máquina, levanta alguns problemas importantes de confiança, especialmente para aqueles envolvidos no teste de software como um meio estabelecido para garantir a confiança. Quando a AI se torna associada à criatividade da missão, como é cada vez mais o caso, o testador deve estabelecer a base para múltiplos fatores, como consistência programática, repetibilidade, penetrabilidade, rastreamento do caminho aplicado ou modos de falha sistêmica identificáveis.

A questão não trivial do que é o algoritmo AI mais apropriado nos faz voltar a 1976 3 . Quem lida diariamente com AI enfrenta problemas desconcertantes em relação a qual é o algoritmo certo para se adequar ao design de IA desejado. Dado um resultado pretendido, qual algoritmo é o mais preciso? Qual é o mais eficiente? Qual é o mais simples de implementar no ambiente adequado? Qual possui o maior potencial para a menor corrupção ao longo do tempo? Quais são os mais familiares e, portanto, os mais prováveis ​​de se engajar? O projeto é baseado em alguma forma de centralidade, agentes distribuídos ou mesmo agência de software de enxames? Como tudo isso deve ser testado?

Essas perguntas sugerem que existem compromissos de projeto necessários entre uma ampla gama de algoritmos e técnicas alternativas relacionadas à AI. O fato de que tais abordagens alternativas para a AI existem, sugere que a maioria das arquiteturas de AI estão longe de serem consistentes ou coesas. Pior, é necessário um alto grau de personalização contextual tanto para raciocínio quanto para sistemas de aprendizagem. Isso, é claro, se estende ao teste de AI, porque cada algoritmo e sua implementação personalizada traz seus próprios desafios de testes profundos e únicos, mesmo no nível da unidade.

Um teste AI de alto nível avalia a capacidade de reconhecer e classificar corretamente uma imagem. Em alguns casos, esse teste superou a capacidade humana para fazer tais avaliações. Por exemplo, o conjunto de dados em rótulos marcados (LFW) suporta reconhecimento facial com cerca de 13.000 imagens para treinar e calibrar ferramentas de aprendizagem de máquinas de reconhecimento facial usando redes neurais ou aprendizado profundo. As novas ferramentas automáticas de reconhecimento de imagem AI podem superar estatisticamente a capacidade de reconhecimento facial humano usando este conjunto de dados 7. A tarefa em questão, no entanto, é fundamentalmente perceptual por natureza. Essas tarefas discriminam funcionalmente através de padrões geométricos ligados matematicamente, mas deixam de ter qualquer forma de raciocínio cognitivo de ordem superior. Além disso, enquanto compara a precisão do reconhecimento seletivo com a habilidade humana, outros aspectos críticos da base de código subjacente continuam desmarcados sob este teste.

Além do código

O aprendizado da máquina de teste torna-se ainda mais complicado, pois são necessários conjuntos de dados extensivos para "treinar" o AI em um ambiente de aprendizagem. Não só o código AI deve ser perfeito, mas os dados utilizados no treinamento devem, teoricamente, ter o melhor pedigree. No mundo real, no entanto, os conjuntos de dados muitas vezes tendem a ser desequilibrados, escassos, inconsistentes e, muitas vezes, imprecisos, se não totalmente corruptos. A Figura 2 sugere que a informação resulta frequentemente da resolução da ambiguidade. Mesmo sob condições controladas, diferenças significativas resultam do uso de conjuntos de dados simples ou múltiplos bem válidos usados ​​para treinar e testar classificadores. Assim, mesmo os testes controlados para classificadores podem se tornar altamente complicados e devem ser abordados com cuidado 8 .

Figura 2. A proveniência da informação geralmente pode ser pouco clara.

Outros fatores relacionados à confiança se estendem muito além do código. Como a codificação é simultaneamente um ato criativo e um pouco de ciência sintática, está sujeita a algum grau de interpretação. É viável que quem está codificando possa injetar uma inclinação cultural ou pessoal intencional ou não intencional no código AI resultante. Considere o caso da pessoa que cria uma rotina de reconhecimento facial altamente precisa, mas negligencia em considerar a pigmentação da pele como um fator decisivo entre os critérios de reconhecimento. Esta ação pode distorcer os resultados de características que de outra forma são reforçadas pela cor da pele. Por outro lado, as taxas de reincidência entre criminosos prejudicam algumas decisões de libertação de prisão baseadas em AI ao longo de linhas raciais9 . A inconsistência semântica pode comprometer ainda mais a neutralidade do código AI, especialmente se o processamento de linguagem natural ou o reconhecimento idiomático de fala estiverem envolvidos.

Alguns sugerem que todas as carreiras de TI são agora carreiras de cibersegurança 10 . Isso também tem uma enorme implicação para o campo de desenvolvimento de AI e sua implementação. A questão de "quem sabe o que a máquina conheceu e quando a conheceu" torna-se significativa do ponto de vista da segurança cibernética. O que a máquina descobre é muitas vezes não facilmente observável, mas está profundamente codificado. Isso não só afeta dados recém-internalizados, mas - no mundo IoT - esses dados podem disparar desencadeadores de decisão para acionar atuadores que traduzem o "aprendizado" em algum tipo de ação. Faltando identidade e pedigree de estímulo concreto, o mecanismo de resposta ao estímulo de IoT, provocado pela AI, torna-se igualmente incerto. No entanto, as ações resultantes em sistemas de missão crítica exigem uma validação rigorosa.

A terceira onda

Launchbury prevê a necessidade de uma terceira onda de AI, ainda por ser aperfeiçoada, que ele chama de adaptação contextual . Esta tecnologia, que requer muito mais trabalho, reúne forças na percepção, aprendizado e raciocínio e suporta um nível significativamente elevado de abstração entre domínios 3 .

A Cúpula de Ontologia de 2017 , intitulada "AI, Aprendizagem, Raciocínio e Ontologias", concluiu em maio de 2017. Reforçando a observação de Launchbury, o projeto de comunicado da cúpula concluiu que, até o momento, a maioria das abordagens de AI, incluindo ferramentas de aprendizado de máquina, operam em um sub-símbolo nível, usando técnicas computacionais que não se aproximam do pensamento humano. Embora grandes progressos tenham sido alcançados em muitas formas de AI, o tratamento completo da representação do conhecimento no nível simbólico aguarda a maturidade. De forma correspondente, a utilidade da ontologia como uma ferramenta de organização semântica formal oferece apenas vantagens limitadas à IA e ao seu melhor ambiente de teste.

A rede semântica envolve representações gráficas do conhecimento sob a forma de nós e arcos. Ela fornece uma maneira de entender e visualizar as relações entre símbolos, muitas vezes representados por palavras ativas, que transmitem significados variados quando vistos em contexto. AI, em grande parte sub-simbólico hoje, precisará lidar com a semântica aplicada em um sentido muito mais formal para alcançar o status de terceira onda. Sob tais circunstâncias, a AI torna-se não-linear, em que causa e efeito estão cada vez mais desacopladas através de múltiplos segmentos de execução. Isso leva ao estabelecimento de sistemas adaptativos complexos (CAS), que tendem a aderir e ser influenciados pelo comportamento da rede não-linear.

E um CAS, surgem novos comportamentos baseados em circunstâncias ambientais ao longo do tempo. Aqui, podem haver vários caminhos auto-organizados que conduzem ao sucesso ou ao fracasso, todos desencadeados por nós e arcos altamente diversificados que podem vir, crescer, encolher e passar do tempo. Essas redes desafiam o teste de unidade recursiva tradicional quando compostas usando o software incorporado, que está inter-relacionado com os dados. Isso ocorre porque em um CAS, o conjunto muitas vezes se torna muito mais do que apenas a soma das partes 11. Em vez disso, novas abordagens, emergentes da ciência da rede aplicada, oferecem um melhor meio de avaliar o comportamento dinâmico de AI que emerge ao longo do tempo. Isso se torna cada vez mais verdadeiro à medida que as métricas temporais associadas à teoria do gráfico são melhor compreendidas como um meio de descrever comportamentos dinâmicos que não seguem caminhos lineares para alcançar algum efeito desejado12 .

Até que uma metodologia confiável seja adotada para a avaliação da confiança assegurada dentro da AI, a palavra de ordem deve ser cautela. Qualquer tendência para colocar fé cega no que, de fato, continua a ser uma tecnologia não confiável pode levar a conclusões enganosas e às vezes perigosas

Referências

1. N.E. Boudette, "Tesla's Self-Driving System Cleared in Deadly Crash", New York Times, 19 Jan. 2017.

2. D. Coldewey, "Carnegie Mellon's Mayhem AI Takes Home $2 Million from DARPA's Cyber Grand Challenge", TechCrunch, 5 Aug. 2016;

3. J. Launchbury, "A DARPA Perspective on Artificial Intelligence", DARPAtv, 15 Feb. 2017;

4. N. Cardozo, P. Eckersley, and J. Gillula, "Does DARPA's Cyber Grand Challenge Need a Safety Protocol?" Electronic Frontier Foundation, 4 Aug. 2016;

5. A. Nordrum, "Autonomous Security Bots Seek and Destroy Software Bugs in DARPA Cyber Grand Challenge", IEEE Spectrum, Aug. 2016;

6. S. Jontz, "Cyber Network, Heal Thyself", Signal, 1 Apr. 2017;

7. A. Jacob, "Forget the Turing Test-There Are Better Ways of Judging AI", New Scientist, 21 Sept. 2015;

8. J. Demsar, "Statistical Comparisons of Classifiers over Multiple Data Sets", J. Machine Learning Research, vol. 7, 2006, pp. 1-30.

9. H. Reese, "Bias in Machine Learning, and How to Stop It", TechRepublic, 18 Nov. 2016;

10. C. Mims, "All IT Jobs Are Cybersecurity Jobs Now", Wall Street J., 17 May 2017;

11. P. Erdi, Complexity Explained, Springer Verlag, 2008.

12. N. Masuda and R. Lambiotte, A Guide to Temporal Networks, World Scientific Publishing, 2016.

Sobre o autor

George Hurlburt é cientista em chefe da STEMCorp, uma organização sem fins lucrativos que trabalha para promover o desenvolvimento econômico através da adoção da ciência da rede e para promover tecnologias autônomas como ferramentas úteis para uso humano. Ele está envolvido na arquitetura dinâmica baseada em gráficos da Internet. Hurlburt está no conselho editorial do IT Professional e é membro do conselho de governadores do Southern Maryland Higher Education Center. Entre em contato com ele aqui.

 

Este artigo apareceu pela primeira vez na revista IEEE IT Professional . O IEEE IT Professional oferece informações sólidas e revisadas por pares sobre os problemas de tecnologia estratégica de hoje. Para enfrentar os desafios da execução de empresas confiáveis ​​e flexíveis, os gerentes de TI e as lideranças técnicas contam com o IT Pro para soluções de ponta

Conteúdo educacional

BT