Entrevista sobre o livro AI Crash Course

O livro AI Crash Course, de Hadelin de Ponteves, contém um conjunto de quatro modelos diferentes de IA: Thompson Sampling, Q-Learning, Deep Q-Learning, e Deep Convolutional Q-learning. Ele ensina a teoria desses modelos de IA e fornece exemplos de codificação para resolver casos da indústria com base nesses modelos.

Os leitores do InfoQ podem encontrar um trecho do AI Crash Course no site da editora.

O InfoQ entrevistou Hadelin de Ponteves sobre o uso de diferentes modelos de IA e como desenvolver habilidades em IA.

InfoQ: Por que você escreveu este livro?

Hadelin de Ponteves: Porque queria que minha comunidade de estudantes de IA se beneficiasse de um recurso complementar que não fosse meus cursos on-line. Por muitos anos, criei cursos on-line sobre Inteligência Artificial (IA), que tiveram muito sucesso e contribuíram para a comunidade de IA. No entanto, algo essencial estava faltando. A certa altura, havia tantos cursos de IA que meus alunos me pediam orientação sobre como fazer os cursos. Então, em vez de fornecer uma ordem para a realização dos cursos, decidi criar um guia completo da IA ​​como um livro, que incluiria em uma estrutura perfeita todas as melhores explicações e atividades práticas do mundo real do meu cursos. Meu objetivo é democratizar a IA e conscientizar a todos sobre o fato de que a IA é uma tecnologia acessível que pode fazer a diferença para melhor neste mundo. Estou tentando o meu melhor para espalhar conhecimento ao redor do mundo para preparar as pessoas para os futuros empregos e oportunidades deste século XXI, e achei que algumas pessoas aprenderiam a IA de maneira muito mais eficiente com um livro tudo-em-um que podem levar a qualquer lugar, em vez de concluir dezenas de cursos on-line que podem ser difíceis de navegar. Dito isto, este livro também é um ótimo recurso adicional para as pessoas que preferem e fazem cursos on-line.

InfoQ: A quem o livro é destinado?

De Ponteves: Este livro é destinado a pessoas que estão nos níveis iniciante e intermediário da IA. De fato, os primeiros capítulos explicam todos os fundamentos da teoria da IA, para que se obtenha os fundamentos certos, e até mesmo um capítulo completo sobre o básico do Python é incluído para quem não sabem codificar. Os próximos capítulos abordam modelos mais avançados de IA e muitas atividades práticas, para que não apenas os iniciantes, mas também os alunos de nível intermediário, possam aprender mais e praticar.

InfoQ: Quais modelos de IA existem e como eles diferem entre si?

De Ponteves: Existem quatro modelos de IA diferentes: Thompson Sampling, Q-Learning, Deep Q-Learning, e Deep Convolutional Q-Learning. Eles são muito diferentes em um nível algorítmico: o Deep Q-Learning é o Q-Learning combinado com Deep Learning. O Q-Learning profundo convolucional é o Q-Learning profundo combinado com uma CNN (Rede Neural Convolucional). O Thompson Sampling é muito diferente dos demais, de forma que se baseia puramente nas estatísticas básicas. Os quatro modelos também são muito diferentes em termos de como eles são aplicados. O Thompson Sampling é usado para construir uma máquina de venda de publicidade on-line. O Q-Learning é usado para construir um sistema de otimização logística para automação de processos. O Deep Q-Learning para construir um carro autônomo e também para resolver um problema de negócios. O Q-Learning profundo convolucional é usado para criar uma IA que joga videogame.

InfoQ: Como funciona o aprendizado por reforço?

De Ponteves: Para começar, uma IA toma uma observação (valores, imagens, ou qualquer dado) como entrada e retorna uma ação para executar como saída (princípio #1). Depois, existe um sistema de recompensa que ajuda a IA a medir seu desempenho nas iterações. A IA aprenderá por tentativa e erro com base na recompensa que obtém ao longo do tempo (princípio #2). A entrada (estado), a saída (ação) e o sistema de recompensa definem o que chamamos de ambiente de IA (princípio #3). A IA interage com esse ambiente por meio de um processo chamado processo de decisão de Markov (princípio #4). Finalmente, no modo de treinamento (quando a IA está treinando), a AI aprende como maximizar sua recompensa total, atualizando seus parâmetros por meio das iterações, e no modo de inferência (quando está simplesmente fazendo previsões), a AI executa suas ações em um ciclo completo sem atualizar nenhum de seus parâmetros - ou seja, sem aprender (princípio #5).

InfoQ: No livro, você explicou como podemos usar a Thompson Sampling para descobrir qual estratégia de marketing oferece a maior receita. Como é o algoritmo usado para isso?

De Ponteves: O algoritmo é bastante simples, pois pode ser codificado em menos de 100 linhas de código! Cada estratégia de marketing está associada à sua própria distribuição Beta. Cada vez que a estratégia é bem-sucedida, sua distribuição Beta é levemente deslocada para a direita e cada vez que a estratégia não é bem-sucedida, sua distribuição Beta é levemente deslocada para a esquerda. Portanto, ao longo das rodadas, a distribuição Beta da máquina caça-níqueis com a maior taxa de conversão será progressivamente deslocada para a direita e as distribuições Beta das estratégias com menores taxas de conversão serão progressivamente deslocadas para a esquerda. E a chave para isso é que, a cada passo no tempo, amostramos um sorteio aleatório de cada distribuição Beta associada a cada estratégia de marketing e selecionamos, é claro, a estratégia que tem o maior desses sorteios aleatórios. Portanto, estatisticamente, a máquina caça-níqueis com a maior taxa de conversão será selecionada cada vez mais.

InfoQ: Quais são os benefícios que podemos obter ao usar uma abordagem de IA para determinar a melhor estratégia?

De Ponteves: Há apenas um benefício, além do fato de você realmente encontrar a melhor estratégia, que é a eficiência. A IA, comparada a outros algoritmos, será a que achará a melhor estratégia mais rápida. Por exemplo, se você estiver lidando com 10 estratégias e quiser descobrir qual delas tem a maior taxa de conversão, a Thompson Sampling descobrirá isso em centenas de rodadas, enquanto uma abordagem clássica a encontrará em milhares de rodadas. E essa é uma enorme diferença, pois economiza tempo e custos. A maneira como a Thompson Sampling consegue descobrir tão rapidamente reside no fato de que ela cria um modelo probabilístico otimizado para encontrar as estratégias com as maiores taxas de conversão

InfoQ: Como o Q-learning profundo difere do Q-learning?

De Ponteves: O Deep Q-Learning é a combinação do Q-Learning e Deep Learning. É como se estivéssemos construindo um cérebro para a IA, e é exatamente esse cérebro que decidirá quais previsões fazer no ambiente para alcançar a recompensa máxima e vencer. Como esse cérebro é construído? A partir de neurônios artificiais, colocados em várias camadas. Cada neurônio de uma camada está conectado a todos os neurônios da camada anterior e cada camada tem sua própria função de ativação - uma função que decide quanto cada sinal de saída deve ser bloqueado. O passo em que esse cérebro artificial elabora a previsão é chamado de propagação progressiva e o passo em que aprende é chamado de propagação retroativa. Existem três tipos principais de propagação retroativa: descida de gradiente em lote, descida de gradiente estocástico, e a melhor de todas, descida de gradiente em mini-lote, que combina as vantagens dos dois métodos anteriores.

InfoQ: Como podemos reconhecer imagens usando redes neurais convolucionais?

De Ponteves: Uma rede neural convolucional é uma rede neural avançada que procura por determinados recursos nessas imagens, permitindo reconhecer o que está dentro. Por exemplo, se quiser reconhecer um cão ou um gato, ela procurará recursos como o formato do nariz que é diferente em um cão e em um gato. Então, no lado técnico, uma rede neural convolucional usa três etapas principais: convolução, onde procuramos por recursos; pool máximo, onde reduzimos o tamanho da imagem; e achatamento, onde achatamos imagens 2D em um vetor 1D para que possamos inseri-las em uma rede neural, e então, a propagação progressiva através de uma rede neural totalmente conectada é aplicada para prever o que a imagem está representando.

InfoQ: Como podemos treinar sistemas de IA baseados em redes neurais convolucionais?

De Ponteves: Podemos treiná-los exatamente da mesma maneira que faríamos com um sistema clássico de IA baseado no Deep Q-Learning. A única coisa que muda é que damos à IA a capacidade de ver imagens e até vídeos, graças à rede neural convolucional que ela contém na frente de seu cérebro. Portanto, o único uso da rede neural convolucional é para que a IA consiga observar imagens reais e, em seguida, seu cérebro (o sistema clássico baseado no Deep Q-Learning) é treinado da maneira usual com descida de gradiente estocástica e propagação retroativa.

InfoQ: O que você recomenda às pessoas que querem praticar suas habilidades de IA?

De Ponteves: Podem participar de competições de IA como as do Kaggle, que contêm problemas que podem ser resolvidos com o aprendizado por reforço profundo. Poderiam criar novas IAs como as que criamos no livro, como o carro autônomo. Por exemplo, também podem construir uma IA que joga o jogo de pong. Além disso, existe uma excelente plataforma de IA chamada OpenAI Gym, onde se pode praticar a criação de IAs para muitos tipos de aplicativos, incluindo uma IA que joga jogos da Atari (Breakout, Pacman, Space Invaders etc.), uma AI que joga corridas de carros, IA que joga o jogo Doom, ou treinando um robô virtual sobre como andar e correr. Eu realmente recomendo que acessem o site do Open AI Gym, que possui todos esses aplicativos fantásticos em que podem praticar.

Sobre o Autor do livro

Hadelin de Ponteves Hadelin de Ponteves é o co-fundador e CEO da BlueLife AI, que aproveita o poder da inteligência artificial de ponta para capacitar as empresas a obter lucros massivos ao inovar, automatizar processos, e maximizar a eficiência. De Ponteves também é um empreendedor no mundo virtual, onde criou mais de 50 cursos educacionais virtuais em tópicos como Machine Learning, Deep Learning, Inteligência Artificial, e Blockchain, que atingiram mais de 1 milhão de vendas em 204 países.