Como vem acontecendo com muitas empresas de Data Science, a InfoSys está passando por grandes mudanças, distanciando-se do Big Data e aumentando a ênfase em inteligência artificial e aprendizado de máquina. Mas diferentemente dos seus concorrentes, que estão investindo pesadamente em soluções proprietárias como o Azure Machine Learning Studio da Microsoft, a InfoSys decidiu que uma abordagem colaborativa pode ser mais eficiente.
O resultado dessa decisão foi o OpenAI, uma empresa sem fins lucrativos para pesquisa sobre inteligência artificial. Oficialmente lançado em dezembro de 2015, este grupo de pesquisa já recebeu bilhões de dólares em doações não só da InfoSys, mas também da Amazon Web Services e diversas pessoas.
Recentemente a OpenAI liberou uma versão beta do OpenAI Gym. Essa caixa de ferramentas permite desenvolver e comparar algoritmos de Aprendizado por Reforço (Reinforced Learning), um dos pilares das pesquisas modernas sobre aprendizado de máquina. O anúncio do lançamento citou duas razões principais que estão focadas nos algoritmos de Aprendizado por Reforço:
O reinforced learning é muito amplo, abrangendo todos os problemas que envolvem tomadas de sequências de decisões: por exemplo controle de motores de um robô para correr ou pular; tomada de decisões de negócio como precificação ou gerenciamento de inventários; e uso em games e jogos de tabuleiro. A técnica pode ser aplicada para problemas de aprendizado supervisionado com saídas sequenciais ou estruturais.
Algoritmos de aprendizado por reforço (AR) começaram a obter bons resultados em muitos ambientes difíceis. O AR tem longa história, mas antes dos recentes avanços em deep learning, era necessário resolver muitos problemas específicos. Os resultados em jogos Atari conseguidos pela DeepMind, o BRETT do grupo Pieter Abbeel, e o AlphaGo que foi o primeiro programa que joga Go capaz de vencer um jogador profissional, todos utilizam algoritmos de AR que partem de poucas premissas sobre seu ambiente. Desse modo podem ser utilizados em outros cenários.
Atualmente, as pesquisas de AR estão limitadas pela necessidade de melhores benchmarks e a falta de padronização dos ambientes usados em publicações científicas. É difícil reproduzir os resultados de outro cientista quando os artigos presumem que o leitor tenha acesso a um conjunto de ferramentas proprietárias; ou pior, ferramentas internas que não estão disponíveis por preço algum.
Um fundamento importante do aprendizado de máquina é que haja um ambiente experimental no qual trabalhar, e não é possível comparar verdadeiramente dois algoritmos a menos que ambos compartilhem o mesmo ambiente. O OpenAI Gym busca solucionar esse problema oferecendo controles clássicos, um ambiente de texto simples, algoritmico, Atari (com base no ambiente de aprendizado no estilo Arcade), jogos de tabuleiro e robôs 2D/3D (Este último precisa da licença do MuJoCo uma engine de física).
O OpenAI Gym atualmente suporta Python 2.7 no Linux e OS X. Se houver interesse, segundo a organização, o Python 3 e o Windows poderão ser considerados futuramente. O código é oferecido sob a licença MIT. Conheça mais no site oficial.