O Facebook abriu o código de diversos módulos que agilizam o treinamento das redes neurais do Torch.
Pouco tempos após a Nvidia liberar o cuDNN, uma biblioteca baseada no CUDA para redes neurais, o laboratório de Pesquisas em Inteligência Artificial do Facebook (FAIR - Facebook's AI Research) liberou para uso público diversos módulos do Torch, coletivamente chamados de fbcunn e "significativamente mais rápido que os padrões". O foco principal dos módulos são as redes convolucionais, que são otimizados para GPUs e foram construídos com as bibliotecas cuFFT da Nvidia. O pacote contém:
- Módulos espaciais convolucionais usando FFT para acelerar as convoluções;
- Containers para paralelizar ambos os dados e modelos de treinamento em múltiplas GPUs;
- Encapsuladores para FTT e IFFT;
- Uma camada temporal convolucional mais rápida (1.5x a 10x mais rápido que o cuDNN);
- Tabela de pesquisa para modelos de linguagens neurais e palavras incorporadas;
- Módulo hierárquico do SoftMax para treinamento usando diversas classes.
O Facebook construiu esses módulos com base em ideias obtidas através dos documentos de Treinamento Rápido de Redes Convolucionais através do FFT, tendo Yann LeCun como co-autor e diretor da FAIR. De acordo com as notas de lançamento, o fbcunn fornece aprimoramento na velocidade de 1.84x em kernel pequeno de tamanho (3x3) em comparação ao cuDNN e chega a ser 23.5x mais rápido em kernel de tamanho grande (5x5).
Uma das primeiras aplicações do Torch e fbcuun foi o reconhecimento rápido de imagens como, por exemplo de classificação de objetos encontrados em imagens de 1.2M da ImageNet.