No dia 12 de setembro no Teatro Steve Jobs na Apple Park, Philip Schiller, vice-presidente sênior de marketing mundial da Apple, descreveu algumas das tecnologias por trás do reconhecimento facial do novo lançamento do iPhone X, incluindo o mecanismo de redes neurais do chip A11.
Conforme mostrado a seguir, o sistema de reconhecimento facial é habilitado por um novo sistema de câmera “TrueDepth” composto por uma câmera infravermelha (IR), Flood Illuminator (mecanismo de luz vermelho sensível aos olhos), câmera frontal e projeções por pontos. Ao olhar para o iPhone X, ele irá detectar seu rosto com o flood illuminator. A câmera infravermelha irá gerar uma imagem IR, para que o mecanismo de projeções de pontos envie cerca de, segundo Schiller:
mais de 30.000 pontos IR invisíveis. Nós utilizamos a imagem IR e os padrões de pontos gerados, e enviamos os mesmos para o processador de redes neurais para criar um modelo matemático de seu rosto. Feito isso, nós comparamos esse modelo matemático recém criado com o modelo anteriormente gerado como chave de desbloqueio do celular. Se forem iguais o celular será desbloqueado.
Schiller afirmou que as redes neurais também foram treinadas para evitar qualquer tentativa de falsificação fácil, como por exemplo o uso de fotografias, falha identificada no Galaxy S8 da Samsung. Schiller também afirma que:
“eles também fizeram os testes com figurinistas e maquiadores profissionais de artistas de Hollywood para se proteger dessas tentativas de quebrar o sistema de segurança Face ID”.
Ele continuou dizendo que a chance de uma pessoa aleatória no mundo desbloquear seu iPhone usando Face ID é 1 em 1.000.000, contra 1 em 50.000 para Touch ID. Os dados são armazenados no próprio dispositivo, dentro da arquitetura de segurança da Apple chamada Secure Enclave. O processamento também é tratado localmente no dispositivo e requer atenção do usuário para desbloquear.
Para processar as redes neurais no próprio iPhone X, a Apple desenvolveu seu primeiro processador neural dentro do chip A11. O processador neural é, na verdade, um par de núcleos de processamento dedicados a lidar com "algoritmos específicos de aprendizagem de máquinas". Esses algoritmos dão poderes a algumas das novas funcionalidades do IPhone X, incluindo o Face ID, Animoji e os aplicativos de realidade aumentada. Schiller afirmou que esses núcleos podem executar 600 bilhões de operações por segundo.
Essa ênfase no processamento no próprio dispositivo é típica da abordagem da Apple para o aprendizado de máquinas e redes neurais. Vimos isso em 2016, quando a empresa falou sobre o seu trabalho a respeito de privacidade diferencial, e novamente na WWDC deste ano com a introdução da biblioteca CoreML que adicionou ao iOS 11.
Por ter um hardware no próprio celular dedicado à IA (inteligência artificial), os dispositivos da Apple passaram a enviar menos dados para fora, aumentando assim a privacidade de seus usuários. Isso também significa que o dispositivo é capaz de executar tarefas sem precisar de uso constante de conexão a internet.
Este movimento também pode ser visto no mercado como um impulso da indústria para hardwares especializados em cargas de trabalho de IA. O Google já criou duas gerações de processadores para data centers, e algumas empresas também estão seguindo a liderança da Apple para empurrar tarefas de aprendizado de máquinas no dispositivo. O gigante chinês da tecnologia Huawei colocou uma "Unidade de processamento neural" similar em seu chip Kirin 970, dizendo que pode lidar com tarefas como o reconhecimento de imagens 20 vezes mais rápido do que uma CPU normal. O Google também anunciou o Tensorflow Lite, uma nova versão do Tensorflow otimizado para celulares.