Na conferência Partners User Group 2015, a Teradata anunciou dois novos recursos de software para o processamento e análise em tempo real de fluxos massivos de dados da Internet das Coisas (IoT). O software Teradata Listener permite "escutar" múltiplos fluxos de dados IoT em tempo real, propagando então os dados para múltiplas plataformas analíticas. O Teradata Aster Analytics no Hadoop fornece análise de fluxos de dados IoT massivos usando o Teradata Aster Analytics.
O Listener foi construído usando uma combinação de softwares de código fonte aberto (incluindo Kafka, Cassandra, Elasticsearch e Mesos) e o software customizado da Teradata baseado no Docker, microservices e APIs RESTful. Os usuários do Listener configuram a entrada do fluxo de dados, pipelines de dados interno e destinos de dados de saída usando uma interface gráfica. Painéis de monitor proporcionam uma imagem completa e transparente da transformação em curso. O Listener também inclui: APIs RESTful, permite o desenvolvimento de monitores customizados, relatórios e análises. Enquanto a documentação completa das APIs não está disponível na versão beta do Listener, o post no blog Listener Curl Script fornece uma indicação de como as APIs serão acessadas.
Enquanto a nova plataforma Teradata é semelhante ao Elastic ELK stack, as tecnologias diferem um pouco nas especificidades dos problemas que abordam. O Listener incorpora ElasticSearch, fornece capacidades de transporte como Logstash, e inclui componentes de visualização e monitoramento do fluxo de dados como o Kibana. O problema que a nova plataforma Teradata resolve e que o ELK stack não aborda é a paralelização de algoritmos matemáticos que requerem que todos os dados estejam visíveis simultaneamente para um algoritmo para produzir o resultado final correto. Essa é a inovação que o Teradata Aster Analytics no Hadoop traz: escalabilidade em big data que pode ser aplicada para analisar enormes quantidades de dados IoT usando qualquer algoritmo concebível.
Tradicionalmente, as ferramentas analíticas não são concebidas para executar em um ambiente distribuído como o Hadoop, porque muitas das análises que as ferramentas fornecem precisam produzir uma resposta que representa o conjunto inteiro dos dados de entrada. Se os dados e análises são distribuídas através de múltiplos servidores, cada execução é uma cópia do software de análise, múltiplos resultados serão retornados, concebivelmente (dependendo do tipo de análise) não significa matematicamente válidos para mesclar os resultados em um único resultado correto. Enquanto métodos estatísticos podem estar disponíveis para estimar um valor correto com base na agregação da computação executada nos subconjuntos de dados, o valor correto atual para todo o conjunto de dados de entrada não é computável. Se o valor correto é necessário, ao invés de uma estimativa com uma margem de erro, as análises não podem ser paralelizadas usando métodos tradicionais.
O Aster Analytics no Hadoop resolve esse problema integrando diretamente o Aster Analytics software dentro do Hadoop. O mecanismo de processamento (chamado "vWorkers") são fornecidos e gerenciados através do sistema operacional de dados Hadoop YARN. Como o Aster é executado como um processo nativo no Hadoop, é possível acessar os dados através de todo o sistema de arquivos distribuídos do Hadoop (HDFS), resolvendo assim o problema de resultados múltiplos ou análises incorretas. Enquanto isso, executar o Aster Analytics dentro Hadoop resolve o problema da análise não ser escalável.
Uma versão beta do Teradata Listener está disponível e a companhia planeja lançar a versão de produção no primeiro quadrimestre de 2016. O lançamento do Teradata Aster Analytics no Hadoop está agendado para o segundo quadrimestre de 2016. É possível executar o software em plataforma cloud ou data center.