A Cycle Computing, empresa de soluções em cloud com tradição na criação de clusters de imenso porte, lançou recentemente um cluster formado por mais de 30 mil núcleos de processamento, com alta capacidade de throughput, rodando no Amazon EC2.
O cluster, chamado Nekomata, foi construído sobre 3.809 instâncias o tipo c1.xlarge, cada uma com 8 núcleos de processamento, sete gigabytes de memória RAM e mais de 540 terabytes de espaço em disco, constituindo ao todo 30.472 núcleos e cerca de 27 terabytes de memória.
O Nekomata foi replicado em três centros de dados da Amazon, dois deles nos EUA e um na Europa. Com essa estratégia, foi possível garantir a disponibilidade do serviço, mesmo diante de falhas graves, além de manter o provisionamento dos 30 mil núcleos. A segurança no cluster foi garantida por HTTPS, SSH e criptografia com AES.
Uma infraestrutura como essa se justifica em cenários computacionais extremamente complexos, que exigem altíssimo nível de throughput (veja High Throughput Computing). O Nekomata foi criado para realizar o processamento de modelos moleculares, tarefa que exige a realização de cálculos maciçamente paralelos.
O tempo total para os cálculos foi cerca de 8 horas. Isso equivale, se for contabilizada cada instância, a 95 mil horas (mais de 10 anos) de processamento. O cliente que contratou a infraestrutura não tinha ideia do tempo necessário e do custo de processamento em uma infraestrutura criada internamente, razão por ter optado por soluções de cloud.
Ferramenta "Grid", apresentando uma visão geral do processamento realizado no Nekomata
Para distribuir a carga de trabalho e o volume de processamento, a Cycle a utilizou o Condor, um software especializado em contabilizar o uso dos recursos de computador durante um longo período de processamento computacional. Para a automação de tarefas e a gestão de equipamentos, a tecnologia utilizada foi o Chef, um framework para integração de sistemas. Outro desafio foi monitorar o ambiente criado. Para isso, foi desenvolvido internamente o Grill (veja a figura), ferramenta que atua como um painel de controle de informações extraídas do Chef.
O Nekomata superou em três vezes a capacidade do até então maior case da empresa: um cluster com mais de 10 mil núcleos, também rodando sob a Amazon EC2 lançado há alguns meses.
O custo total de toda essa infraestrutura foi de 1279 dólares por hora, já incluindo os serviços da Amazon e da Cycle Computing. Ou seja, por cerca de 10 mil dólares pôde ser realizado um volume de processamento há poucos anos impensável sem a escalabilidade quase infinita da computação em nuvem.