SergioInfo

Recentemente, o especialista em computação da Cycle Computing, Jason Stowe postou um desafio à equipe de engenheiros: quem de vocês consegue compor um cluster de 10 mil núcleos na nuvem?

A empresa de Stowe já havia montado alguns clusters com milhares de núcleos no ambiente de nuvem da Amazon, o Elastic Compute Cloud. Agora, Stowe quer ir além e oferecer uma estrutura de 10 mil núcleos no formato HPC – tecnologia que gera uma rotina programada para dar conta da execução de aplicativos otimizados para o modelo de  computação de alto desempenho.

“Não encontramos nada parecido de igual escala”, diz o especialista. Se fosse analisado em termos de velocidade de processamento, a estrutura de Stowe teria – facilmente – chegado à lista dos 500 supercomputadores mais rápidos da atualidade.

O primeiro passo consiste em identificar clientes que possam se beneficiar de tal solução. De pouco adianta gastar energia em uma solução desse cunho se não houver aplicação.

Biotecnologia
O cliente que aceitou incorporar tal solução, foi a empresa de biotecnologia Genetech, sediada em San Francisco, nos EUA.  A escolha foi feita pelo geneticista Jacob Corn e sua missão é descobrir de que maneira as proteínas realizam as ligações entre si. Possivelmente, as descobertas do cientista sejam aplicáveis em tratamentos médicos.

Sobre o poder de processamento oferecido pelo cluster de 10 mil núcleos, Corn diz que, atualmente, a empresa dispõe de uma solução equivalente a um décimo disso.

A Cycle Computing e a cliente Genetech montaram o supercluster de 10 mil núcleos. A hora escolhida foi um pouco depois da meia-noite, por sugestão da Amazon. Normalmente, a Amazon oferece máquinas virtuais servidas por computadores muito potentes. Mas a Genetch e a Cycle optaram por uma configuração padrão “Vanilla CentOS”, um cluster Linux, o que pode gerar alguma economia. O sistema operacional é uma distribuição Red Hat Linux.

Os 10 mil núcleos são compostos por 1.250 instâncias com oito núcleos cada, além dos 8.75TB de memória RAM e espaço em disco de 2 PB. Botar o cluster para funcionar foi uma operação de 45 minutos, à medida que os núcleos eram acionados e a estabilidade ficava evidente, o procedimento continuou. Não houve contratempos. “Queríamos 10 mil cores, e foi o que conseguimos”, afirma Stowe.

Oito horas
Ao custo de 8.500 dólares, o cluster rodou por oito horas seguidas. No cálculo estão embutidas todas as taxas da Amazon e da Cyle Computing.

Uma solução muito mais em conta que a aquisição de 10 mil núcleos para o data center interno da Genetech. Se a empresa fosse usar os recursos próprios, em vez de rodar os cálculos em pouco mais de oito horas, o processo teria se arrastado por semanas e até meses.

A Genetech se beneficiou da arquitetura do cluster pelo fato de os cálculos que precisava realizar serem de natureza “extremamente paralela”, sem qualquer comunicação entre os nós.

Na solução, a Cycle Computing aplicou um software próprio batizado de CycleCloud. Para dar conta da enumeração de processos, a empresa escolheu o Condor, uma solução de código aberto.

Para o monitoramento do cluster e eventual reinicialização dos nós, a Cycle também usou uma solução própria. A segurança do sistema ficou por conta de uma conexão SSL criptografada por chaves de 128 e de 256 bits.

No Top 500
Segundo a Cycle, o cluster ranquearia na posição n.º 114 entre os 500 computadores mais rápidos do mundo. Apesar de não rodarem um software para avaliar a velocidade do cluster, todas as máquinas que ficam abaixo da posição 114 rodam menos de dez mil núcleos.

Enquanto aguarda para ver se sua descoberta será de algum valor para o mundo da ciência, Corn adianta que os dados são fantásticos. Segundo ele, a Genetech é uma empresa bastante aberta à ideia de montar mais clusters na nuvem da Amazon e a Cycle Computing também gosta da proposta.

“Já estamos trabalhando em algo ainda maior”, diz Stowe. “Tudo de que a Cycle Computing precisa, é de clientes como a Genetech, que precisem e queiram soluções desse porte”.