As estradas para Zettascale e computação quântica são longas e sinuosas
Nos Estados Unidos, o primeiro passo no caminho para sistemas de HPC exascale começou com uma série de workshops em 2007. Somente uma década e meia depois, o sistema "Frontier" de 1.686 petaflops no Oak Ridge National Laboratory entrou em operação . Este ano, o Argonne National Laboratory está se preparando para ligar a "Aurora", que será a segunda ou a terceira máquina exascale nos Estados Unidos, dependendo do momento do sistema "El Capitan" em Lawrence Laboratório Nacional de Livermore.
Houve atrasos e contratempos no caminho para exascale para todas essas máquinas, bem como mudanças de tecnologia, competição contínua com a China e outros desafios. Mas não espere que o próximo salto para zettascale – ou mesmo para a computação quântica – seja mais rápido, de acordo com Rick Stevens, diretor associado do laboratório de computação para meio ambiente e ciências da vida em Argonne. Ambos podem levar mais 15 a 20 anos ou mais.
Essa é a natureza do HPC.
"Este é um jogo de longo prazo", disse Stevens em um webinar recente sobre o futuro próximo e distante da computação em HPC. "Se você está interessado no que acontecerá no próximo ano, HPC não é o jogo para você. Se você quer pensar em termos de uma ou duas décadas, HPC é o jogo para você, porque estamos em uma trajetória de mil anos. para chegar a outros sistemas estelares ou o que quer que seja. Estes são apenas os primeiros dias nisso. Sim, tivemos uma ótima execução da Lei de Moore. A humanidade não terminará amanhã. Temos um longo caminho a percorrer, então temos que ser pensando, o que significa computação de alto desempenho daqui a dez anos? O que significa daqui a vinte anos? Não significa a mesma coisa. Agora, vai significar algo diferente."
Essa parte "agora" que foi central para a palestra que Stevens deu é IA. Não apenas aplicativos de HPC aprimorados por IA e áreas de pesquisa que se beneficiariam da tecnologia, mas simulações e substitutos gerenciados por IA, aceleradores de IA dedicados e o papel que a IA desempenhará no desenvolvimento dos grandes sistemas. Ele observou a explosão de eventos no campo da IA entre 2019 e 2022, a maior parte do tempo gasto na pandemia do COVID-19.
À medida que grandes modelos de linguagem – que estão no centro de ferramentas como o altamente popular ChatGPT e outros chatbots de IA generativos – e o aprendizado profundo de difusão estável de texto para imagem decolaram, técnicas de IA foram usadas para dobrar um bilhão de proteínas e melhorar a matemática aberta problemas e houve uma adoção massiva de IA entre os desenvolvedores de HPC. A IA foi usada para acelerar os aplicativos de HPC. Além de tudo isso, os sistemas exascale começaram a chegar.
"Essa explosão continua em termos de mais e mais grupos construindo modelos em grande escala e quase todos esses modelos estão no setor privado", disse Stevens. "Há apenas um punhado que está sendo feito por organizações sem fins lucrativos, e muitos deles são de código fechado, incluindo GPT-4, que é o melhor que existe atualmente. Isso está nos dizendo que a tendência não é para milhões de modelos minúsculos , é para um número relativamente pequeno de modelos muito poderosos. Esse é um tipo importante de meta que está acontecendo."
Tudo isso – simulações e substitutos, aplicativos emergentes de IA e casos de uso de IA – exigirão muito mais poder de computação nos próximos anos. A Argonne Leadership Computing Facility (ALCF) em Illinois está começando a refletir sobre isso enquanto planeja sua máquina pós-Aurora e as que estão além dela. Stevens e seus associados estão imaginando um sistema oito vezes mais poderoso que o Aurora, com solicitação de propostas no outono de 2024 e instalação até 2028 ou 2029. "Deve ser possível construir máquinas de baixa precisão para aprendizado de máquina que estão se aproximando de meio zettaflop para operações de baixa precisão. Dois ou três spins a partir de agora", disse Stevens.
Uma pergunta será sobre os aceleradores em tais sistemas. Serão versões mais recentes das GPUs de uso geral usadas agora, GPUs aprimoradas por algo mais específico para simulações de IA ou um mecanismo totalmente novo otimizado para IA?