O Llama 4 da Meta treina em mais de 100.000 GPUs Nvidia H100

A Meta lançou recentemente uma nova atualização sobre o Llama 4, seu próximo modelo de linguagem grande. Em uma recente chamada de resultados, o CEO Mark Zuckerberg compartilhou que eles estão treinando os modelos Llama 4 em um cluster composto por mais de 100.000 GPUs Nvidia H100-maior do que tudo o que ele já viu relatado sobre o que outros estão fazendo.

Esse novo modelo de linguagem de grande porte, que deverá ser lançado no início de 2025, primeiro lançará suas versões menores. Embora não haja muitos detalhes sobre suas habilidades específicas, Zuckerberg deu a entender que a Llama 4 terá novos recursos, melhores habilidades de raciocínio e, em geral, será mais rápida.

A abordagem da Meta com a Llama 4 mantém seu padrão de tornar os modelos gratuitos para download, ao contrário da OpenAI e do Google, que limitam o acesso somente por meio de APIs. Esse modelo é especialmente popular entre startups e pesquisadores que desejam mais liberdade sobre como usar a IA.

Com uma configuração de computação tão grande, as demandas de energia são igualmente grandes, estimadas em 150 megawatts - cinco vezes a demanda de energia do maior supercomputador do laboratório nacional dos EUA. O orçamento do Meta reflete essa escala, com gastos com infraestrutura que devem chegar a US$ 40 bilhões em 2024, um salto de 42% em relação a 2023.

Mesmo com esses custos significativos, as finanças do Meta são sólidas, mostrando um aumento de 22% nas vendas, em grande parte graças à receita de anúncios, o que ajudou a equilibrar um aumento de 9% nos custos operacionais.