O processador Cerebras CS-2 escalona até 163 milhões de núcleos para superar a complexidade do cérebro humano
A Cerebras Systems é conhecida pelos maiores processadores do mundo que integram centenas de milhares de núcleos por chip único. Estes núcleos não são os habituais X86 que vemos hoje em dia nos processadores de computador. Em vez disso, eles são núcleos otimizados para IA semelhantes aos núcleos Tensor da Nvidia, portanto os chips são projetados para processar modelos computacionais complicados que rivalizam com a complexidade do cérebro humano. Agora, os Cerebras CS-2 o processador que atualmente detém o recorde do maior e mais rápido processador de chip único do mundo foi introduzido há alguns anos, mas a empresa tem trabalhado para melhorar seu rendimento e agora é capaz de oferecer um sistema baseado no CS-2 que pode processar modelos AI de 120 trilhões de parâmetros, teoricamente batendo o cérebro humano que pode disparar 100 trilhões de sinapses. Para referência, os atuais clusters de GPU de supercomputador topam com 1 trilhão de parâmetros.
Aparentemente, um único processador CS-2 com 850.000 núcleos pode agora bater o cérebro humano, mas a Cerebras também oferece uma solução em escala que permite que até 192 sistemas CS-2 trabalhem em conjunto e façam malabarismos com ainda mais trilhões de parâmetros através de até 162 milhões de núcleos otimizados para IA. O chip CS-2 tem o tamanho de um comprimido grande e é produzido em Nós de 7 nm da TSMC com 40 GB de SRAM on-chip. Esta quantidade de memória não é suficiente para os modelos em escala cerebral, então a Cerebras criou armários MemoryX externos que fornecem mais memória e armazenam os parâmetros do modelo fora do chip, liberando a memória on-chip para o modelo em si. Esta abordagem combinada com o novo SwarmX Fabric permite à Cerebras escalar o desempenho quase linearmente através de 192 sistemas CS-2.
O SwarmX Fabric integra Ethernet no nível PHY e comprime os dados para transferi-los mais rapidamente através de nós existentes de até 32 sistemas CS-2 com ~1 Tb de largura de banda por nó. Todas as chaves SwarmX Fabric conectam-se diretamente à caixa MemoryX que pode suportar até 2,4 PB de memória em uma mistura de flash e DRAM. Com capacidade total de memória, a caixa é capaz de armazenar até 120 trilhões de parâmetros.
Estes sistemas provavelmente custam tanto que a lista de clientes da Cerebras inclui apenas entidades militares, de inteligência e científicas, como o Laboratório Nacional de Argonne.
Fonte(s)
