A d-Matrix apresenta a placa Corsair C8 9 vezes mais rápida do que a GPU H100 da Nvidia em cargas de trabalho de IA generativa
Enquanto a TSMC adverte que as GPUs de IA H100 da Nvidia continuarão a ter suprimentos escassos nos próximos 18 meses devido à capacidade insuficiente de empacotamento de chip-on-wafer-on-substrate (CoWoS), outras empresas estão vendo uma oportunidade de entrar em cena e atender à enorme demanda por hardware de IA generativa. Uma dessas empresas é uma nova startup chamada d-Matrix, que recentemente conseguiu garantir US$ 110 milhões de investidores como Microsoft demonstrando as velocidades incomparáveis de sua placa de computação Corsair C8, que supostamente tem 9 vezes a taxa de transferência de uma placa Nvidia H100 Da Nvidia em cargas de trabalho de IA generativas.
As velocidades impressionantes são alcançadas com a tecnologia de computador digital na memória (DIMC) da d-Matrix. Ao contrário da GPU A100 e H100 da Nvidia, que foram projetadas para uma variedade maior de tarefas de computação de alto desempenho, as placas Corsair C8 da d-Matrix foram criadas especificamente para cargas de trabalho de inferência e IA generativa. Uma única placa Corsair C8 integra 2.048 núcleos DIMC agrupados em 8 chiplets com um total de 130 bilhões de transistores e também apresenta 256 GB de RAM LPDDR5 para acomodar facilmente modelos inteiros de IA na memória. Todos os chiplets são interconectados via PCIe 5.0 com largura de banda de 1 TB/s, levando a um total de 8 TB/s de largura de banda die-to-die. A d-Matrix também inclui 2 GB de SRAM com largura de banda de 150 TB/s. Dependendo da carga de trabalho de IA, o Corsair C8 fornece entre 2400 e 9600 TFLOPS.
Graças à capacidade de dimensionamento otimizada e à natureza sem atritos da pilha de software de código aberto, a d-Matrix afirma que um cluster de placas Corsair C8 poderia levar a uma eficiência energética 20 vezes melhor, latência 20 vezes menor e custos até 30 vezes menores em relação a soluções semelhantes da Nvidia.
