Nvidia GH100 Hopper, segundo rumores, conta com mais de 140 bilhões de transistores, a arquitetura MCM GPU baseada em COPA pode teoricamente oferecer até 233 GB HBM2 VRAM
Nvidia Hopper é um nome que vem levantando sua cabeça no moinho de rumores de vez em quando já há algum tempo. O GH100 Hopper está previsto para suceder ao GA100 Ampere e será uma placa focada em computação de alto desempenho (HPC), enquanto sua contraparte de consumo deverá ser AD102 Lovelace. Nós tínhamos anteriormente relatado sobre o rumor de que o GH100 é do tamanho de uma matriz, e agora estamos conhecendo a provável contagem de transistores.
Esta informação vem através de um cartaz Zhangzhonghao no fórum Chiphell. O OP não mencionou GH100 ou Hopper pelo nome, mas postou, "140 bilhões+... é realmente assustador, super bomba nuclear" (tradução automática do chinês). Mas não é muito difícil adivinhar que ele estava se referindo praticamente ao próximo acelerador HPC de 5 nm da Nvidia. Se for verdade, esta contagem rumorosa de transistores para Hopper é cerca de 2,58x mais do que a da GA100 Ampere (54,2 bilhões) e 2,40x a da AMD Aldebaran Instinct MI200 (58,2 bilhões).
Recentemente, o conhecido leaker @kopite7kimi no Twitter afirmou que o GH100 Hopper poderia ter uma área de morte apenas 1000 mm2. Entretanto, o atual limite de retículo litográfico de 858 mm2 faz com que sua afirmação seja um pouco difícil de acreditar ainda. Se de alguma forma assumirmos uma área de 900 mm2 de matriz, o GH100 Hopper poderia ter uma área enorme de 150 milhões de transistores por mm2 no nó de 5 nm2. a 3DCenter fez alguns cálculos rápidos em https://www.3dcenter.org/news/news-des-7-februar-2022 e chegaram a números que indicam 486 ou 972 milhões de transistores por multiprocessador de sombreamento (144 SMs no total), dependendo se Hopper terá um "modesto" 70 bilhões de transistores ou os 140 bilhões de reais.
Estes números indicam que Hopper provavelmente seria um módulo multi-chip (MCM), como tem sido especulado desde há muito tempo. Entretanto, rumores recentes indicam que estaremos vendo um monolítico morrer na maior parte do tempo. Não está claro, neste momento, se Nvidia estaria oferecendo Hopper tanto nas variantes monolítico como MCM.
Em um recente artigo de pesquisa em https://dl.acm.org/doi/10.1145/3484505 publicado na revista ACM Transactions on Architecture and Code Optimization, Nvidia traz à tona a questão da combinação de cargas de trabalho de aprendizagem profunda (DL) com base em FP16 e FP32 e cargas de trabalho de HPC com base em FP32 e acima em uma única GPU
O artigo postula os benefícios de uma arquitetura composta de GPU on-package (COPA-GPU) com um design MCM e também alude a uma misteriosa GPU-N com 8.576 núcleos CUDA e 100 GB de VRAM HBM2.
A Nvidia também fez referência a vários projetos com cache de último nível (LLC) variando de 60 MB (em GPU-N) a 1.920 MB (em COPA-GPU 5) e capacidades de RAM variando de 100 GB a 233 GB. É claro que a maior parte disto é teórico, mas é possível que algumas destas variantes façam parte da família Hopper.
Esperamos que Nvidia fale sobre o GH100 Hopper durante a palestra principal do GTC 2022 da empresa em 21 de março.
Fonte(s)
Fórum Chiphell (chinês)
