Computex 2024 | A Gigabyte está oferecendo um PC AMD Ryzen Threadripper 7975X pré-montado de US$ 35.000 para treinar sua própria IA de 236 bilhões de parâmetros em casa
A inteligência artificial (IA) está em todas as notícias atualmente, com os OEMs colocando a etiqueta de IA em praticamente tudo, quase até na humilde pasta térmica.
Embora a maioria dos modelos de IA, como ChatGPT, DALL-E, Gemini, Llama, Copilot etc., dependa muito da nuvem, devido aos seus requisitos de computação extremamente pesados, também é possível executar a inferência de IA na borda ou em sistemas clientes. Isso se torna particularmente importante se o senhor quiser treinar modelos de IA em dados confidenciais e IP, mantendo-os no local.
É possível treinar modelos de IA e inferi-los na borda, mas o hardware do consumidor representa uma grande limitação na execução de modelos grandes e no processamento eficiente de mais tokens por Watt. A Gigabyte quer mudar isso e ajudar o senhor a "treinar sua própria IA em sua mesa" com a nova linha AI TOP.
Utilitário AI TOP
A Gigabyte diz que seus PCs AI TOP são construídos em três estruturas: AI TOP Utility, AI TOP Hardware e AI TOP Tutor. O objetivo é permitir o escalonamento de 8/30 bilhões de parâmetros para 70/236 bilhões, enquanto o sistema pode ser executado em uma tomada de parede comum.
O AI TOP Utility permite monitorar vários parâmetros do sistema, como CPU, GPU, RAM e uso de SSD, ao mesmo tempo em que oferece um front-end de GUI sem código para tarefas de treinamento de IA.
Hardware AI TOP
No que diz respeito ao hardware, os PCs AI TOP vêm com hardware padronizado e totalmente testado, desde a placa-mãe até a PSU. Os componentes são projetados para serem atualizados conforme necessário e usados em uma configuração típica de casa ou escritório.
Em relação a isso, a empresa está oferecendo duas placas-mãe adaptadas para uso em IA:
- TRX50 Aero D(US$559 na Amazon) AI TOP com LAN 10GbE dupla, até 2 TB DDR5, 4 slots PCIe Gen 5 x16 e 4 SSD NVMe para uso com CPUs AMD Threadripper 7000 Series Storm Peak HEDT
- W790 AI TOP com 2x Thunderbolt 4, até 2 TB DDR5, 5x slots PCIe Gen 5 x16 e 6x SSDs NVMe para uso com CPUs Intel Xeon-W2400 e W3400 Sapphire Rapids HEDT
Para GPUs, os PCs Gigabyte AI TOP podem usar a Nvidia GeForce RTX 4070 Ti Super AI TOP 16G, quatro das quais podem ser combinadas para um total de 64 GB de VRAM para treinamento de IA. O senhor também pode optar pela nova AMD Radeon Pro W7900 DS AI TOP 48G ou a W700 AI TOP 32G e escalá-las até quatro placas para obter 192 GB de VRAM.
A Gigabyte também está oferecendo um SSD AI TOP 100E NVMe com o aiDAPTIVCache da Phison, adaptado para executar o modelo aiDAPTIV+ da Phison. Esse SSD é classificado para oferecer velocidades sequenciais de leitura/gravação de até 7.200/6.500 MB/s e 150x TBW.
Os PCs AI TOP vêm equipados com a PSU UD1600PM PG5 80+ Platinum, que fornece energia suficiente para executar quatro GPUs e é classificada para durar duas vezes mais do que as PSUs convencionais.
Esses PCs pré-montados AI TOP custam a partir de US$ 6.499 para 8 bilhões de parâmetros, US$ 11.999 para 13 bilhões, US$ 16.499 para 30 bilhões e vão até US$ 35.999 para 70 bilhões de parâmetros com um tamanho máximo de modelo de até 236 bilhões.
As duas primeiras opções oferecem CPUs AMD Ryzen Threadripper 7960X(US$ 1.399 na Amazon) e 2 GPUs RTX 4070 Ti Super. A configuração de 30B leva a Threadripper 7975X(US$ 3.899 na Amazon) e 4x RTX 4070 Ti Supers. Por fim, o gigante de 70B utiliza o Threadripper 7975X e 4 GPUs Radeon Pro W7900.
Tutor AI TOP
Por fim, temos o AI TOP Tutor, que é treinado usando o AI TOP Utility para fornecer treinamento, consultoria e orientação sobre IA na mesa em todos os aspectos relacionados ao AI TOP.
Fonte(s)
Comunicado de imprensa da Gigabyte
![Afinal, o Ryzen Strix Point deveria ter sido lançado como Ryzen AI 100 series (Fonte da imagem: AMD [editado])](fileadmin/_processed_/8/8/csm_Ryzen-Strix-Point-processors-name-change_4cd5cf3377.jpg)
![O Gigabyte Metal Gear Plus ITX traz os processadores Ryzen 8000G para desktop em um formato de mini PC (Fonte da imagem: JD.com [editado])](fileadmin/_processed_/2/4/csm_Gigabyte-Metal-Gear-ITX-Mini-PC_e271677d1b.jpg)
