Appleo primeiro LLM público da Microsoft chama-se Ferret e é alimentado por 8 GPUs Nivida A100

Apple lançou discretamente sua primeira IA multimodal do tipo Large Language Model (LLM) como um projeto de código aberto, que foi batizado de Ferret. A nova IA Ferret foi apresentada em outubro pelo pesquisador de IA do Apple, Zhe Gan , via X/Twitter, mas passou despercebida até agora. O Ferret foi desenvolvido em conjunto por Gan e seus colegas da Apple, juntamente com pesquisadores da Universidade de Columbia. De acordo com Gan, o Ferret é mais preciso na compreensão e descrição de pequenas regiões de imagens do que o GPT-4 da OpenAI e produz menos alucinações (erros).

É interessante notar que o repositório do Github da Apple revela que a empresa treinou o Ferret usando 8 GPUs Nvidia A100 de última geração equipadas com 80 GB de RAM HBM2e. A A100 é a GPU mais procurada do mercado após a explosão da tecnologia de IA generativa que se seguiu ao lançamento da OpenAI que se seguiu ao lançamento do ChatGPT da OpenAI da OpenAI no final do ano passado. Ela tem capacidade para 312 TeraFLOPS com precisão Tensor Float 32 e o modelo de 80 GB usado pelo Apple para treinar o Ferret oferece uma largura de banda de até 2.039 GB/s. A empresa, no entanto, não revela o assunto usado para treinar o novo modelo.

Embora o Apple ainda esteja nos estágios relativamente iniciais de sua jornada de IA generativa com o Ferret, o objetivo será fazer com que um modelo como o Ferret funcione efetivamente em um smartphone. Acredita-se que o GPT4 da OpenAI tenha mais de 1 trilhão de parâmetros, mas os telefones celulares atualmente só podem lidar com LLMs com cerca de 10 bilhões de parâmetros. Com esse objetivo, Apple pesquisadores também fizeram recentemente uma descoberta demonstrando como suplementar a RAM do smartphone com armazenamento flash integrado para inserir modelos maiores do que seria possível executar no dispositivo.