A IA generativa em iPhones está mais próxima graças aos pesquisadores do Apple

Apple os pesquisadores têm documentado (pdf) um novo método para permitir que modelos de linguagem grandes (LLMs) sejam executados no dispositivo com um método exclusivo para superar as limitações de RAM em dispositivos móveis. A versão completa de um LLM, como o ChatGPT 4 da Open AI, tem cerca de 1,7 trilhão de parâmetros e requer servidores potentes para lidar com o processamento. No entanto, o novo Gemini AI - do Google, que, segundo a empresa, pode superar o GPT-4, vem em uma versão "Nano" para smartphones e usa técnicas de quantização para reduzir o modelo para 1,8 bilhão de parâmetros ou 3,6 bilhões de parâmetros. Uma dessas variantes do Gemini Nano está atualmente em execução nos smartphones Pixel 8 Pro do Google (curr. reduzido para $799 da Amazon - normalmente $999).

A Qualcomm afirma que seu novo Snapdragon 8 Gen 3 SoC pode suportar LLMs de IA generativa de até 10 bilhões de parâmetros - embora consideravelmente mais capaz do que o que o Google consegue fazer funcionar na série Pixel 8, isso ainda está muito longe dos 1,7 trilhão de parâmetros necessários para fazer o GPT-4 funcionar de forma tão impressionante quanto. A quantização, que torna os LLMs mais fáceis de serem processados pelos SoCs móveis, também significa que eles perdem precisão e eficácia. Dessa forma, qualquer coisa que possa ajudar a aumentar o tamanho dos modelos que podem ser inseridos em um dispositivo móvel, melhor será o desempenho do LLM.

Para que os smartphones consigam lidar com as tarefas de geração de AU no dispositivo, os requisitos de RAM do https://medium.com/@TitanML/deploying-llms-on-small-devices-an-introduction-to-quantization-76502d28d0b2 também são consideráveis. Um LLM reduzido a 8 bits por modelo de parâmetro com 7 bilhões de parâmetros (como o Llama 2 da Meta, que é compatível com o Snapdragon 8 Gen 3) exigiria um smartphone com pelo menos 7 GB de RAM. A série iPhone 15 Pro tem 8 GB de RAM, o que sugere que um LLM desenvolvido pela Apple, como o Llama 2, estaria no limite superior do que o iPhone atual suportaria. Appleno entanto, os pesquisadores da Apple descobriram uma maneira de contornar esse limite de RAM integrada.

Em um trabalho de pesquisa intitulado "LLM in a flash: Efficient Large Language Model Inference with Limited Memory", os pesquisadores de IA generativa da Appledesenvolveram um método de utilização do armazenamento flash do iPhone para complementar a RAM do sistema integrado do dispositivo. A largura de banda do armazenamento flash não é a mesma da RAM móvel LDDR5/X, mas os pesquisadores do Appledesenvolveram um método que supera essa limitação inerente. Usando uma combinação de "windowing" (em que o modelo de IA reutiliza alguns dos dados armazenados no armazenamento flash que já foram processados) e "row-column bundling" (que agrupa os dados do LLM de forma mais eficiente, acelerando a velocidade de leitura).

É claro que ainda não vimos um LLM do Apple, embora os rumores sugiram que poderíamos ver uma versão mais inteligente do Siri com base em um LLM que deve ser lançado como parte do iOS 18 e poderá ser executada no dispositivo na próxima geração do iPhone 16 Pro da próxima geração. Mas quando isso acontecer, parece que haverá uma boa chance de que o site Apple utilize esse método de extensão de RAM para garantir que ele forneça um modelo LLM com o maior número possível de parâmetros que possam ser efetivamente executados no dispositivo. Com a Samsung aprimorando seu jogo de IA generativa para o lançamento do Galaxy S24 no mês que vem, 2024 está se configurando como o ano em que a IA generativa se tornará comum também nos smartphones.