Apple estudo revela uma grande falha nos modelos de linguagem de IA: A precisão cai até 65%

Um estudo recente da https://winfuture.de/news,146050.html estudo realizado por alguns pesquisadores do site Apple está mudando a forma como pensamos sobre a inteligência de modelos de linguagem grandes (LLMs) como o ChatGPT. O estudo, liderado por Iman Mirzadeh, usou um novo teste chamado GSM-Symbolic para verificar se esses sistemas de IA lidam bem com matemática e raciocínio lógico.

O que eles descobriram não foi nada bom para as IAs. Quando eles incluíram informações extras aleatórias nas perguntas, a precisão dos modelos caiu muito - em alguns casos, em até 65%. A pergunta principal nem sequer mudou. Isso sugere que esses sistemas de IA não têm uma compreensão genuína de suas tarefas.

O estudo aponta uma diferença essencial entre parecer inteligente e entender as coisas. Muitas respostas geradas por IA parecem corretas à primeira vista, mas quando o senhor se aprofunda no assunto, elas se desfazem. Isso destaca que falar como um humano não significa que a máquina esteja pensando como um.

Por esse motivo, o estudo sugere que precisamos repensar o quanto confiamos e dependemos desses sistemas. É claro que eles podem fazer coisas incríveis, mas têm algumas falhas significativas, especialmente em problemas complicados ou complicados. Reconhecer esses pontos fracos é fundamental se quisermos usar a IA de forma responsável.

Em última análise, esse estudo nos lembra que, embora a IA possa ser útil, devemos manter um olhar crítico sobre o que ela pode e não pode fazer. À medida que essas ferramentas se tornam uma parte maior de nossas vidas, conhecer seus limites será crucial se quisermos usá-las de forma inteligente e responsável.