O desenvolvimento do GPT-5 sofre grandes reveses quando a OpenAI fica sem dados de treinamento

O trabalho da OpenAI em GPT-5apelidado de Projeto Orion, atingiu um grande obstáculo. O projeto está muito atrasado e, além disso, está custando uma fortuna. Depois de trabalhar nele por mais de 18 meses, a Microsoft originalmente pensou que o teria pronto em meados de 2024, mas isso não está acontecendo.

Eles investiram muito dinheiro nisso - cada execução de treinamento custa cerca de US$ 500 milhões apenas em poder de computação -, mas não viram os saltos de desempenho que esperavam em comparação com o GPT-4. Embora existam algumas melhorias perceptíveis, elas não são suficientes para justificar tais despesas.

Um dos maiores problemas é a falta de dados de qualidade para treinar o modelo. A Internet pública simplesmente não tem o número suficiente de dados diversificados e de alta qualidade necessários para fazer a diferença. Para resolver esse problema, a OpenAI trouxe especialistas para criar novos materiais de treinamento, como códigos de software e problemas de matemática. Mas esse é um processo lento. Para se ter uma ideia, o GPT-4 precisou de impressionantes 13 trilhões de tokens para ser treinado. Para colocar isso em contexto, mesmo que 1.000 pessoas escrevessem 5.000 palavras por dia, levariam meses apenas para atingir um único bilhão - aumentar para trilhões é como tentar encher um oceano com uma mangueira de jardim.

Além da bagunça, a empresa foi atingida por problemas internos. Mais de duas dúzias de executivos importantes deixaram a empresa em 2024, incluindo o cientista-chefe Ilya Sutskever e o CTO Mira Murati. A OpenAI também tem feito malabarismos com outros projetos, como "o1" e "Sora", enquanto ainda tenta descobrir como avançar com o GPT-5.

O CEO, Sam Altman, já confirmou que o GPT-5 não será lançado em 2024, o que representa um retrocesso significativo para seus ambiciosos planos de IA.