A OpenAI está lutando para reunir dados de treinamento para novos modelos

A OpenAI parece ter atingido um gargalo no desempenho de seus modelos de IA de última geração. O próximo grande modelo da empresa, o "Orion", está tendo um desempenho inferior em tarefas específicas em comparação com os modelos mais antigos.

Ele parece ter a vantagem em tarefas baseadas em idiomas, como tradução, geração de texto, etc., mas provou ser insuficiente em trabalhos como codificação.

De acordo com um relatório do site https://www.theinformation.com/articles/openai-shifts-strategy-as-rate-of-gpt-ai-improvements-slows do The Information (via Gadgets360), parece haver um problema na coleta de dados de treinamento para os novos modelos. O modelo também é mais caro para ser executado em data centers em comparação com o GPT-4 e o GPT-4o.

O salto na qualidade também é mais fraco em comparação com os avanços feitos pelo GPT-4 em relação ao GPT-3. A OpenAI supostamente criou uma equipe de fundação para resolver o problema dos dados de treinamento, mas ainda não está claro se eles conseguirão obter dados suficientes para o modelo de IA a tempo do lançamento.

Não é apenas a OpenAI que está observando retornos insignificantes no desempenho. Outros concorrentes, como Anthropic e Mistral, também mostram apenas ganhos iterativos a cada nova versão. Um método sugerido para melhorar o desempenho é optar por treinar mais o modelo após o lançamento, ajustando a saída, mas isso é uma solução alternativa e não permanente.