Elon Musk afirma que a IA esgotou os dados de treinamento do mundo real

Em uma entrevista recente na CES, Elon Musk mencionou que a inteligência artificial basicamente esgotou todos os dados de treinamento disponíveis no mundo real, apontando a geração de dados sintéticos como o principal caminho a seguir. Essa ideia está alinhada com o que o ex-cientista-chefe da OpenAI, Ilya Sutskever, disse sobre atingir o "pico de dados" no desenvolvimento da IA.

Musk acredita que os dados produzidos por humanos acabaram em 2024. Como CEO da Tesla e proprietário da xAI, ele enfatizou que fazer com que a IA crie seus próprios dados de treinamento é a solução mais prática para fazer a IA avançar. Esse método permite que os sistemas de IA verifiquem a si mesmos e aprendam à medida que avançam.

Muitas das grandes empresas de tecnologia já aderiram ao trem de dados sintéticos. O novo modelo Phi-4 de código aberto da Microsoft, por exemplo, baseia-se em uma combinação de informações sintéticas e do mundo real, enquanto o Google está usando uma estratégia semelhante para seus modelos Gemma. O Claude 3.5 Sonnet da Anthropic e a mais recente série Llama da Meta também se baseiam em dados gerados por IA.

Enquanto isso, os analistas da Gartner preveem que, até 2024, cerca de 60% dos dados usados em projetos de IA e análise serão sintéticos. Um grande motivo para essa mudança é o custo. A Writer, startup de IA, diz que gastou cerca de US$ 700.000 para desenvolver seu modelo Palmyra X 004 - muito mais barato do que os US$ 4,6 milhões estimados para construir um modelo OpenAI comparável.

Mas os dados sintéticos não estão isentos de problemas. Os pesquisadores alertam para o risco de "colapso do modelo", em que a IA pode se tornar menos inventiva e mais tendenciosa. Esse problema pode surgir se quaisquer vieses no conjunto de dados original forem amplificados quando a IA começar a produzir dados novos por conta própria.