A OpenAI revela o GPT-4o mini com um preço 25 vezes menor do que o GPT-4o, permitindo que mais empresas e usuários tenham acesso a IA de qualidade

18 de julho de 2024

GPT-4o mini: avançando na inteligência econômica

Apresentando nosso modelo pequeno mais econômico

A OpenAI tem o compromisso de tornar a inteligência tão amplamente acessível quanto possível. Hoje, estamos anunciando o GPT-4o mini, nosso modelo pequeno mais econômico. Esperamos que o GPT-4o mini expanda significativamente a gama de aplicativos criados com IA, tornando a inteligência muito mais acessível. O GPT-4o mini tem 82% de pontuação no MMLU e atualmente supera o GPT-41 em preferências de bate-papo na tabela de classificação LMSYS(abre em uma nova janela). Seu preço é de 15 centavos por milhão de tokens de entrada e 60 centavos por milhão de tokens de saída, uma ordem de magnitude mais acessível do que os modelos de fronteira anteriores e mais de 60% mais barato do que o GPT-3.5 Turbo.

O GPT-4o mini permite uma ampla gama de tarefas com seu baixo custo e latência, como aplicativos que encadeiam ou paralelizam várias chamadas de modelo (por exemplo, chamando várias APIs), passam um grande volume de contexto para o modelo (por exemplo, base de código completa ou histórico de conversas) ou interagem com os clientes por meio de respostas de texto rápidas e em tempo real (por exemplo, chatbots de suporte ao cliente).

Atualmente, o GPT-4o mini oferece suporte a texto e visão na API, com suporte para entradas e saídas de texto, imagem, vídeo e áudio no futuro. O modelo tem uma janela de contexto de 128 mil tokens, suporta até 16 mil tokens de saída por solicitação e tem conhecimento até outubro de 2023. Graças ao tokenizador aprimorado compartilhado com o GPT-4o, o tratamento de textos que não estejam em inglês agora é ainda mais econômico.

Um modelo pequeno com inteligência textual superior e raciocínio multimodal

O GPT-4o mini supera o GPT-3.5 Turbo e outros modelos pequenos em benchmarks acadêmicos, tanto em inteligência textual quanto em raciocínio multimodal, e suporta a mesma variedade de idiomas que o GPT-4o. Ele também demonstra um bom desempenho na chamada de funções, o que pode permitir que os desenvolvedores criem aplicativos que busquem dados ou realizem ações com sistemas externos, e um melhor desempenho de contexto longo em comparação com o GPT-3.5 Turbo.

O GPT-4o mini foi avaliado em vários benchmarks importantes2.

Tarefas de raciocínio: O GPT-4o mini é melhor do que outros modelos pequenos em tarefas de raciocínio que envolvem texto e visão, com pontuação de 82,0% no MMLU, um benchmark de inteligência textual e raciocínio, em comparação com 77,9% do Gemini Flash e 73,8% do Claude Haiku.

Proficiência em matemática e codificação: O GPT-4o mini se destaca em tarefas de raciocínio matemático e codificação, superando os modelos pequenos anteriores no mercado. No MGSM, que mede o raciocínio matemático, o GPT-4o mini obteve 87,0%, em comparação com 75,5% do Gemini Flash e 71,7% do Claude Haiku. O GPT-4o mini obteve 87,2% de pontuação no HumanEval, que mede o desempenho de codificação, em comparação com 71,5% do Gemini Flash e 75,9% do Claude Haiku.

Raciocínio multimodal: O GPT-4o mini também apresenta um bom desempenho no MMMU, um teste de raciocínio multimodal, com 59,4% de pontuação, em comparação com 56,1% do Gemini Flash e 50,2% do Claude Haiku.

Como parte do processo de desenvolvimento do nosso modelo, trabalhamos com vários parceiros confiáveis para entender melhor os casos de uso e as limitações do GPT-4o mini. Fizemos parcerias com empresas como a Ramp(abre em uma nova janela) e a Superhuman(abre em uma nova janela), que descobriram que o GPT-4o mini tem um desempenho significativamente melhor do que o GPT-3.5 Turbo em tarefas como extração de dados estruturados de arquivos de recibo ou geração de respostas de e-mail de alta qualidade quando fornecidas com o histórico de threads.

Medidas de segurança incorporadas

A segurança é incorporada aos nossos modelos desde o início e reforçada em cada etapa do nosso processo de desenvolvimento. No pré-treinamento, filtramos(abre em uma nova janela) as informações com as quais não queremos que nossos modelos aprendam ou produzam, como discurso de ódio, conteúdo adulto, sites que agregam principalmente informações pessoais e spam. No pós-treinamento, alinhamos o comportamento do modelo às nossas políticas usando técnicas como o aprendizado por reforço com feedback humano (RLHF) para melhorar a precisão e a confiabilidade das respostas dos modelos.

O GPT-4o mini tem as mesmas atenuações de segurança incorporadas ao GPT-4o, que avaliamos cuidadosamente por meio de avaliações automatizadas e humanas, de acordo com nossa Estrutura de Preparação e em consonância com nossos compromissos voluntários. Mais de 70 especialistas externos em áreas como psicologia social e desinformação testaram o GPT-4o para identificar riscos potenciais, os quais abordamos e planejamos compartilhar os detalhes no próximo cartão do sistema GPT-4o e no scorecard de preparação. Os insights dessas avaliações de especialistas ajudaram a melhorar a segurança do GPT-4o e do GPT-4o mini.

Com base nesses aprendizados, nossas equipes também trabalharam para melhorar a segurança do GPT-4o mini usando novas técnicas informadas por nossa pesquisa. O GPT-4o mini na API é o primeiro modelo a aplicar nosso método de hierarquia de instruções(abre em uma nova janela), que ajuda a melhorar a capacidade do modelo de resistir a jailbreaks, injeções de prompt e extrações de prompt do sistema. Isso torna as respostas do modelo mais confiáveis e ajuda a torná-lo mais seguro para uso em aplicativos em escala.

Continuaremos a monitorar como o GPT-4o mini está sendo usado e melhoraremos a segurança do modelo à medida que identificarmos novos riscos.

Disponibilidade e preços

O GPT-4o mini já está disponível como um modelo de texto e visão na API Assistants, na API Chat Completions e na API Batch. Os desenvolvedores pagam 15 centavos por 1 milhão de tokens de entrada e 60 centavos por 1 milhão de tokens de saída (aproximadamente o equivalente a 2.500 páginas em um livro padrão). Planejamos implementar o ajuste fino para o GPT-4o mini nos próximos dias.

No ChatGPT, os usuários Free, Plus e Team poderão acessar o GPT-4o mini a partir de hoje, no lugar do GPT-3.5. Os usuários corporativos também terão acesso a partir da próxima semana, em linha com nossa missão de tornar os benefícios da IA acessíveis a todos.

O que vem a seguir

Nos últimos anos, testemunhamos avanços notáveis na inteligência de IA, aliados a reduções substanciais de custo. Por exemplo, o custo por token do GPT-4o mini caiu 99% desde o text-davinci-003, um modelo menos capaz introduzido em 2022. Temos o compromisso de continuar essa trajetória de redução de custos e, ao mesmo tempo, aprimorar os recursos do modelo.

Vislumbramos um futuro em que os modelos se tornem perfeitamente integrados em todos os aplicativos e em todos os sites. O GPT-4o mini está abrindo caminho para que os desenvolvedores criem e dimensionem aplicativos avançados de IA de forma mais eficiente e acessível. O futuro da IA está se tornando mais acessível, confiável e incorporado em nossas experiências digitais diárias, e estamos entusiasmados em continuar a liderar o caminho.

Autor

OpenAI

Agradecimentos

Líderes: Jacob Menick, Kevin Lu, Shengjia Zhao, Eric Wallace, Hongyu Ren, Haitang Hu, Nick Stathas, Felipe Petroski Tal

Líder de programa: Mianna Chen

Contribuições registradas em openai.com/gpt-4o-contributions/

Notas de rodapé

1

Em 18 de julho de 2024, uma versão anterior do GPT-4o mini superou o GPT-4T 01-25.

2

Os números de avaliação do GPT-4o mini são calculados usando nosso repositório simple-evals(abre em uma nova janela) com o prompt de mensagem do sistema do assistente de API. Para os modelos da concorrência, pegamos o número máximo sobre o número relatado (se disponível), a tabela de classificação HELM(abre em uma nova janela) e nossa própria reprodução via simple-evals.