A Anthropic avança a IA com o Claude 3.5 Haiku, o Claude 3.5 Sonnet aprimorado com controle de computador e a parceria da Palantir para operações de inteligência e defesa do governo dos EUA

Anthropic =====
Introdução ao uso do computador, um novo Soneto de Claude 3.5 e um Haiku de Claude 3.5
Oct 22, 2024

5 min de leitura

Uma ilustração de Claude navegando em um cursor de computador

Atualização (04/11/2024): Revisamos o preço do Claude 3.5 Haiku. O preço do modelo agora é de $1 MTok de entrada / $5 MTok de saída.

Hoje, estamos anunciando um Claude 3.5 Sonnet atualizado e um novo modelo, o Claude 3.5 Haiku. O Claude 3.5 Sonnet atualizado oferece melhorias gerais em relação ao seu antecessor, com ganhos particularmente significativos na codificação, uma área em que ele já era líder. O Claude 3.5 Haiku iguala o desempenho do Claude 3 Opus, nosso maior modelo anterior, em muitas avaliações a uma velocidade semelhante à da geração anterior do Haiku.

Também estamos introduzindo um novo recurso inovador na versão beta pública: o uso do computador. Disponível hoje na API, os desenvolvedores podem direcionar o Claude para usar os computadores da mesma forma que as pessoas fazem, olhando para uma tela, movendo um cursor, clicando em botões e digitando texto. O Claude 3.5 Sonnet é o primeiro modelo de IA de fronteira a oferecer o uso do computador na versão beta pública. Nesta fase, ele ainda é experimental, às vezes complicado e propenso a erros. Estamos liberando o uso do computador antecipadamente para obter feedback dos desenvolvedores e esperamos que o recurso melhore rapidamente com o tempo.

Asana, Canva, Cognition, DoorDash, Replit e The Browser Company já começaram a explorar essas possibilidades, realizando tarefas que exigem dezenas, e às vezes até centenas, de etapas para serem concluídas. Por exemplo, a Replit está usando os recursos do Claude 3.5 Sonnet com o uso do computador e a navegação da interface do usuário para desenvolver um recurso importante que avalia os aplicativos à medida que são criados para o produto Replit Agent.

O Claude 3.5 Sonnet atualizado já está disponível para todos os usuários. A partir de hoje, os desenvolvedores podem criar com a versão beta de uso do computador na API Anthropic, Amazon Bedrock e Vertex AI do Google Cloud. O novo Claude 3.5 Haiku será lançado no final deste mês.

Claude 3.5 Sonnet: Habilidades de engenharia de software líderes do setor

O Claude 3.5 Sonnet atualizado mostra melhorias abrangentes em benchmarks do setor, com ganhos particularmente fortes em codificação agêntica e tarefas de uso de ferramentas. Na codificação, ele melhora o desempenho no SWE-bench Verified de 33,4% para 49,0%, com pontuação mais alta do que todos os modelos disponíveis publicamente, incluindo modelos de raciocínio como o OpenAI o1-preview e sistemas especializados projetados para codificação agêntica. Ele também melhora o desempenho no TAU-bench, uma tarefa de uso de ferramenta agêntica, de 62,6% para 69,2% no domínio do varejo e de 36,0% para 46,0% no domínio mais desafiador das companhias aéreas. O novo Claude 3.5 Sonnet oferece esses avanços pelo mesmo preço e velocidade de seu antecessor.

Os primeiros comentários dos clientes sugerem que o Claude 3.5 Sonnet atualizado representa um salto significativo para a codificação baseada em IA. O GitLab, que testou o modelo para tarefas de DevSecOps, constatou que ele proporcionou um raciocínio mais forte (até 10% em todos os casos de uso) sem latência adicional, o que o torna a escolha ideal para alimentar processos de desenvolvimento de software em várias etapas. A Cognition usa o novo Claude 3.5 Sonnet para avaliações de IA autônoma e obteve melhorias substanciais na codificação, no planejamento e na solução de problemas em comparação com a versão anterior. A The Browser Company, ao usar o modelo para automatizar fluxos de trabalho baseados na Web, observou que o Claude 3.5 Sonnet superou todos os modelos testados anteriormente.

Como parte de nosso esforço contínuo para estabelecer parcerias com especialistas externos, o teste conjunto de pré-implantação do novo modelo Claude 3.5 Sonnet foi realizado pelo Instituto de Segurança de IA dos EUA (US AISI) e pelo Instituto de Segurança do Reino Unido (UK AISI).

Também avaliamos o Claude 3.5 Sonnet atualizado quanto a riscos catastróficos e descobrimos que o padrão ASL-2, conforme descrito em nossa Política de dimensionamento responsável, continua sendo apropriado para esse modelo.

Claude 3.5 Haiku: O estado da arte se une à acessibilidade e à velocidade

O Claude 3.5 Haiku é a próxima geração do nosso modelo mais rápido. Com uma velocidade semelhante à do Claude 3 Haiku, o Claude 3.5 Haiku melhora em todos os conjuntos de habilidades e supera até mesmo o Claude 3 Opus, o maior modelo de nossa geração anterior, em muitos benchmarks de inteligência. O Claude 3.5 Haiku é particularmente forte em tarefas de codificação. Por exemplo, ele pontua 40,6% no SWE-bench Verified, superando muitos agentes que usam modelos de última geração disponíveis publicamente, incluindo o Claude 3.5 Sonnet original e o GPT-4o.

Com baixa latência, melhor acompanhamento das instruções e uso mais preciso das ferramentas, o Claude 3.5 Haiku é adequado para produtos voltados para o usuário, tarefas especializadas de subagentes e geração de experiências personalizadas a partir de grandes volumes de dados, como histórico de compras, preços ou registros de inventário.

O Claude 3.5 Haiku será disponibilizado no final deste mês em nossa API de primeira parte, Amazon Bedrock e Vertex AI do Google Cloud - inicialmente como um modelo somente de texto e, em seguida, com entrada de imagens.

Ensinando o Claude a navegar nos computadores, de forma responsável

Com o uso do computador, estamos tentando algo fundamentalmente novo. Em vez de criar ferramentas específicas para ajudar o Claude a concluir tarefas individuais, estamos ensinando a ele habilidades gerais de informática, permitindo que ele use uma ampla gama de ferramentas padrão e programas de software projetados para pessoas. Os desenvolvedores podem usar essa capacidade nascente para automatizar processos repetitivos, criar e testar software e realizar tarefas abertas, como pesquisas.

Para tornar essas habilidades gerais possíveis, criamos uma API que permite que o Claude perceba e interaja com interfaces de computador. Os desenvolvedores podem integrar essa API para permitir que o Claude traduza instruções (por exemplo, "use dados do meu computador e on-line para preencher este formulário") em comandos de computador (por exemplo, verifique uma planilha; mova o cursor para abrir um navegador da Web; navegue até as páginas da Web relevantes; preencha um formulário com os dados dessas páginas; e assim por diante). No OSWorld, que avalia a capacidade dos modelos de IA de usar computadores como as pessoas fazem, o Claude 3.5 Sonnet obteve uma pontuação de 14,9% na categoria somente captura de tela, notavelmente melhor do que a pontuação do próximo melhor sistema de IA, de 7,8%. Quando lhe foram concedidas mais etapas para concluir a tarefa, o Claude obteve 22,0%.

Embora esperemos que essa capacidade melhore rapidamente nos próximos meses, a capacidade atual de Claude de usar computadores é imperfeita. Algumas ações que as pessoas realizam sem esforço - rolar, arrastar, dar zoom - atualmente apresentam desafios para Claude, e incentivamos os desenvolvedores a iniciar a exploração com tarefas de baixo risco. Como o uso do computador pode fornecer um novo vetor para ameaças mais familiares, como spam, desinformação ou fraude, estamos adotando uma abordagem proativa para promover sua implementação segura. Desenvolvemos novos classificadores que podem identificar quando o computador está sendo usado e se está ocorrendo algum dano. O senhor pode ler mais sobre o processo de pesquisa por trás dessa nova habilidade, juntamente com uma discussão mais aprofundada sobre as medidas de segurança, em nosso post sobre o desenvolvimento do uso do computador.

Olhando para o futuro

Aprender com as implementações iniciais dessa tecnologia, que ainda está em seus estágios iniciais, nos ajudará a entender melhor o potencial e as implicações de sistemas de IA cada vez mais capazes.

Estamos animados para que o senhor explore nossos novos modelos e a versão beta pública do uso do computador - e convidamos o senhor a compartilhar seus comentários conosco. Acreditamos que esses desenvolvimentos abrirão novas possibilidades para o modo como os senhores trabalham com o Claude e estamos ansiosos para ver o que criarão.

Anthropic ====
Desenvolvendo um modelo de uso do computador
22 de outubro de 2024

7 min. de leitura

Uma representação abstrata do uso de computadores de IA, com um cursor de computador clicando em uma representação estilizada de uma rede neural

O Claude agora pode usar computadores. A versão mais recente do Claude 3.5 Sonnet pode, quando executada por meio da configuração de software apropriada, seguir os comandos de um usuário para mover um cursor pela tela do computador, clicar em locais relevantes e inserir informações por meio de um teclado virtual, emulando a maneira como as pessoas interagem com seu próprio computador.

Acreditamos que essa habilidade - que atualmente está em fase de teste público - representa um avanço significativo no progresso da IA. A seguir, compartilhamos alguns insights da pesquisa que foi realizada para desenvolver modelos de uso do computador - e para torná-los mais seguros.

Por que o uso do computador?

Por que esse novo recurso é importante? Uma grande parte do trabalho moderno é realizada por meio de computadores. Permitir que as IAs interajam diretamente com o software do computador da mesma forma que as pessoas o fazem abrirá uma enorme gama de aplicativos que simplesmente não são possíveis para a geração atual de assistentes de IA.

Nos últimos anos, muitos marcos importantes foram alcançados no desenvolvimento de uma IA poderosa - por exemplo, a capacidade de realizar raciocínios lógicos complexos e a capacidade de ver e entender imagens. A próxima fronteira é o uso do computador: Modelos de IA que não precisam interagir por meio de ferramentas personalizadas, mas que, em vez disso, têm a capacidade de usar essencialmente qualquer software conforme as instruções.

O processo de pesquisa

Nosso trabalho anterior sobre uso de ferramentas e multimodalidade forneceu a base para essas novas habilidades de uso do computador. Operar computadores envolve a capacidade de ver e interpretar imagens - neste caso, imagens da tela do computador. Também requer raciocínio sobre como e quando realizar operações específicas em resposta ao que está na tela. Combinando essas habilidades, treinamos o Claude para interpretar o que está acontecendo em uma tela e, em seguida, usar as ferramentas de software disponíveis para realizar as tarefas.

Quando um desenvolvedor encarrega Claude de usar um software de computador e lhe dá o acesso necessário, Claude observa as capturas de tela do que está visível para o usuário e, em seguida, conta quantos pixels vertical ou horizontalmente precisa mover um cursor para clicar no local correto. Foi fundamental treinar Claude para contar os pixels com precisão. Sem essa habilidade, o modelo tem dificuldade para dar comandos ao mouse - semelhante à dificuldade que os modelos têm com perguntas aparentemente simples, como "quantos A's há na palavra 'banana'?".

Ficamos surpresos com a rapidez com que Claude generalizou a partir do treinamento de uso do computador que demos a ele em apenas alguns softwares simples, como uma calculadora e um editor de texto (por motivos de segurança, não permitimos que o modelo acessasse a Internet durante o treinamento). Em combinação com as outras habilidades de Claude, esse treinamento concedeu a ele a notável capacidade de transformar o comando escrito de um usuário em uma sequência de etapas lógicas e, em seguida, realizar ações no computador. Observamos que o modelo até mesmo se autocorrigia e tentava novamente as tarefas quando encontrava obstáculos.

Embora os avanços subsequentes tenham ocorrido rapidamente depois que fizemos a descoberta inicial, foi preciso muita tentativa e erro para chegar lá. Alguns de nossos pesquisadores observaram que o desenvolvimento do uso do computador se aproximava do processo "idealizado" de pesquisa de IA que eles haviam imaginado quando começaram a trabalhar na área: iteração constante e visitas repetidas à prancheta de desenho até que houvesse progresso.

A pesquisa valeu a pena. Atualmente, Claude é o estado da arte em modelos que usam os computadores da mesma forma que uma pessoa - ou seja, olhando para a tela e realizando ações em resposta. Em uma avaliação criada para testar as tentativas dos desenvolvedores de fazer com que os modelos usem computadores, a OSWorld, o Claude obtém atualmente 14,9%. Isso não chega nem perto da habilidade de nível humano (que geralmente é de 70 a 75%), mas é muito superior aos 7,7% obtidos pelo próximo melhor modelo de IA na mesma categoria.

Tornando o uso do computador seguro

Todo avanço em IA traz consigo novos desafios de segurança. O uso do computador é principalmente uma forma de reduzir a barreira para que os sistemas de IA apliquem suas habilidades cognitivas existentes, em vez de aumentar fundamentalmente essas habilidades, de modo que nossas principais preocupações com o uso do computador se concentram nos danos atuais e não nos futuros. Confirmamos isso ao avaliar se o uso de computadores aumenta o risco de ameaças de fronteira, conforme descrito em nossa Política de Escalonamento Responsável. Descobrimos que o Sonnet atualizado do Claude 3.5, incluindo a nova habilidade de uso do computador, permanece no Nível de Segurança 2 da IA, ou seja, não exige um padrão mais alto de medidas de proteção e segurança do que as que temos atualmente em vigor.

Quando modelos futuros exigirem salvaguardas de AI Safety Level 3 ou 4 por apresentarem riscos catastróficos, o uso do computador poderá exacerbar esses riscos. Consideramos que provavelmente é melhor introduzir o uso de computadores agora, enquanto os modelos ainda precisam apenas de proteções de nível 2 de segurança de IA. Isso significa que podemos começar a lidar com quaisquer problemas de segurança antes que os riscos sejam muito altos, em vez de adicionar recursos de uso de computador pela primeira vez em um modelo com riscos muito mais graves.

Com esse espírito, nossas equipes de Trust & Safety realizaram uma análise abrangente dos nossos novos modelos de uso de computadores para identificar possíveis vulnerabilidades. Uma das preocupações identificadas é a "injeção imediata", um tipo de ataque cibernético em que instruções mal-intencionadas são fornecidas a um modelo de IA, fazendo com que ele substitua suas instruções anteriores ou execute ações não intencionais que se desviam da intenção original do usuário. Como o Claude pode interpretar capturas de tela de computadores conectados à Internet, é possível que ele seja exposto a conteúdo que inclua ataques de injeção imediata.

Aqueles que usam a versão do Claude para uso em computador em nossa versão beta pública devem tomar as precauções necessárias para minimizar esses tipos de riscos. Como um recurso para os desenvolvedores, fornecemos mais orientações em nossa implementação de referência.

Como acontece com qualquer recurso de IA, também existe a possibilidade de os usuários fazerem uso intencional e indevido das habilidades computacionais do Claude. Nossas equipes desenvolveram classificadores e outros métodos para sinalizar e atenuar esses tipos de abusos. Com a proximidade das eleições nos EUA, estamos em alerta máximo para tentativas de uso indevido que possam ser percebidas como uma forma de minar a confiança do público nos processos eleitorais. Embora o uso de computadores não seja suficientemente avançado ou capaz de operar em uma escala que apresente riscos maiores em relação às capacidades existentes, implementamos medidas para monitorar quando o Claude é solicitado a participar de atividades relacionadas a eleições, bem como sistemas para afastar o Claude de atividades como gerar e publicar conteúdo em mídias sociais, registrar domínios da Web ou interagir com sites do governo. Durante a versão beta pública, avaliaremos continuamente e aperfeiçoaremos essas medidas de segurança para equilibrar os recursos do Claude com o uso responsável.

Em consonância com nossa abordagem padrão de privacidade de dados, por padrão, não treinamos nossos modelos de IA generativa em dados enviados pelo usuário, inclusive em nenhuma das capturas de tela que o Claude recebe.

O futuro do uso do computador

O uso do computador é uma abordagem completamente diferente para o desenvolvimento de IA. Até agora, os desenvolvedores de LLM fizeram com que as ferramentas se ajustassem ao modelo, produzindo ambientes personalizados em que as IAs usam ferramentas especialmente projetadas para concluir várias tarefas. Agora, podemos fazer com que o modelo se adapte às ferramentas - o Claude pode se adaptar aos ambientes de computador que todos nós usamos todos os dias. Nosso objetivo é que Claude pegue peças pré-existentes de software de computador e simplesmente as use como uma pessoa faria.

Ainda há muito a ser feito. Embora seja o estado atual da arte, o uso do computador por Claude continua lento e, muitas vezes, sujeito a erros. Há muitas ações que as pessoas fazem rotineiramente com os computadores (arrastar, dar zoom e assim por diante) que Claude ainda não consegue realizar. A natureza de "flipbook" da visão que Claude tem da tela - tirar capturas de tela e juntá-las, em vez de observar um fluxo de vídeo mais granular - significa que ele pode perder ações ou notificações de curta duração.

Mesmo quando estávamos gravando demonstrações de uso do computador para o lançamento de hoje, encontramos alguns erros divertidos. Em uma delas, Claude clicou acidentalmente para interromper uma gravação de tela de longa duração, fazendo com que toda a filmagem fosse perdida. Em outro, Claude fez uma pausa repentina em nossa demonstração de codificação e começou a ler fotos do Parque Nacional de Yellowstone.

Esperamos que o uso do computador melhore rapidamente para se tornar mais rápido, mais confiável e mais útil para as tarefas que nossos usuários desejam realizar. Também se tornará muito mais fácil de implementar para aqueles com menos experiência em desenvolvimento de software. Em todas as etapas, nossos pesquisadores trabalharão em estreita colaboração com nossas equipes de segurança para garantir que os novos recursos do Claude sejam acompanhados pelas medidas de segurança adequadas.

Convidamos os desenvolvedores que experimentarem o uso do computador em nossa versão beta pública a entrar em contato conosco com seus comentários usando este formulário, para que nossos pesquisadores possam continuar a aprimorar a utilidade e a segurança desse novo recurso.

PALANTIR ====

11 / 07 / 2024

Anthropic e Palantir firmam parceria para levar modelos de IA claros à AWS para operações de inteligência e defesa do governo dos EUA

DENVER--(BUSINESS WIRE)-- A Anthropic e a Palantir Technologies Inc. (NYSE: PLTR) anunciaram hoje uma parceria com a Amazon Web Services (AWS) para fornecer às agências de inteligência e defesa dos EUA acesso à família de modelos Claude 3 e 3.5 na AWS. Essa parceria permite um conjunto integrado de tecnologia para operacionalizar o uso do Claude dentro da Plataforma de IA da Palantir (AIP), ao mesmo tempo em que aproveita os benefícios de segurança, agilidade, flexibilidade e sustentabilidade fornecidos pela AWS.

A parceria facilita a aplicação responsável da IA, permitindo o uso do Claude nos produtos da Palantir para apoiar as operações do governo, como o processamento rápido de grandes quantidades de dados complexos, elevando os insights orientados por dados, identificando padrões e tendências com mais eficiência, simplificando a revisão e a preparação de documentos e ajudando os funcionários dos EUA a tomar decisões mais informadas em situações urgentes, preservando suas autoridades de tomada de decisão. Claude tornou-se acessível no Palantir AIP on AWS no início deste mês.

Com o AIP da Palantir, os clientes agora podem operacionalizar o Claude usando um conjunto integrado de tecnologia, facilitado pelo Amazon SageMaker, um serviço credenciado totalmente gerenciado, e hospedado no ambiente credenciado de Nível de Impacto 6 (IL6) da Palantir, com suporte da AWS. A Palantir e a AWS estão entre um número limitado de empresas que receberam o credenciamento IL6 da Defense Information Systems Agency (DISA), que exige alguns dos mais rigorosos protocolos de segurança.

"Nossa parceria com a Anthropic e a AWS fornece às comunidades de defesa e inteligência dos EUA a cadeia de ferramentas de que precisam para aproveitar e implantar modelos de IA com segurança, trazendo a próxima geração de vantagem de decisão para suas missões mais críticas", disse Shyam Sankar, diretor de tecnologia da Palantir. "A Palantir tem orgulho de ser a primeira parceira do setor a levar os modelos Claude para ambientes confidenciais. Já vimos em primeira mão o impacto desses modelos com a AIP no setor comercial: por exemplo, uma das principais seguradoras americanas automatizou uma parte significativa de seu processo de subscrição com 78 agentes de IA alimentados pela AIP e pelo Claude, transformando um processo que antes levava duas semanas em um que poderia ser feito em três horas. Agora estamos oferecendo essa mesma vantagem assimétrica de IA para o governo dos EUA e seus aliados."

"Temos orgulho de estar na vanguarda do fornecimento de soluções responsáveis de IA para ambientes confidenciais dos EUA, aprimorando as capacidades analíticas e a eficiência operacional em operações vitais do governo. O acesso ao Claude 3 e Claude 3.5 dentro do Palantir AIP na AWS equipará as organizações de defesa e inteligência dos EUA com poderosas ferramentas de IA que podem processar e analisar rapidamente grandes quantidades de dados complexos. Isso melhorará drasticamente a análise de inteligência e capacitará os funcionários em seus processos de tomada de decisão, simplificará as tarefas com uso intensivo de recursos e aumentará a eficiência operacional em todos os departamentos", disse Kate Earle Jensen, diretora de vendas e parcerias da Anthropic.

"Estamos entusiasmados com a parceria com a Anthropic e a Palantir e oferecemos novos recursos de IA generativa que impulsionarão a inovação em todo o setor público. Na AWS, temos o compromisso de fornecer aos clientes e parceiros do setor público o conjunto mais seguro, inovador e abrangente de serviços em nuvem", disse Dave Levy, vice-presidente do setor público mundial da AWS.

Sobre a Palantir Technologies Inc.

O software fundamental do futuro. Entregue hoje. Informações adicionais estão disponíveis em www.palantir.com.

Declarações sobre o futuro

Este comunicado à imprensa contém declarações prospectivas de acordo com o significado da Seção 27A do Securities Act de 1933, conforme alterado, e da Seção 21E do Securities Exchange Act de 1934, conforme alterado. Essas declarações podem estar relacionadas, mas não estão limitadas, às expectativas da Palantir com relação ao valor e aos termos do contrato e aos benefícios esperados de nossas plataformas de software. As declarações prospectivas estão inerentemente sujeitas a riscos e incertezas, alguns dos quais não podem ser previstos ou quantificados. As declarações prospectivas são baseadas em informações disponíveis no momento em que essas declarações são feitas e foram baseadas em expectativas atuais, bem como nas crenças e suposições da gerência naquele momento com relação a eventos futuros. Essas declarações estão sujeitas a riscos e incertezas, muitos dos quais envolvem fatores ou circunstâncias que estão fora de nosso controle. Esses riscos e incertezas incluem nossa capacidade de atender às necessidades exclusivas de nossos clientes; a falha de nossas plataformas em satisfazer nossos clientes ou ter o desempenho desejado; a frequência ou a gravidade de quaisquer erros de software e implementação; a confiabilidade de nossas plataformas; e a capacidade de nossos clientes de modificar ou rescindir o contrato. Informações adicionais sobre esses e outros riscos e incertezas estão incluídas nos registros que fazemos junto à Comissão de Valores Mobiliários (SEC) de tempos em tempos. Exceto conforme exigido por lei, não assumimos nenhuma obrigação de atualizar ou revisar publicamente qualquer declaração de previsão, seja como resultado de novas informações, desenvolvimentos futuros ou de outra forma.

Contato com a mídia

Morgan Gress

[email protected]

Fonte: Palantir Technologies Inc: Palantir Technologies Inc.