Exclusivo: Fundador do Geekbench responde à polêmica do bloqueio de benchmark do Pixel 8

Recentemente, o Notebookcheck divulgou a história sobre o fato de que o Google parece ter ter bloqueado os escritores que analisam seu novo Pixel 8 e Pixel 8 Pro pudessem instalar facilmente aplicativos populares de benchmark, como o Geekbench 6 e o 3D Mark, durante o período de embargo. Foi um movimento altamente incomum e levantou questões sobre as motivações do Google para fazer isso. O Google falou sobre os recursos do Tensor G3 no coração de seus Pixels mais recentes, em particular seu desempenho de IA. No entanto, como não foi possível instalar o aplicativo, muitos analistas não puderam testar as afirmações do Google executando os benchmarks, como é a prática padrão para a maioria das análises, já que isso proporciona uma maneira objetiva e padronizada de avaliar o desempenho do chip.

Um dos principais benchmarks usados pelos avaliadores é o Geekbench. Trata-se de um popular utilitário de benchmarking entre plataformas que é usado principalmente para avaliar o desempenho da CPU, embora também tenha um conjunto de computação de GPU. O teste avalia o desempenho de um único núcleo e o desempenho de vários núcleos de um chip, além de ser um teste "multiplataforma". Isso significa que os resultados produzidos podem ser comparados entre diferentes dispositivos, como telefones celulares e laptops, sistemas operacionais como Android e Windows, e entre chips fabricados por empresas como Apple, Intel, Qualcomm, Google, Samsung, MediaTek e AMD.

Quando o Geekbench foi recentemente atualizado para a versão 6, ele adicionou a capacidade de testar novas áreas de aplicativos, incluindo o desempenho de AR, e também deu maior ênfase ao aprendizado de máquina, que potencializa a IA de um chip. Ele também é usado e endossado por empresas como Samsung, Microsoft, AMD, Dell, HP, LG, MediaTek e outras. Sendo assim, os senhores podem pensar que, dada a forma como o Google apregoa o desempenho de IA de seus chipsets Tensor, esse seria um benchmark que o Google ficaria feliz em instalar em suas unidades Pixel 8 e Pixel 8 Pro. Houve avaliadores com o conhecimento necessário para contornar o bloqueio da Play Store do Google, simplesmente baixando o pacote de aplicativos para o Geekbench 6 e instalando-o manualmente usando um processo conhecido como carregamento lateral.

Os resultados do Geekbench 6 produzidos pelo Tensor G3 não foram nada lisonjeiros - tanto durante o período de embargo da análise quanto depois. Alguns fãs do Pixel publicaram teorias de que havia um problema de compatibilidade com os benchmarks e o Android 14, e que o Google não havia bloqueado deliberadamente sua fácil instalação. No entanto, isso não explica por que os aplicativos puderam ser carregados de lado e executados com sucesso, ou por que os resultados pré e pós-bloqueio não foram diferentes. Entramos em contato com o Google para comentar o assunto, mas não obtivemos resposta até o momento da redação deste artigo. Também entramos em contato com a Primate Labs, os criadores do Geekbench 6, que nos forneceu uma resposta.

Ao entrar em contato com a Primate Labs, perguntamos se eles tinham conhecimento de algum problema de compatibilidade que teria impedido a instalação do Geekbench 6 no Pixel 8 e no Pixel 8 Pro durante o período de embargo da análise. John Poole, criador da versão original do Geekbench e fundador da empresa, forneceu esta resposta ao Notebookcheck:

Não sabemos por que o Geekbench 6 não estava disponível nos dispositivos Pixel 8 (embora suspeitemos que tenha algo a ver com embargos). Não temos conhecimento de nenhum problema de compatibilidade com o Geekbench 6 no Pixel 8 ou Pixel 8 Pro.

Após nossa cobertura dessa questão, Arun Maini, um YouTuber mais conhecido por seu nome de usuário @Mrwhosetheboss revelou que os principais novos recursos alimentados por IA que incorporam técnicas de IA generativas, incluindo Magic Editor, AI Wallpaper e Best Take, exigem uma conexão persistente com a Internet para funcionar como anunciado. Durante a apresentação de lançamento do Google, ficou implícito que essas funções estavam sendo processadas pelo chip Tensor G3. Essa é uma mensagem reforçada no blog oficial do Google, que exalta as virtudes do chip e o posiciona como sendo o "primeiro em IA".

No blogo vice-presidente de gerenciamento de produtos do Google afirma o seguinte:

Nosso trabalho com o Tensor nunca foi sobre velocidades e feeds, ou métricas de desempenho tradicionais. Trata-se de impulsionar a experiência de computação móvel. E em nosso novo chip Tensor G3, todos os principais subsistemas foram atualizados, abrindo caminho para a IA generativa no dispositivo. Ele inclui a última geração de CPUs ARM, uma GPU atualizada, um novo ISP e DSP de imagem e nossa TPU de última geração, que foi projetada sob medida para executar os modelos de IA do Google.

Testamos as afirmações de Maini sobre a necessidade de uma conexão persistente com a Internet para que algumas dessas novas funções geradoras de IA funcionem. Apesar das afirmações do Google sobre a capacidade do Tensor G3 de alimentar a IA generativa no dispositivo, o Google está, na verdade, transferindo os requisitos de processamento dessas funções para a nuvem, para que sejam processadas por seus servidores muito mais potentes, mesmo que parte do processamento possa ser feito inicialmente no dispositivo. Entretanto, considerando o desempenho relativamente ruim do Google Tensor G3 em benchmarks como o Geekbench 6, fica claro por que o Google teve que recorrer ao descarregamento do processamento.

Como explica o designer de chips Arm em seu site (tendo em mente que o Tensor G3 utiliza núcleos de CPU projetados pela Arm), toda a sua arquitetura foi projetada tendo em mente o desempenho da IA e que os algoritmos de aprendizado de máquina são executados em todo o chip. Isso significa que, se um chip não tiver um bom desempenho em benchmarks de CPU e GPU, é altamente improvável que ele demonstre um bom desempenho de IA. Isso ocorre porque as tarefas de aprendizado de máquina são realizadas pela CPU e pela GPU em conjunto com o acelerador de IA integrado ao SoC, conhecido como Unidade de Processamento Neural (NPU) ou, como o Google a chama, Unidade de Processamento Tensorial (TPU). O senhor lerá com frequência em fóruns e bate-papos que "benchmarks não importam", o que importa é o desempenho do dispositivo "no mundo real". E, até certo ponto, essa opinião é verdadeira - os benchmarks são uma parte da equação geral.

No entanto, não há como escapar do fato de que a capacidade de processamento bruta também é uma necessidade para um dispositivo que está sendo promovido como sendo o primeiro a receber IA. A IA geradora exige claramente mais capacidade de processamento do que o Tensor G3 é capaz de oferecer, apesar das alegações do Google em contrário - caso contrário, não haveria necessidade de uma conexão persistente com a Internet e de transferir essas tarefas para a nuvem para processamento antes que o resultado fosse devolvido ao dispositivo do usuário. Ele seria processado a bordo. Parece que os algoritmos de software alimentados por IA do Google atingiram seu limite com a capacidade do Tensor G3 de lidar com eles localmente, e a narrativa do Google sobre a falta de importância das "métricas de desempenho tradicionais" foi desfeita.

Atualização: o artigo foi atualizado com capturas de tela da página do produto Pixel 8 Pro do Google, com capturas de tela do Google descrevendo novos recursos avançados de IA, incluindo os recursos de IA generativa mencionados no artigo. Também foi incluída uma captura de tela da nota de rodapé em letras pequenas com a referência "7", que explica os requisitos e as limitações. Observe que o Google não faz referência à necessidade de uma conexão persistente com a Internet para que os recursos funcionem, ou que o conteúdo precise ser transferido para os servidores do Google na nuvem para processamento de IA.

Compre o Google Pixel 8 Pro na Amazon a partir de US$ 999.