Fones de ouvido comerciais Timekettle W4 Pro com IA no teste: O tricorder de Star Trek ou finalmente o peixe babel?

Para esclarecer um fato imediatamente: O W4 Pro não substitui um smartphone para interpretação, o aplicativo Timekettle é um pré-requisito absoluto para o uso, é aqui que as funções de IA estão disponíveis pela primeira vez e mesmo a conversa 1 a 1 não é possível sem uma conexão com o aplicativo.

Também é possível traduzir off-line, mas "apenas" 13 idiomas estão disponíveis. É somente on-line que os recursos completos dos intérpretes vêm à tona. O W4 Pro pode traduzir para 40 idiomas e domina 93 sotaques.

Os fabricantes dão atenção especial à velocidade de tradução quase ininterrupta. O tempo de resposta é de apenas 0,2 segundos.

Os fones de ouvido são importantes para isso. Ao contrário do Timekettle X1, por exemplo, que tinha fones de ouvido intra-auriculares, o W4 Pro tem um design aberto, o que faz todo o sentido. Afinal, os fones de ouvido intra-auriculares podem parecer anti-higiênicos, especialmente em conversas individuais, quando o usuário entrega um dos seus dois fones de ouvido para a outra pessoa. Ao contrário do W4 Pro, o design aberto significa que o senhor não precisa se preocupar com a cera de ouvido do usuário anterior grudada neles. Isso também facilita a audição de sua própria voz, o que também traz vantagens. Há três microfones embutidos em cada um dos dois fones de ouvido, projetados para garantir a gravação precisa do que está sendo dito e filtrar sons sem importância.

Os fones de ouvido em si são feitos principalmente de plástico. Eles se mantêm no lugar na orelha, mas balançam um pouco se a pessoa que os estiver usando mover a cabeça um pouco rápido. Um pequeno LED colorido indica quando eles estão sendo carregados ou inseridos no estojo de carregamento. Não há proteção contra respingos ou outros recursos. O W4 Pro também é bastante grande, mesmo para fones de ouvido. Para fins de comparação, o Marshall Motif II A.N.C. são fones de ouvido intra-auriculares.

O estojo de carregamento é ainda maior e um tanto incomum. A estrutura externa é feita de alumínio, o restante é de plástico. Ela pode ser dividida em duas metades para que o usuário não tenha que estender os fones de ouvido para um interlocutor, mas sim entregar o aparelho no estojo de carregamento. No entanto, o tamanho da caixa também pode levar à opinião de que o W4 Pro é desajeitado e significativamente menos móvel do que outros fones de ouvido. Há uma porta de carregamento USB-C na parte traseira do estojo. Um LED indica o status do carregamento. O estojo, incluindo os fones de ouvido, pesa 187 gramas (~6,6 oz).

A sustentabilidade não desempenha nenhum papel no marketing dos caros fones de ouvido para intérpretes; o fabricante não fornece nenhuma informação sobre os materiais usados.

Os fones de ouvido são embalados em uma elegante caixa de papelão preta, e uma espuma rígida também é usada no interior como isolamento.

Conforme mencionado, o uso do aplicativo Timekettle é obrigatório e o senhor precisa criar uma conta na primeira vez que o iniciar. Infelizmente, o aplicativo não pode ser encontrado nas lojas; um código QR leva à página de download, na qual o usuário deve confiar. Para emparelhar os aparelhos, a localização também deve ser ativada sempre que o aplicativo for reiniciado.

Os aparelhos em si têm apenas uma única função operacional: ao tocar nos aparelhos, o senhor pode alternar entre ouvir e falar no modo "Listen and Play", o que é prático, pois assim o senhor não precisa pegar o smartphone, que pode estar sobre a mesa de conferência, para traduzir sua voz para todos os participantes.

Além dos três modos de tradução: One-on-One, Listen & Play e Media Translation, o modo off-line também pode ser ativado na tela principal do aplicativo, mas a tradução de mídia fica acinzentada. O status dos fones de ouvido também é exibido na parte superior. O feedback também pode ser enviado diretamente pela tela inicial ou o atendimento ao cliente pode ser contatado.

Há também guias na parte inferior, em "Discover" (Descobrir) há algumas instruções sobre os produtos Timekettle, no caso do W4 Pro apenas uma, ou seja, como emparelhá-los com o smartphone. A guia AI é certamente interessante. Aqui o senhor pode digitar termos e fazer com que eles sejam traduzidos e até falados em voz alta. O senhor também pode encontrar aqui memorandos de conversas e gravações anteriores, que também podem ser resumidas. Também é possível treinar suas próprias habilidades linguísticas, pois há um modelo de IA com o qual o usuário pode falar no idioma de prática, o modelo faz sugestões de aprimoramento e faz perguntas para simular uma conversa. Em contraste com os 40 idiomas nas traduções, o bot de IA parece estar disponível apenas em inglês, espanhol e chinês.

O principal negócio do W4 Pro. Se quiser ter uma conversa bilíngue com a outra pessoa, basta entregar a ela um dos dois fones de ouvido na base de carregamento, definir os dois idiomas no aplicativo e pronto. É claro que não podemos fazer nenhuma declaração sobre os vários idiomas, mas nos concentramos no inglês e no alemão durante o teste.

No entanto, mesmo nesse caso, a qualidade não é nem de longe tão boa quanto a de um intérprete humano. As pausas na fala do orador no meio de uma frase são um problema específico para o sistema Timekettle. O tradutor de IA simplesmente insere um final inadequado para a frase no meio. Se o locutor começar novamente e completar a frase, o tradutor de IA inicia uma nova frase. É fácil imaginar que isso às vezes pode confundir significativamente o significado do que foi dito.

Também é perceptível que o sistema não compreende o contexto mais amplo da conversa. Embora eu esteja fazendo um teste com meu filho (ele alemão, eu inglês) e ele se dirija a mim como "Papa", a IA também interpreta o que eu digo a ele como "Du" e depois novamente como "Sie" no decorrer da conversa. Tendo em vista o contexto comercial, pelo menos o senhor deve usar "Sie" de forma consistente.

A qualidade de outras traduções também é bastante medíocre, o que, na maioria dos casos, se deve ao não reconhecimento do contexto. Palavras com sons semelhantes, como "Meine" e "Deine", são frequentemente confundidas, o que significa que o que está sendo dito não faz mais sentido; o reconhecimento do contexto poderia corrigir isso. Outro exemplo são as palavras menos conhecidas que são simplesmente traduzidas de forma incorreta e aleatória. Aparentemente, a IA também não foi capaz de deduzir do contexto que uma troca de palavras era sobre o esporte da moda, o slacklining. "Flecklein" é um esporte tão insignificante quanto "Select Lining", embora a IA tenha reconhecido corretamente "Slackline" um minuto antes, mas isso não pegou, portanto, infelizmente, a IA não aprende com o curso da conversa. Reconhecer o contexto, pelo menos, nem sempre levaria à criação de novas palavras.

Como a voz da tradução no ouvido da outra pessoa está sempre muito atrasada e o senhor não quer falar por cima da tradução, deve seguir certas regras de conversação para garantir a melhor tradução possível. Essas regras incluem falar fluentemente, mas não muito rápido e claramente, sem pausas para pensar, mas pausando após cerca de duas frases, estruturas de frases claras e o mínimo possível de linguagem coloquial. Algumas regras de conduta são mais difíceis de serem seguidas do que outras, mesmo em um ambiente de negócios.

Provavelmente o modo mais versátil. Aqui o senhor ouve várias fontes e recebe a tradução no seu ouvido e a transcrição no seu celular. Ele é anunciado para uso em reuniões, mas transmissões de rádio ou TV também podem ser traduzidas dessa forma, e outras situações também são concebíveis. Se quiser inverter os papéis e falar você mesmo, basta tocar no fone de ouvido direito ou no aplicativo e seu próprio celular traduzirá o que os outros participantes da reunião estão dizendo.

Por outro lado, esse talvez seja também o modo mais propenso a erros, pois o sistema geralmente precisa operar em um contexto maior e mais amplo, portanto, pode ter que lidar com várias vozes alternadas, mais ruído de fundo e alto-falantes que estão mais distantes. Também aprendemos com o Timekettle que a parte Listen do Listen & Play também é o único modo em que o smartphone é responsável pela gravação de áudio, e não os fones de ouvido. Portanto, o reconhecimento é altamente dependente do modelo.

Por exemplo, reproduzimos um vídeo do YouTube nos alto-falantes do nosso laptop. Embora o volume estivesse de normal a alto para nós, o W4 Pro aparentemente não conseguia receber bem o suficiente. Somente quando aumentamos o volume significativamente é que os fones de ouvido foram motivados a traduzir. Também acontece o tempo todo de uma tradução começar e depois parar no meio de uma frase porque o reconhecimento aparentemente sofre com a gravação do smartphone (Pixel 7 Pro). Veja bem, na minha mesa com um vídeo do YouTube bastante alto (70% do volume do laptop pelos alto-falantes internos) sem ruído de fundo. Mesmo a 100%, a tradução muitas vezes simplesmente não continua, o que não pode ser realmente devido ao volume. No geral, o modo não é muito confiável, pelo menos ao capturar a mídia que está sendo reproduzida.

A captura de vozes naturais funciona melhor aqui, pelo menos sem ruído de fundo. Entretanto, a qualidade da tradução às vezes deixa a desejar. Em particular, se o locutor fizer uma pequena pausa durante uma frase, isso é rapidamente interpretado como o fim da frase e o locutor começa novamente, o que às vezes distorce o significado do que foi dito originalmente. Falar por si mesmo parece funcionar muito bem, o que nós mesmos dissemos foi traduzido sem problemas e, se o senhor fizer pausas, os participantes da reunião poderão ouvir as traduções pelo alto-falante do smartphone.

A tradução de mídia trata especificamente da tradução de aplicativos que são executados no mesmo smartphone que o aplicativo Timekettle.

Portanto, se ativarmos esse modo no aplicativo Timekettle e abrirmos o YouTube (ou Zoom etc.) ao mesmo tempo, por exemplo, poderemos ter as vozes em um vídeo traduzidas, e o que for dito também será transcrito e, se desejado, exibido no idioma original e na tradução ou apenas como uma tradução ou nada. Até aí tudo bem. As traduções também funcionam muito bem e rapidamente porque o aplicativo é capaz de capturar a faixa de áudio diretamente do smartphone. A janela de sobreposição com as transcrições pode ser reduzida ou ampliada e também movida ou fechada livremente - muito bom.

No entanto, há também um ou mais problemas menores aqui.

1. Como há apenas um botão de volume para todos os aplicativos no smartphone, o volume do original, que infelizmente não fica mais baixo, e o da tradução se sobrepõem, o que torna muito difícil se concentrar e ouvir o canal de tradução em particular. Nesse caso, o vídeo original do YouTube deveria ficar automaticamente mais baixo.
2. O Timekettle afirma que a tradução é praticamente livre de atrasos. Entretanto, isso é verdade, na melhor das hipóteses, para a transcrição, mas não para o áudio. O áudio da tradução só começa várias linhas de transcrição depois. Isso significa que o áudio não coincide com a transcrição, o que dificulta a leitura. O que é pior, no entanto, é que o áudio da tradução não corresponde ao vídeo original. Por exemplo, enquanto nosso bom Alex está falando sobre um modelo específico de laptop no vídeo (em inglês), a voz do tradutor alemão está apenas começando a traduzir sua introdução. Isso torna muito mais difícil acompanhar um vídeo. Não ouvimos o gol no resumo da partida esportiva na tradução de áudio até 7 a 10 segundos depois.
3. Se pararmos um vídeo, a tradução (de áudio) também parará cerca de 2 segundos depois. Isso faz sentido, é claro, mas em conjunto com o longo atraso entre o original e a tradução de áudio, isso pode significar que, após o final de um vídeo (ou seja, a interrupção automática do vídeo), não recebemos mais uma tradução de áudio de determinadas seções finais. Se interrompermos um vídeo/áudio e depois o retomarmos, o áudio recomeça após o atraso habitual, mas somente a partir do novo início; o que ainda não foi traduzido até o final devido ao atraso e à pausa não é mais traduzido auditivamente, mas só pode ser lido na transcrição.

No geral, porém, a tradução funciona muito bem, todos os aplicativos testados foram reconhecidos, inclusive as reproduções de rádio com o VLC player ou a biblioteca de mídia da ARD. Isso é muito prático e a qualidade da tradução é impressionante. No entanto, o Timekettle ainda precisa trabalhar no longo atraso da voz de tradução.

Afinal de contas, as moedas virtuais não devem expirar, mas o senhor também não pode retirá-las mais tarde.