Os pesquisadores estão dizendo que a ferramenta Whisper da OpenAI inventa coisas

De acordo com um novo relatório https://abcnews.go.com/US/wireStory/researchers-ai-powered-transcription-tool-hospitals-invents-things-115170291 da ABC News (via Engadget), a ferramenta de transcrição de áudio da OpenAI, Whisper, é propensa a alucinar transcrições que não fazem parte das gravações originais.

Isso é preocupante porque o Whisper já está sendo usado em vários setores, inclusive em centros médicos que dependem da ferramenta para transcrever consultas. Isso ocorre apesar do aviso severo da OpenAI para não usá-lo em "domínios de alto risco".

Um engenheiro de aprendizado de máquina descobriu alucinações em metade das mais de 100 horas de transcrições, enquanto outro desenvolvedor disse que as encontrou em todas as 26.000 transcrições que analisou. Os pesquisadores afirmaram que isso poderia levar a transcrições incorretas em milhões de gravações em todo o mundo. Um porta-voz da OpenAI disse à ABC News que a empresa estudou esses relatórios e incluirá seus comentários nas atualizações do modelo. A ferramenta está incorporada ao Oracle e ao Microsoft Cloud. Esses serviços têm milhares de clientes em todo o mundo, aumentando o escopo do risco.

As professoras Allison Koenecke e Mona Sloane examinaram milhares de trechos curtos do TalkBank. Elas descobriram que 40% das alucinações descobertas eram prejudiciais. Por exemplo, em uma das gravações, um locutor disse: "Ele, o menino, ia, não sei exatamente, pegar o guarda-chuva", mas a ferramenta transcreveu como: "Ele pegou um pedaço grande da cruz, um pedacinho minúsculo... Tenho certeza de que ele não tinha uma faca do terror, então matou várias pessoas".