Notebookcheck Logo

Nova pesquisa expõe o preconceito persistente da IA em relação aos dialetos do inglês afro-americano

o "Matched guise probing" foi usado pelos pesquisadores para descobrir vieses preconceituosos. (Fonte da imagem: Dall-E 3)
o "Matched guise probing" foi usado pelos pesquisadores para descobrir vieses preconceituosos. (Fonte da imagem: Dall-E 3)
Pesquisas recentes revelam preconceitos ocultos em modelos de linguagem de IA, especialmente contra o inglês afro-americano (AAE). Esses modelos continuam a associar o AAE a estereótipos negativos, possivelmente influenciando futuras decisões de emprego e justiça criminal. O estudo usa a "sondagem de disfarce correspondente" como prova de conceito.

Um novo estudo expôs o racismo oculto incorporado nos modelos de linguagem de IA, especialmente no tratamento dado ao inglês afro-americano (AAE). Diferentemente de pesquisas anteriores que se concentraram no racismo evidente (como o estudo CrowS-Pairs para medir preconceitos sociais em Masked LLMs), este estudo dá ênfase especial à forma como os modelos de IA perpetuam sutilmente estereótipos negativos por meio do preconceito de dialeto. Esses preconceitos não são imediatamente visíveis, mas se manifestam de forma óbvia, como a associação de falantes de AAE a empregos de status inferior e julgamentos criminais mais severos.

O estudo descobriu que mesmo os modelos treinados para reduzir o preconceito evidente ainda abrigam preconceitos arraigados. Isso pode ter implicações de longo alcance, especialmente à medida que os sistemas de IA se tornam cada vez mais integrados em áreas essenciais, como emprego e justiça criminal, em que a justiça e a equidade são essenciais acima de tudo.

O texto verde é o inglês americano padrão, enquanto o azul é o inglês afro-americano. Na figura 'd', as previsões para as entradas SAE e AAE são ilustradas por cinco adjetivos. (Fonte da imagem: Nature)
O texto verde é o inglês americano padrão, enquanto o azul é o inglês afro-americano. Na figura 'd', as previsões para as entradas SAE e AAE são ilustradas por cinco adjetivos. (Fonte da imagem: Nature)

Os pesquisadores empregaram uma técnica chamada "matched guise probing" para descobrir esses vieses. Ao comparar como os modelos de IA respondiam a textos escritos em inglês americano padrão (SAE) versus AAE, eles conseguiram demonstrar que os modelos associavam consistentemente o AAE a estereótipos negativos, mesmo quando o conteúdo era idêntico. Esse é um indicador claro de uma falha fatal nos métodos atuais de treinamento de IA - melhorias superficiais na redução do racismo evidente não se traduzem necessariamente na eliminação de formas mais profundas e insidiosas de preconceito.

Sem dúvida, a IA continuará a evoluir e a se integrar a mais aspectos da sociedade. No entanto, isso também aumenta o risco de perpetuar e até mesmo ampliar as desigualdades sociais existentes, em vez de atenuá-las. Cenários como esse são a razão pela qual essas discrepâncias devem ser tratadas como prioridade.

A figura 'a' mostra a perplexidade da modelagem da linguagem e a força do estereótipo no texto do AAE em função do tamanho do modelo, enquanto a figura 'b' indica a mudança na força do estereótipo e na favorabilidade. (Fonte da imagem: Nature)
A figura 'a' mostra a perplexidade da modelagem da linguagem e a força do estereótipo no texto do AAE em função do tamanho do modelo, enquanto a figura 'b' indica a mudança na força do estereótipo e na favorabilidade. (Fonte da imagem: Nature)
Estereótipos mais fortes sobre afro-americanos em humanos versus estereótipos evidentes e encobertos em modelos de linguagem. (Fonte da imagem: Nature)
Estereótipos mais fortes sobre afro-americanos em humanos versus estereótipos evidentes e encobertos em modelos de linguagem. (Fonte da imagem: Nature)

Fonte(s)

Please share our article, every link counts!
> Análises e revisões de portáteis e celulares > Arquivo de notícias 2024 08 > Nova pesquisa expõe o preconceito persistente da IA em relação aos dialetos do inglês afro-americano
Anubhav Sharma, 2024-08-30 (Update: 2024-08-30)