Mesmo após treinamento antirracismo, chatbots de IA como o ChatGPT ainda apresentam preconceito racial

Pesquisadores que testaram chatbots de IA baseados em grandes modelos de linguagem, como o Chat GPT4 da OpenAI, descobriram que eles ainda podem apresentar preconceito racial, mesmo depois de passarem por um treinamento antirracismo. O último desenvolvimento ocorre após a recente pesquisa do Google Gemini AI do Google, depois que seu novo LLM corrigiu excessivamente o racismogerando o que alguns chamaram de reinterpretações "acordadas" da história, em que homens afro-americanos, por exemplo, foram retratados como soldados nazistas da Segunda Guerra Mundial. Parece que está sendo difícil para os criadores de modelos de LLM equilibrar a questão racial.

No estudo mais recente, destacado pela New Scientist, os pesquisadores descobriram que dezenas de diferentes modelos de LLM testados ainda mostravam preconceito racial quando apresentados a textos com dialetos afro-americanos. Isso ocorreu apesar de os modelos testados terem sido especificamente treinados para evitar preconceitos raciais nas respostas fornecidas pelos chatbots. Isso inclui o ChatGPT-4 e GPT-3.5 da OpenAI. Em um caso, o GPT-4 demonstrou estar mais inclinado a recomendar uma sentença de morte se o cliente falar em inglês com um dialeto afro-americano.

O mesmo "preconceito encoberto" também ficou evidente nas recomendações de emprego que combinavam afro-americanos com carreiras que tinham menos probabilidade de exigir um diploma ou que chegavam ao ponto de associar pessoas de origem afro-americana sem emprego, em comparação com a entrada padrão baseada no inglês americano. Os pesquisadores também descobriram que quanto maior o modelo de linguagem, maior a probabilidade de ele apresentar esses vieses subjacentes. O estudo levanta preocupações com relação ao uso de tecnologias de IA generativas para fins de triagem, incluindo a análise de pedidos de emprego.

Os pesquisadores concluíram que seu estudo levanta questões sobre a eficácia das intervenções de treinamento de segurança de IA baseadas em humanos, que parecem apenas remover o racismo e o preconceito em um nível alto, mas lutam para erradicá-lo dos modelos atuais em um nível mais baixo, em que a terminologia específica de identidade racialmente definidora não é mencionada durante as entradas dos usuários. Os pesquisadores recomendam que as empresas que desenvolvem LLMs precisam ter cuidado ao liberar chatbots de LLM para o público antes que eles tenham sido completamente examinados.