Sistemas de IA, como o GPT-4 e o Gemini, que interpretam erroneamente a filmagem da Ring Camera, podem levar a falsas chamadas policiais, especialmente em bairros de minorias

À medida que mais proprietários de casas recorrem a soluções de segurança inteligentes, como as câmeras Ring da Amazon (atualmente por US$ 149,99 na Amazon), a IA desempenhará um papel mais importante na manutenção da segurança das casas. Mas um novo estudo está levantando preocupações sobre se esses futuros sistemas de IA podem ser rápidos demais para chamar a polícia, mesmo quando nada de criminoso estiver acontecendo.

Pesquisadores do MIT e Penn State analisaram 928 vídeos de vigilância do Ring disponíveis publicamente para ver como modelos de IA como o GPT-4, Claudee Gemini tomar decisões sobre como entrar em contato com a polícia. Os resultados sugeriram fortemente que esses sistemas frequentemente sinalizam situações inofensivas como potencialmente criminosas. Por exemplo, o GPT-4 recomendou o envolvimento da polícia em 20% dos vídeos analisados, embora tenha identificado um crime real em menos de 1% dos casos. O Claude e o Gemini sinalizaram a ação policial em 45% dos vídeos, enquanto a atividade criminosa real estava presente em apenas 39,4%.

Uma das principais descobertas do estudo foi como os modelos de IA reagiram de forma diferente dependendo do bairro. Embora a IA não tenha recebido detalhes explícitos sobre as áreas, era mais provável que ela sugerisse chamar a polícia em bairros de maioria minoritária. Nessas áreas, a Gemini recomendou a ação da polícia em quase 65% dos casos em que ocorreram crimes, em comparação com pouco mais de 51% em bairros predominantemente brancos. Além disso, o estudo observou que 11,9% das recomendações policiais do GPT-4 ocorreram mesmo quando nenhuma atividade criminosa foi anotada na filmagem, levantando questões sobre falsos positivos.

O que é interessante é que a Amazon também vem explorando recursos orientados por IA para seus sistemas Ring, incluindo ferramentas avançadas como reconhecimento facial, análise emocional e detecção de comportamento, conforme sugerido por patentes recentes. No futuro, a IA poderá desempenhar um papel muito maior na identificação de atividades ou pessoas suspeitas, aumentando ainda mais o que nossos sistemas de segurança doméstica podem fazer.

Para os proprietários de casas que usam câmeras Ring, não há motivo imediato para preocupação. No momento, as câmeras Ring têm recursos limitados de IA (principalmente detecção de movimento) e não tomam essas decisões de forma independente. Os modelos avançados de IA usados no estudo, como GPT-4 e Claude, foram aplicados externamente para analisar as filmagens da Ring, não integrados às próprias câmeras. A essência da pesquisa é que, embora futuras atualizações de IA possam ajudar a monitorar sua casa em um grau mais elevado, ela também pode estar propensa a cometer erros - erros que terão de ser eliminados antes que esses recursos se tornem comuns nas próximas câmeras Ring.

Confira outra pesquisa que aborda o preconceito da IA em relação aos dialetos do inglês afro-americano aqui.