Os desenvolvedores que usam o Copilot são estatisticamente melhores no último estudo do GitHub
Em um estudo recente do GitHub, o GitHub Copilot foi testado para determinar se o assistente de codificação de IA está ajudando os desenvolvedores a escrever códigos objetivamente melhores ou piores do que os códigos escritos sem IA. Para fazer isso, o GitHub trabalhou com 202 desenvolvedores Python, 104 codificando com o Copilot e 98 sem. Os desenvolvedores foram encarregados de criar um servidor da Web de avaliações de restaurantes e avaliar a funcionalidade com 10 testes de unidade.
Para cada um dos envios concluídos, pelo menos dez desenvolvedores analisaram linha por linha do código, sem saber se ele havia sido escrito com ou sem a ajuda da IA. Todas as 1.293 revisões resultantes avaliaram a legibilidade, a confiabilidade, a capacidade de manutenção e a concisão das amostras de código. Além disso, os revisores avaliaram se o código deveria ser aprovado em última instância.
Os resultados do estudo são um bom presságio para o uso de IA na codificação, com o GitHub destacando quatro descobertas principais.
- O Copilot ajudou os desenvolvedores a passar em todos os dez testes unitários com 56% mais frequência do que os desenvolvedores sem IA, levando a uma maior funcionalidade.
- O código assistido pelo Copilot é mais legível e ajuda os desenvolvedores a escrever uma média de 13,6% mais linhas sem encontrar problemas de legibilidade.
- A legibilidade, a confiabilidade, a capacidade de manutenção e a concisão melhoraram em uma média de 3,29%, sendo que a concisão recebeu o aumento mais significativo de 4,16%.
- O código assistido por copiloto foi aprovado 5% mais frequentemente do que o código sem IA. Isso significa que é necessário menos tempo para que o código esteja pronto para produção.
Para obter informações mais detalhadas sobre a metodologia e os resultados do estudo, visite a postagem oficial do blog do GitHub com o link abaixo.
Fonte(s)
