Meta's OK - o robô pode arrumar um cômodo sem ajuda
O novo sistema OK-Robot AI foi projetado para permitir que uma ampla variedade de robôs arrume cômodos que são completamente novos para eles. Por exemplo, eles podem pegar roupas ou brinquedos do chão e colocá-los em outro lugar. Outros sistemas robóticos geralmente são projetados para operar em um ambiente familiar.
O OK-Robot trabalha com VLMs (Vision-Language Models), um tipo de sistema de IA capaz de processar e compreender informações de texto ou fala direta e imagens ao mesmo tempo. Também é interessante observar que o OK-Robot trabalha com uma variedade de modelos de IA de código aberto De código aberto e foi pré-treinado com grandes conjuntos de dados que estão disponíveis publicamente.
Como ponto positivo, o senhor não precisa fornecer ao robô nenhum dado de treinamento adicional no ambiente, ele simplesmente funciona. No lado negativo, ele só pode pegar um objeto e deixá-lo em outro lugar. O senhor não pode pedir que ele abra uma gaveta, porque ele só sabe fazer essas duas coisas.
- Lerrel Pinto, Professor Assistente de Ciência da Computação da Universidade de Nova York, que foi co-líder do projeto
O sistema foi testado por pesquisadores da Universidade de Nova York e da Meta usando o robô comercial Stretch da Hello Robot. 171 experimentos de pegar e soltar foram realizados em diferentes residências. Durante os experimentos, o robô escaneou o ambiente usando o Record3D iPhone para criar um vídeo em 3D. Em seguida, o sistema OK Robot executou um modelo de reconhecimento de objetos de IA em cada quadro do vídeo.
Isso permitiu que o robô identificasse todos os objetos em seu ambiente, como uma mesa, um sofá, um par de óculos, um sapato e uma lâmpada. Em seguida, ele foi instruído a pegar determinados objetos, o que foi feito em 82,2% dos casos, desde que a sala não estivesse muito desordenada. No entanto, em salas mais caóticas, a taxa de sucesso foi significativamente menor.
Eu diria que é bastante incomum depender totalmente de modelos prontos para uso e que é impressionante fazer com que eles funcionem. Vimos uma revolução no aprendizado de máquina que possibilitou a criação de modelos que funcionam não apenas em laboratórios, mas no mundo aberto. Ver que isso realmente funciona em um ambiente físico real é uma informação muito útil.
- Matthias Minderer, cientista sênior de pesquisa de visão computacional da Google DeepMind, que não participou do projeto
O sistema ainda está longe de ser perfeito; por exemplo, às vezes ele tem dificuldade para entender a entrada de voz, e seu modelo de apreensão também tem problemas com alguns objetos. No entanto, o projeto mostra que os modelos atuais são capazes de lidar relativamente bem com um vocabulário aberto e, ao mesmo tempo, são capazes de navegar diretamente para os objetos certos em espaços desconhecidos.
Fontes
MIT Technology Review | VentureBeat | imagem teaser: imagem simbólica de DALL-E / AI | imagens 2,3: arvix
