Robô cirúrgico domina procedimentos básicos por meio de aprendizado de vídeo, igualando a precisão humana

Pesquisadores da Johns Hopkins e da Stanford https://hub.jhu.edu/2024/11/11/surgery-robots-trained-with-videos/ conseguiram um marco significativo na cirurgia robótica - eles ensinaram um robô cirúrgico a realizar procedimentos básicos apenas assistindo a vídeos de cirurgiões humanos fazendo seu trabalho.

A equipe conseguiu programar o da Vinci Surgical System para realizar três tarefas cirúrgicas básicas, porém essenciais: manusear agulhas, levantar tecidos e costurar ferimentos. E ele está fazendo isso com o mesmo nível de habilidade que o senhor veria em cirurgiões humanos experientes. Esse é um grande passo em direção à cirurgia robótica totalmente autônoma.

"É notável ter esse modelo em que simplesmente fornecemos a entrada da câmera e ele prevê os movimentos robóticos necessários para a cirurgia", diz o Dr. Axel Krieger, professor assistente do Departamento de Engenharia Mecânica da JHU e autor sênior do estudo. "Acreditamos que isso representa um avanço significativo na robótica médica."

Para isso, a equipe de pesquisa combinou o aprendizado por imitação com uma arquitetura semelhante ao modelo de linguagem usado no ChatGPT. Mas, em vez de se concentrar em palavras, o modelo decompõe matematicamente os movimentos cirúrgicos, transformando-os em ações robóticas exatas.

Para treinar o robô, eles o alimentaram com centenas de vídeos cirúrgicos obtidos de câmeras montadas no pulso dos robôs da Vinci durante cirurgias reais. Esse pesado conjunto de dados provém de quase 7.000 sistemas da Vinci em todo o mundo, usados por mais de 50.000 cirurgiões treinados.

Embora o sistema da Vinci seja amplamente utilizado, a precisão tem sido um ponto fraco. A equipe de pesquisa resolveu esse problema fazendo com que o robô executasse movimentos em relação ao ambiente em vez de fazer movimentos exatos e predefinidos, e isso fez uma grande diferença.

Uma das coisas mais incríveis é a capacidade de adaptação dos sistemas. "O modelo é tão bom em aprender coisas que não ensinamos a ele", diz o autor principal Ji Woong "Brian" Kim, um pós-doutorando da Johns Hopkins. "Por exemplo, se o senhor deixar cair a agulha, ele a pegará automaticamente e continuará. Isso não é algo que eu tenha ensinado o senhor a fazer."

Esse desenvolvimento significa que não há mais a necessidade de programar meticulosamente cada movimento específico para uma tarefa cirúrgica, o que costumava levar anos para ser feito corretamente para apenas um tipo de procedimento. Com essa nova abordagem, o robô pode aprender um procedimento completo observando-o em apenas alguns dias.

Eles apresentaram suas descobertas na Conferência sobre Aprendizagem de Robôs em Munique, mostrando como a IA e a tecnologia médica estão se unindo na robótica cirúrgica.