Auscultadores com câmaras e IA, sim, este é o futuro desvendado pelos novos VueBuds

Estes auriculares têm pequenas câmaras que tiram fotografias e permitem aos utilizadores falar com IA sobre o que estão a ver. Sim, os VueBuds antecipam o futuro próximo.

Cientistas integraram pequenas câmaras em auriculares sem fios disponíveis no mercado que captam imagens de baixa resolução para permitir aos utilizadores conversar com um sistema de IA sobre o que está à sua frente.
Este projeto, da Universidade de Washington, apresenta-se como o primeiro sistema a integrar pequenas câmaras em auriculares comerciais.
A ideia é oferecer aos utilizadores uma forma de interagir com um modelo de IA sobre o mundo à sua frente, de forma semelhante ao que os óculos inteligentes procuram fazer.
Por exemplo, alguém pode apontar a cabeça para uma embalagem de comida coreana e dizer: "Olá Vue, traduz-me o que vês", e o sistema responder algo como: "O texto visível traduz-se para ‘Massa Fria’ em português".
VueBuds capta imagens e responde em cerca de um segundo
O protótipo, chamado VueBuds, capta imagens a preto e branco de baixa resolução através de uma pequena câmara de baixo consumo integrada nos auriculares. Essas imagens são enviadas por Bluetooth para um telemóvel ou dispositivo próximo, onde um pequeno modelo de IA as processa e responde às perguntas em cerca de um segundo.
Todo o processamento acontece localmente no dispositivo, algo que os investigadores dizem ajudar a proteger a privacidade. Uma pequena luz também se acende sempre que as imagens estão a ser captadas e os utilizadores podem apagá-las imediatamente, caso pretendam.
O sistema evita totalmente a transmissão contínua de vídeo. Isso acontece em parte porque o Bluetooth não consegue lidar com um fluxo constante de grandes volumes de dados e também porque câmaras de maior qualidade consumiriam demasiada energia. Em vez disso, utiliza imagens estáticas ocasionais, reduzindo o consumo energético sem comprometer a utilidade do sistema.
Uma câmara com o tamanho de um grão de arroz
A própria câmara é extremamente pequena, aproximadamente do tamanho de um grão de arroz. Um dos principais desafios foi perceber onde colocá-la para que conseguisse realmente “ver” aquilo que o utilizador vê.
Uma grande questão que tínhamos era: o rosto iria bloquear demasiado a visão? Conseguiriam as câmaras nos auriculares captar de forma fiável aquilo que o utilizador vê no mundo?
Afirmou a autora principal Maruchi Kim, que realizou este trabalho enquanto estudante de doutoramento na Paul G. Allen School of Computer Science & Engineering.
A equipa descobriu que inclinar ligeiramente as câmaras para fora, entre 5 e 10 graus, proporciona um campo de visão amplo entre 98 e 108 graus.
Existe um pequeno ponto cego quando os objetos estão muito próximos, cerca de 20 centímetros, mas os investigadores afirmam que isso raramente representa um problema na utilização diária.
Limitações atuais e possíveis evoluções
Como o sistema apenas capta imagens em tons de cinzento, ainda não consegue responder a perguntas que dependam da cor. Os investigadores afirmam que futuras versões poderão incluir câmaras a cores ou modelos de IA mais especializados, embora isso aumente o consumo energético.
Este estudo permite-nos perceber o que é possível fazer apenas com um modelo de linguagem de propósito geral e auriculares sem fios com câmaras.
Mas gostaríamos de estudar o sistema de forma mais rigorosa para aplicações como leitura de livros, por exemplo para pessoas com baixa visão ou cegueira, ou tradução de texto para viajantes.
Explicou Kim.
Auriculares podem ser mais aceites do que óculos inteligentes
Os investigadores afirmam que parte da motivação surgiu do facto de os óculos inteligentes e os equipamentos de realidade virtual ainda não terem sido amplamente adotados.
Não vimos a maioria das pessoas adotar óculos inteligentes ou equipamentos VR, em parte porque muitas não gostam de usar óculos e porque estes levantam preocupações de privacidade, como gravação de vídeo em alta resolução e processamento na cloud.
Mas praticamente toda a gente já usa auriculares, por isso quisemos perceber se seria possível colocar inteligência visual em auriculares pequenos e de baixo consumo, resolvendo ao mesmo tempo as preocupações com privacidade.
Explicou o autor sénior Shyam Gollakota.
Apple também estará a explorar esta ideia
Esta invenção surge depois de notícias indicarem que a Apple estará a preparar o lançamento de AirPods equipados com câmaras como parte da estratégia mais ampla da empresa para inteligência artificial e novos dispositivos.
Ao contrário de dispositivos com câmaras vestíveis, como os óculos inteligentes da Meta, estes AirPods com câmaras não foram concebidos para captar fotografias ou vídeos de forma convencional. Em vez disso, as câmaras captam imagens de baixa resolução do ambiente à volta do utilizador para alimentar funcionalidades de IA contextual.