À l’Augmented World Expo (AWE), Doublepoint a présenté WowMouse, une application innovante qui transforme les smartwatches en souris 3D pour XR. Cette avancée technologique promet de révolutionner l’interaction avec les réalités immersives.
Doublepoint, anciennement Port6, s’est fait connaître grâce à l’utilisation de smartwatches pour contrôler des appareils électroménagers. Depuis, la société a exploré des interfaces novatrices en exploitant les capteurs avancés des montres connectées. Ohto Pentikainen, PDG et Jamin Hu, CTO, ont fondé l’entreprise en 2022 dans le but de maximiser le potentiel des capteurs de ces dispositifs.
L’idée centrale de Doublepoint est d’exploiter les capteurs sophistiqués des smartwatches pour détecter les gestes et les poses des mains. Par exemple, toucher le pouce et l’index génère des vibrations spécifiques autour du poignet, captées par la montre. Grâce à l’apprentissage automatique, ces gestes peuvent être détectés sans caméras externes ni gants.
Présentation de WowMouse
WowMouse est une application Android pour smartwatches qui permet de les utiliser comme souris 3DOF. Compatible avec les casques XR tels que Magic Leap 2 et Quest 2/3, l’application est optimisée pour les montres Samsung Galaxy Watch 4/5/6 et Google Pixel Watch 2.
En associant la montre à un casque XR, la main devient une souris pour naviguer et cliquer dans les réalités immersives.
Intégration simple avec Unity
L’un des aspects les plus impressionnants de WowMouse est son intégration avec Unity. Aucune installation de package n’est nécessaire. Il suffit simplement de configurer des actions dans le système d’entrée Unity. Cette simplicité est un véritable atout pour les développeurs, facilitant l’adoption de cette technologie.
On pourrait se demander pourquoi utiliser une smartwatch alors que le suivi des mains est déjà disponible sur les casques principaux. Les avantages sont nombreux : retour haptique via des vibrations, faible consommation d’énergie et possibilité de cliquer dans toutes les positions, même avec des gants industriels.
De plus, cette technologie peut fonctionner même sans casque XR. Par conséquent, elle ouvre la porte à de nombreuses applications potentielles.
Expérience pratique à l’AWE
Lors de l’AWE, Doublepoint a proposé deux démonstrations distinctes : une pour l’IoT et une pour le XR. La première démonstration, sans lunettes, permettait de contrôler des lampes en pointant et en tapotant.
La deuxième, en partenariat avec Magic Leap, utilisait la montre comme contrôleur pour interagir avec des bulles dans un environnement virtuel. La détection des gestes fonctionnait bien, bien que des gestes faibles pouvaient parfois être mal interprétés.
La démo avec Magic Leap 2 était particulièrement impressionnante. Elle montrait comment utiliser WowMouse pour interagir avec des bulles volantes en utilisant un schéma d’interaction similaire à Vision Pro. Contrairement au suivi des mains traditionnel, cette méthode permettait de garder le bras au repos afin de rendre l’expérience plus confortable et naturelle.
Avantages et limites de WowMouse
WowMouse fonctionne bien pour les interactions simples, en utilisant une smartwatch comme une « souris aérienne ». Cependant, avec seulement 3DOF, elle ne peut pas offrir la précision d’un contrôleur VR 6DOF. Malgré cela, le système est assez performant et offre une nouvelle manière d’interagir avec des environnements virtuels.
Doublepoint est une entreprise à surveiller de près. Leurs innovations dans l’utilisation des smartwatches pour le XR et l’IoT montrent un potentiel immense. La technologie de détection de gestes est solide et prometteuse. Seul le temps dira si cette approche surpassera le suivi des mains traditionnelles. En attendant, Doublepoint mérite notre attention et notre soutien dans leurs futurs développements.
- Partager l'article :