APPLICATION SPOT AR-VR
PROJET R&D PAR INTUITIVE ROBOTS
Chez Intuitive Robots, nous nous engageons à améliorer considérablement les performances du robot Spot, tant au niveau matériel que logiciel. En intégrant des technologies de pointe et des solutions innovantes, nous nous efforçons de faire de Spot un atout indispensable pour les industries cherchant à tirer parti de l’automatisation de leurs processus d’inspection.
De l’inspection à distance…
Aujourd’hui, il est possible de contrôler et suivre le robot, de capturer des données et de créer des missions d’inspection à l’aide de la tablette du robot ou via l’application Orbit de Boston Dynamics. Si la tablette nécessite la présence de l’opérateur sur site, Orbit permet de surveiller les missions du robot depuis n’importe quel ordinateur dans le monde.
Téléopérer le robot lors d’une mission d’inspection ou lors de la création d’un itinéraire autonome peut parfois être complexe où toute distraction peut avoir un impact sur la qualité du déploiement. Par exemple, l’œil humain peut passer à côté d’un point d’intérêt ou même manquer une source potentielle d’anomalie lors de la navigation / inspection du robot.
Inspecter avec une tablette ou via un écran d’ordinateur n’est pas toujours confortable ni efficace. C’est de ce constat qu’est née l’application Spot AR-VR.
… à l’inspection immersive.
L’objectif est de permettre aux opérateurs d’inspecter leurs infrastructures en temps réel et en totale immersion, comme si ils étaient sur le terrain, sur le dos du robot et à travers la multitude de capteurs embarqués, même dans les lieux les plus à risque, sans même quitter son fauteuil.
Combiner les hautes performances de la robotique mobile autonome avec toute la puissance de l’AR-VR, permet enfin une inspection industrielle sans perdre le moindre détail et en ne prenant aucun risque.
Immersion Totale
Vision & Interaction Naturelles
Focus et Engagement
- Manettes et gestes : les casques VR sont souvent équipés de contrôleurs (manettes) ou de capteurs de mouvement, permettant des interactions plus riches et plus précises avec l’environnement, offrant ainsi des possibilités d’interaction que les tablettes ou les ordinateurs ne peuvent pas offrir.
- Dimension réaliste : cela permet une évaluation plus précise de la taille et de la distance des objets, ce qui est crucial pour des applications liées à l’inspection industrielle.
- Élimination des distractions : En portant un casque VR, les utilisateurs sont isolés des distractions de l’environnement réel, ce qui peut améliorer la concentration et l’engagement dans l’expérience.
- Engagement Accru : L’immersion et l’interaction naturelle en VR tendent à maintenir l’attention des utilisateurs plus efficacement que les dispositifs traditionnels comme les tablettes.
Efficacité & Précision
Meilleure Collaboration
- Visualisation de données en temps réel : L’AR-VR peut superposer des données, des métriques et des informations en temps réel directement sur l’environnement physique, aidant les opérateurs à résoudre rapidement les problèmes.
- Précision dans l’inspection : L’AR-VR peut fournir des mesures extrêmement précises et identifier des défauts ou des problèmes qui pourraient être manqués via d’autres dispositifs.
- Coopération améliorée : l’AR-VR avec Spot permet aux opérateurs à distance de guider le personnel sur site ou de contrôler les robots en temps réel, facilitant ainsi une meilleure prise de décision et une résolution des problèmes plus rapide.
- Formation et simulation : peut être utilisée à des fins de formation, permettant aux opérateurs de simuler des inspections dans un environnement virtuel avant de les exécuter dans le monde réel.
Un large choix de fonctionnalités
Navigation
& Vision 360
Contrôle du robot Spot :
- Contrôle des mouvements et de l’orientation du robot (Moteurs On/Off, assis/debout…)
- Gestion de la vitesse du robot
Contrôle de la caméra PTZ
- Orientation en temps réel de la caméra PTZ via les contrôleurs ou seulement la position du casque (orientation du visage)
- Zoom +/-
- Activation des LEDS
- Switch du capteur PTZ au capteur infrarouge
Données visuelles
& thermiques
Capture des Points d’Intérêts (PoI) :
- Prenez des photos de vos points d’inspection avec la PTZ ou la caméra thermique
- Visualisez les PoI collectés dans une galerie dédiée
- Laissez des commentaires vocaux via le casque (Speech To Text) et changez la typologie visuelle
- POI en réalité augmentée et géolocalisés
Avalyse d’image par OpenAI
Utilisez OpenAI (GPT-4):
- Demandez à OpenAI d’analyser l’image capturée par la PTZ avec vos indications vocales (input) -> permet de générer des PoI (Point of Interest)
- Fonctionnalité basée sur des solutions de deep learning & Levatas
Interaction
Intuitive
Interface facile d’utilisation :
- Utilisable sans les manettes, avec uniquement vos mains pour un usage encore plus intuitif (Dans ce cas, UX avec reconnaissance de gestes de la main et des doigts)
- Cockpit virtuel (Interface Homme-Machine) intuitif et interactif avec les manettes ou les mains virtuelles
- Fonctionnalités de klaxon et de mégaphone
Configuration Technique
SPOT + CAM+IR + DOCK
CAMÉRA RICOH THETA Z1
CASQUE META QUEST 3
Comment fonctionne l’application ?
Quels pré-requis techniques ?
Plateforme robotique
Le robot Spot
Le robot d’inspection le plus performant au monde. Plusieurs options d’équipements additionnels sont disponibles :
- Combo CAM+IR + Ricoh Theta360 Z1 : Cette configuration est recommandée pour un usage optimal, offrant un double flux video: Bulle 360° + flux de la PTZ en mode PIP (Picture In Picture)
- Avec la CAM+IR seulement : Permet de visualiser la bulle 360° issue de la CAM+IR, mais n’offre pas le contrôle de la caméra PTZ.
- Avec Theta360 seulement : Permet de visualiser la bulle 360° issue de la Theta360, mais n’offre pas d’un second flux additionnel en mode PIP (caméra PTZ de la CAM+IR)
Autres robots
- Notre application VR, peut fonctionner sur n’importe quel robot équipé de la Ricoh Theta360 Z1 embarquée. Le control dudit robot est possible moyennant une integration logicielle.
Casque Réalité Virtuelle
MetaQuest 3 & MetaQuest Pro:
- Ces casques sont compatibles avec notre système, offrant un usage en tout autonomie et sans nécessité de disposer d’un ordinateur additionnel
- Nous avons développé notre propre SDK en C# pour Spot afin de pouvoir contrôler Spot depuis un casque de réalité virtuelle Meta Quest
Caméra 360°
Ricoh Theta360 :
- Utiliser cette caméra permet de bénéficier d’un flux 4K pour la bulle 360°, tout en bénéficiant d’un double flux en mode PIP de la caméra PTZ issue de l’équipement CAM+IR, si celle-ci est installée sur Spot.
Connexion Internet
Non requis :
- Pour une utilisation basique, le robot Spot, la caméra Theta360 et le casque VR doivent simplement être connectés sur le même réseau.
Requis :
- Une connexion internet est nécessaire pour bénéficier des modules d’OpenAI permettant l’analyse par vision, ainsi que pour les fonctions de reconnaissance automatique de la parole (ASR) ou de synthèse vocale (TTS).
Performances & Qualité
Latence Casque/Robot :
- La latence du flux vidéo est inférieure à 100ms, garantissant une expérience fluide.
Qualité des flux:
- Theta360: Le flux vidéo est transmis en 4K maximum (3840 x 1920) à 30 images par seconde, offrant une qualité d’image élevée.
- PTZ CAM+IR: Le flux vidéo est transmis en 2K maximum (1920 x 960) à 30 images par seconde.
Pour une qualité optimale, nous conseillons de disposer d’une bande passant à minima de 60 Mbps