APPLICATION SPOT AR-VR

PROJET R&D PAR INTUITIVE ROBOTS

Avantages de Combiner Robot Mobile avec Réalité Virtuelle & Augmentée

Chez Intuitive Robots, nous nous engageons à améliorer considérablement les performances du robot Spot, tant au niveau matériel que logiciel. En intégrant des technologies de pointe et des solutions innovantes, nous nous efforçons de faire de Spot un atout indispensable pour les industries cherchant à tirer parti de l’automatisation de leurs processus d’inspection.

Notre dernier projet de recherche et développement nous permet désormais de combiner la réalité virtuelle et augmentée avec des robots mobiles, comme le robot Spot de Boston Dynamics. Pour les industriels, cette intégration offre de nombreux avantages qui peuvent améliorer de manière significative l’efficacité, la sécurité et la précision des méthodes d’inspection.

De l’inspection à distance…

Aujourd’hui, il est possible de contrôler et suivre le robot, de capturer des données et de créer des missions d’inspection à l’aide de la tablette du robot ou via l’application Orbit de Boston Dynamics. Si la tablette nécessite la présence de l’opérateur sur site, Orbit permet de surveiller les missions du robot depuis n’importe quel ordinateur dans le monde.

Téléopérer le robot lors d’une mission d’inspection ou lors de la création d’un itinéraire autonome peut parfois être complexe où toute distraction peut avoir un impact sur la qualité du déploiement. Par exemple, l’œil humain peut passer à côté d’un point d’intérêt ou même manquer une source potentielle d’anomalie lors de la navigation / inspection du robot.

Inspecter avec une tablette ou via un écran d’ordinateur n’est pas toujours confortable ni efficace. C’est de ce constat qu’est née l’application Spot AR-VR.

immersive inspection with Spot VR

… à l’inspection immersive.

L’objectif est de permettre aux opérateurs d’inspecter leurs infrastructures en temps réel et en totale immersion, comme si ils étaient sur le terrain, sur le dos du robot et à travers la multitude de capteurs embarqués, même dans les lieux les plus à risque, sans même quitter son fauteuil.

Combiner les hautes performances de la robotique mobile autonome avec toute la puissance de l’AR-VR, permet enfin une inspection industrielle sans perdre le moindre détail et en ne prenant aucun risque.

Immersion Totale

Vision & Interaction Naturelles

Focus et Engagement

vr immersion spot
  • Expérience enveloppante : un casque VR couvre entièrement le champ de vision de l’utilisateur, créant la sensation d’être « dans » l’environnement plutôt que de le voir de l’extérieur, ce qui améliore considérablement le sentiment de présence.
  • Perspective à 360° et contrôle du regard : les utilisateurs peuvent tourner la tête et voir l’environnement tout autour d’eux, rendant la navigation plus intuitive et l’interaction avec celui-ci plus fluide, ce qui n’est pas possible avec une tablette ou un ordinateur portable.
icons-spot-vr-2-02
  • Manettes et gestes : les casques VR sont souvent équipés de contrôleurs (manettes) ou de capteurs de mouvement, permettant des interactions plus riches et plus précises avec l’environnement, offrant ainsi des possibilités d’interaction que les tablettes ou les ordinateurs ne peuvent pas offrir.
  • Dimension réaliste : cela permet une évaluation plus précise de la taille et de la distance des objets, ce qui est crucial pour des applications liées à l’inspection industrielle.
icons-spot-vr-04
  • Élimination des distractions : En portant un casque VR, les utilisateurs sont isolés des distractions de l’environnement réel, ce qui peut améliorer la concentration et l’engagement dans l’expérience.
  • Engagement Accru : L’immersion et l’interaction naturelle en VR tendent à maintenir l’attention des utilisateurs plus efficacement que les dispositifs traditionnels comme les tablettes.

Efficacité & Précision

Meilleure Collaboration

accuracy
  • Visualisation de données en temps réel : L’AR-VR peut superposer des données, des métriques et des informations en temps réel directement sur l’environnement physique, aidant les opérateurs à résoudre rapidement les problèmes.
  • Précision dans l’inspection : L’AR-VR peut fournir des mesures extrêmement précises et identifier des défauts ou des problèmes qui pourraient être manqués via d’autres dispositifs.
icons-spot-vr-03
  • Coopération améliorée : l’AR-VR avec Spot permet aux opérateurs à distance de guider le personnel sur site ou de contrôler les robots en temps réel, facilitant ainsi une meilleure prise de décision et une résolution des problèmes plus rapide.
  • Formation et simulation : peut être utilisée à des fins de formation, permettant aux opérateurs de simuler des inspections dans un environnement virtuel avant de les exécuter dans le monde réel.

Application Spot AR-VR en résumé

Un large choix de fonctionnalités

navigate spot robot vr
thermal inspection with spot vr
ask openAI
ar-vr interface

Navigation
& Vision 360

Contrôle du robot Spot :

  • Contrôle des mouvements et de l’orientation du robot (Moteurs On/Off, assis/debout…)
  • Gestion de la vitesse du robot

Contrôle de la caméra PTZ

  • Orientation en temps réel de la caméra PTZ via les contrôleurs ou seulement la position du casque (orientation du visage)
  • Zoom +/-
  • Activation des LEDS
  • Switch du capteur PTZ au capteur infrarouge

Données visuelles
& thermiques

Capture des Points d’Intérêts (PoI) :

  • Prenez des photos de vos points d’inspection avec la PTZ ou la caméra thermique
  • Visualisez les PoI collectés dans une galerie dédiée
  • Laissez des commentaires vocaux via le casque (Speech To Text) et changez la typologie visuelle
  • POI en réalité augmentée et géolocalisés

Avalyse d’image par OpenAI

Utilisez OpenAI (GPT-4):

  • Demandez à OpenAI d’analyser l’image capturée par la PTZ avec vos indications vocales (input) -> permet de générer des PoI (Point of Interest)
  • Fonctionnalité basée sur des solutions de deep learning & Levatas

Interaction
Intuitive

Interface facile d’utilisation :

  • Utilisable sans les manettes, avec uniquement vos mains pour un usage encore plus intuitif (Dans ce cas, UX avec reconnaissance de gestes de la main et des doigts)
  • Cockpit virtuel (Interface Homme-Machine) intuitif et interactif avec les manettes ou les mains virtuelles
  • Fonctionnalités de klaxon et de mégaphone

Configuration Technique

SPOT + CAM+IR + DOCK

SPOT CONFIGURATION VR

CAMÉRA RICOH THETA Z1

ricoh theta 360

CASQUE META QUEST 3

meta quest 3

Comment fonctionne l’application ?

spot robot virtual reality

Quels pré-requis techniques ?

Plateforme robotique

Le robot Spot

Le robot d’inspection le plus performant au monde. Plusieurs options d’équipements additionnels sont disponibles :

  • Combo CAM+IR + Ricoh Theta360 Z1 : Cette configuration est recommandée pour un usage optimal, offrant un double flux video: Bulle 360° + flux de la PTZ en mode PIP (Picture In Picture)
  • Avec la CAM+IR seulement : Permet de visualiser la bulle 360° issue de la CAM+IR, mais n’offre pas le contrôle de la caméra PTZ.
  • Avec Theta360 seulement : Permet de visualiser la bulle 360° issue de la Theta360, mais n’offre pas d’un second flux additionnel en mode PIP (caméra PTZ de la CAM+IR)
Autres robots
  • Notre application VR, peut fonctionner sur n’importe quel robot équipé de la Ricoh Theta360 Z1 embarquée. Le control dudit robot est possible moyennant une integration logicielle.

Casque Réalité Virtuelle

MetaQuest 3 & MetaQuest Pro:
  • Ces casques sont compatibles avec notre système, offrant un usage en tout autonomie et sans nécessité de disposer d’un ordinateur additionnel
  • Nous avons développé notre propre SDK en C# pour Spot afin de pouvoir contrôler Spot depuis un casque de réalité virtuelle Meta Quest

Caméra 360°

Ricoh Theta360 :
  • Utiliser cette caméra permet de bénéficier d’un flux 4K pour la bulle 360°, tout en bénéficiant d’un double flux en mode PIP de la caméra PTZ issue de l’équipement CAM+IR, si celle-ci est installée sur Spot.

Connexion Internet

Non requis :
  • Pour une utilisation basique, le robot Spot, la caméra Theta360 et le casque VR doivent simplement être connectés sur le même réseau.
Requis :
  • Une connexion internet est nécessaire pour bénéficier des modules d’OpenAI permettant l’analyse par vision, ainsi que pour les fonctions de reconnaissance automatique de la parole (ASR) ou de synthèse vocale (TTS).

Performances & Qualité

Latence Casque/Robot :
  • La latence du flux vidéo est inférieure à 100ms, garantissant une expérience fluide.
Qualité des flux:
  • Theta360: Le flux vidéo est transmis en 4K maximum (3840 x 1920) à 30 images par seconde, offrant une qualité d’image élevée.
  • PTZ CAM+IR: Le flux vidéo est transmis en 2K maximum (1920 x 960) à 30 images par seconde.

Pour une qualité optimale, nous conseillons de disposer d’une bande passant à minima de 60 Mbps