Bras Robot Braved

Ceci est mon projet de fin de 4ème année d'école d'ingénieur. L'objectif ici est de contrôler le bras robot à partir de son propre bras et d'obtenir un retour visuel dans un casque VR afin de superposer le bras robot au bras de l'humain qui l'utilise. Ce projet est en cours de progression et sera donc mis à jour régulièrement. Le bras robot ici présent de la marque NIRYO nous permet de faire des tests et sera peut-être remplacé à terme par un autre bras. Il est intéressant, car il possède des articulations semblables à celles d'un humain.

Le programme d'intelligence artificielle produit via un programme python se base sur l'algorithme "pose" de "mediapipe" et permet de récupérer une représente simplifiée de squelette d'un humain qui passe devant une caméra. En faisant tourner le programme avec deux points de vue du bras de l'utilisateur. Il est alors possible de déterminer précisément la position du bras de l'utilisateur et de le répliquer sur le bras robot. L'avantage de ce procédé et qu'il permet à l'utilisateur d'être libre de ces mouvements et retire la difficulté de production d'une armature pour bras.

Le casque VR quant à lui permet de visualiser le bras quelque soit la distance à laquelle il se trouve en passant par le réseau internet et des liaisons UDP bi-directionnel entre le robot et un raspberry qui s'occupe de transmettre la vidéo au casque tandis qu'il envoi les coordonnées du bras de l'utilisateur qu'il film à l'autre bout du monde.