Ανάπτυξη συστήματος απτικού γαντιού – ρομποτικού χεριού για μίμηση των κινήσεων του ανθρώπινου χεριού μέσω απτικών και οπτικών αισθητήρων

Abstract

Στην παρούσα διπλωματική εργασία, μελετήσαμε τον έλεγχο ενός ρομποτικού χεριού μέσω ενός απτικού γαντιού με αισθητήρες κάμψης. Μελετήθηκε επίσης, ο ασύρματος τρόπος μετάδοσης των σημάτων των αισθητήρων κάμψης, που τοποθετήθηκαν σε κάθε ένα από τα 5 δάχτυλα του γαντιού μέσω Bluetooth επικοινωνίας. Παράλληλα, θα πρέπει να ενημερώνεται ο χρήστης με οπτική ένδειξη εάν έχει διακοπεί ή όχι η επικοινωνία μεταξύ του γαντιού και της βάσης πάνω στην οποία βρίσκεται το ρομποτικό χέρι. Επιπροσθέτως, μελετήσαμε την μίμηση των κινήσεων ενός ανθρώπινου χεριού μέσω οπτικού μέσου (κάμερας). Με τη χρήση ενός Raspberry Pi που εκτελεί ένα python script και με τη βοήθεια της βιβλιοθήκης OpenCV, ανιχνεύουμε το χέρι, πόσα δάχτυλα εμφανίζονται εντός της κάμερας, καθώς και ποια είναι αυτά μέσα από 13 στο σύνολο περιπτώσεις. Στη συνέχεια, στέλνονται οι κατάλληλες εντολές σε έναν μικροελεγκτή Arduino ο οποίος κινεί τα δάχτυλα του ρομποτικού χεριού (μέσω του PCA9685 servo driver) με τη χρήση σειριακού πρωτοκόλλου επικοινωνίας. Η επιλογή μεταξύ του πρώτου και του δεύτερου τρόπου λειτουργίας γίνεται μέσω ενός επιλογικού διακόπτη "0-1-2" όπου στη θέση 0 το ρομποτικό χέρι είναι κλειστό, στην θέση 1 εκτελεί τον έλεγχο μέσω του γαντιού, ενώ στη θέση 2 εκτελεί τον έλεγχο μέσω κάμερας. Στα πλαίσια μελέτης των 2 ανωτέρω τρόπων ελέγχου του ρομποτικού χεριού, κατασκευάσαμε μια φορητή βάση όπου εντός της περιέχει το ρομποτικό χέρι, οθόνη LCD για απεικόνιση, κάμερα, μικροελεγκτής Arduino, Raspberry Pi, ΡCΑ9685 servo driver, Bluetooth module, τροφοδοτικά καθώς και άλλα επιμέρους υλικά.

In the current thesis, we studied the control of a robotic hand through the usage of a custom built haptic glove with flex sensors. We also studied the wireless way of transmitting the flex sensor signals that were put in each of the 5 fingers of the custom built glove. In addition, the user should be informed with an optical indication, if the wireless communication between the glove and the base on top of which, the robotic hand is placed, is interrupted or not. Moreover, we studied the imitation of the movements of a human hand with the use of a camera. A Raspberry Pi that "runs" a python script together with the help of the OpenCV library, detects the hand, counts how many fingers are displayed in front of the camera and calculates which one of the fingers are, from a total of 13 cases. Then, the suitable commands are sent to an Arduino microcontroller who moves the robotic hands fingers (through a PCA9685 servo driver) with the use of serial communication protocol. The choice between the first and second mode of operation is done by a "0-1-2" rotary switch, that in the 0 position the robotic hand is closed, in position 1 the glove control mode is chosen and in position 2 the chosen mode is the camera control. Within the study of the 2 control modes of the robotic hand mentioned, we built a base inside in which are placed the robotic hand, an LCD screen for display purposes, a camera, an Arduino microcontroller, a Raspberry Pi, a PCA9685 servo driver, a Bluetooth module, power supplies and other individual materials.