• Proiectul constă intr-o mănușă cu senzori capabilă să transforme gesturile mâinii în text și în vorbire.
• Scopul acestui proiect este sa faciliteze legatura dintre comunicarea verbală si non-verbală.
• Mulți oameni nu pot vorbi și folosesc adesea limbajul semnelor pentru a comunica cu ceilalți, însă nu toată lumea cunoaște limbajul semnelor.
• Această mănușă poate fi purtată de persoanele care nu pot vorbi și le permită sa comunice cu restul lumii, doborând această barieră invizibilă.

Funcționează prin recunoașterea gesturilor făcute manual cu ajutorul senzorilor flexi plasați pe degete: senzorul flex își variază rezistența în funcție de cât de mult este îndoit un deget. Rezistența este detectată de Arduino și pe baza valorii a fiecărui senzor, se recunoaște litera indicată. Atât senzorii, cât și microcontrollerul vor fi montați peste o mănușă normală pentru a fi cât mai ușor de folosit. Pentru început, proiectul își propune înțelegerea alfabetului limbajului semnelor american( ASL:https://en.wikipedia.org/wiki/American_Sign_Language). Pentru unele litere, vom avea nevoie si de un accelerometru pentru a determina miscarea mainii.

Lista piese:

• Arduino Uno, bazat pe ATmega328P
• Senzori flex de 5.5 cm
• Accelerometru ADXL335
• Breadbord
• Fire

• Codul începe prin includerea bibliotecii SoftwareSerial.
• Definește pini analogici pentru cei cinci senzori de flexiune (câte unul pentru fiecare deget) și pentru accelerometru.
• În funcția setup(), fiecare senzor de flexiune citește valorile inițiale pentru a stabili intervalele minime și maxime ale senzorului în scop de calibrare.
• Valorile restricționate sunt apoi mapate la un unghi corespunzător (0 până la 90 de grade), reprezentând îndoirea fiecărui deget.
• Sunt obținute citirile accelerometrului pentru axele x și y pentru a determina orientarea mâinii (orizontală, verticală sau în echilibru).
• Pe baza unghiurilor degetelor și a orientării mâinii, sunt verificate condiții specifice pentru a identifica caracterele ASL.
• Fiecare condiție corespunde unui gest unic ASL. Când un gest este recunoscut, litera corespunzătoare este afișată pe monitorul serial.

   Implementarea poate fi gasita aici: https://drive.google.com/file/d/1kj2yCCvkKIrVX1yWUBFASoIVH_99-tg0/view?usp=drive_link

Mănușa dezvoltată în acest proiect a demonstrat capacitatea de a cuantifica îndoirea fiecărui deget și de a detecta orientarea și mișcarea rotațională a mâinii. Aceste funcționalități sunt esențiale pentru recunoașterea semnelor limbajului american al semnelor (ASL), permițând o reprezentare precisă a pozițiilor și mișcărilor degetelor și mâinii.

Fiecare dintre cei cinci senzori flexi (Flex-Sensors) a fost calibrat pentru a măsura unghiurile de îndoire a degetelor de la 0 la 90 de grade. Acest interval a permis interpretarea corectă a diferitelor poziții ale degetelor necesare pentru formarea literelor din ASL. Accelerometrul și giroscopul MPU-6050 montat pe dosul mâinii au furnizat date esențiale despre orientarea și mișcările rotaționale ale mâinii.

Codul implementat pe Arduino Nano a fost capabil să interpreteze combinațiile de unghiuri ale degetelor pentru a reprezenta literele ASL. Fiecare literă a fost definită printr-o combinație specifică de unghiuri, permițând astfel recunoașterea automată și corectă a literelor formate de utilizator.

Proiectul mănușii senzoriale a demonstrat cu succes cum tehnologia poate fi utilizată pentru a facilita comunicarea non-verbală prin recunoașterea precisă a gesturilor ASL. Integrarea senzorilor flexi și a accelerometrului, împreună cu prelucrarea eficientă a datelor printr-un microcontroler Arduino Nano, a permis dezvoltarea unui sistem funcțional și eficient. Acesta reprezintă un pas important către dispozitive portabile de asistență și comunicare pentru persoanele cu deficiențe de auz și vorbire.

• Am montat cei cinci senzori flexi pe fiecare deget al mănușii conform diagramelor și instrucțiunilor.
• Fiecare senzor a fost conectat la câte un pin analogic pe Arduino Nano, împreună cu o rezistență de 10kΩ pentru măsurarea variațiilor de rezistență.
• Am montat accelerometrul MPU-6050 pe dosul mănușii pentru a monitoriza orientarea și mișcarea rotațională a mâinii.
• Inițial, unul dintre senzorii flexi nu a funcționat corect. După verificarea conexiunilor, s-a constatat că era un contact imperfect care a fost rezolvat prin re-sudare.
• La lipirea firelor, am stricat din greșeală conexiunile la doi senzori diferiți, fiind nevoită să mai comand încă doi.

https://www.brightsignglove.com/

https://newsroom.ucla.edu/releases/glove-translates-sign-language-to-speech

Export to PDF