Scopul proiectului este acela de a controla un brat robotic prin intermediul unor gesturi realiate de utilizator.

Bratul este una dintre cele mai utile si versatile unelte pe care le are omul la dispozitie, consider ca ideea de a controla un “brat” robotic de la distanta prin intermediul gesturilor poate avea o multitudine de aplicatii in viata reala, de la o “mana” de ajutor in plus pentru task-urile zilnice, la folosirea acestui brat in locuri greu accesibile, in domeniul medical, etc.

In functie de gestul realizat de utilizator si inregistrat prin intermediul camerei web, unul dintre cele 3 servomotoare se va roti astfel incat sa realizeze miscarea bratului robotic. Va exista un servomotor pentru fiecare directie din spatiul 3D si acestea vor putea fi rotite la 90 de grade intr-o parte si in cealalta fata de pozitia initiala.

O miscare stanga - dreapta a mainii, de exemplu, va fi inregistrata de camera, va fi prelucrata cu ajutorul librariei Mediapipe astfel incat sa rezulte coordonatele la care trebuie sa ajunga bratul si vor fi transmise prin interfata seriala catre Arduino, acesta mutand cursorul servomotorului responsabil pentru directia respectiva.

• Arduino UNO
• Breadboard
• 3x Servomotoare
• Ecran LCD 16×2 I2C
• Camera Web
• Fire de legatura

Mediu de dezvoltare: Arduino IDE

Biblioteci externe:

• LiquidCrystal_I2C.h
• Servo.h

Programul va citi mesajele primite prin interfata seriala, in urma rularii programului scris in Python. Un mesaj contine unghiurile celor 3 servomotoare separate prin spatiu. Dupa parsarea mesajului, va roti servomotoarele corespunzator, miscand componentele bratului de care acestea sunt lipite. Se vor afisa pe LCD coordonatele fiecarui servomotor.

Mediu de dezvoltare: Pycharm

Module externe:

• mediapipe - detectarea mainii
• cv2 - inregistrarea si afisarea imaginii obtinute de la camera web
• serial - comunicarea seriala cu arduino

Cu ajutorul modulului Open Computer Vision (cv2), se vor prelua imaginile generate de camera Web, care vor fi prelucrate de programul de detectie a mainilor implementat in modulul mediapipe. In momentul in care se detecteaza o mana, programul va prelua coordonatele

Demo: https://www.youtube.com/watch?v=VnQlsDqyTok

Consider ca

Link git: https://github.com/vladandreiy/PM_Robotic_Arm

• 6.05.2022: Completare pagina wiki - Milestone 1
• 16.05.2022-18.05.2022: Implementarea codului software
• 20.05.2022-22.05.2022: Construire brat si finalizare implementare
• 22.05.2022: Completare pagina wiki - Milestone 2

• https://docs.arduino.cc/learn/electronics/servo-motors/
• https://www.makerguides.com/character-i2c-lcd-arduino-tutorial/
• https://create.arduino.cc/projecthub/ansh2919/serial-communication-between-python-and-arduino-e7cce0
• https://www.geeksforgeeks.org/opencv-python-tutorial/
• https://google.github.io/mediapipe/solutions/hands.html
• https://techtutorialsx.com/2021/04/20/python-real-time-hand-tracking/

Export to PDF