Detecție și identificare de obiecte folosind ESP32-CAM

Proiectul folosește modulul ESP32-CAM pentru a construi un sistem de recunoaștere a imaginilor, capabil să identifice diverse obiecte în timp real. Modulul camera captează imaginea, iar un model de inteligență artificială antrenat pe platforma Edge Impulse o analizează și afișează rezultatul, adică obiectul detectat împreună cu procentul de încredere pe un ecran OLED. Pe lângă afișaj, am adăugat și un buzzer care emite sunete diferite în funcție de obiectul recunoscut, oferind un feedback audio imediat.

Scopul proiectului este să demonstreze că inteligența artificială nu are nevoie de servere puternice pentru a funcționa. Prin edge computing, algoritmii de IA rulează direct pe dispozitive mici și low-power, cum ar fi microcontrollerele, procesând datele local, fără a le trimite în cloud. Astfel, sistemul este rapid, independent de internet și ieftin.

Sunt pasionată de inteligența artificială și am vrut să construiesc ceva care să combine IA cu microcontrollerele. Provocarea principală este atât găsirea celui mai bun model care să clasifice corect obiectele, cât și optimizarea acestuia pentru a încăpea în memoria limitată a ESP32-CAM.

Proiectul are aplicații practice variate. Într-un supermarket, de exemplu, poate identifica automat produsul pus pe cântar, eliminând nevoia de a căuta manual codul acestuia și accelerând procesul pentru toți clienții. Pentru persoanele nevăzătoare, este deosebit de util deoarece nu mai trebuie să caute un cod pe un ecran pe care nu îl pot vedea. Mai departe, sistemul poate fi adaptat pentru inventariere și sortare automată în depozite sau clasificarea fructelor și legumelor în agricultură.

Module hardware:

• ESP32-CAM — microcontrollerul principal al proiectului. Captează imaginea prin camera integrată, rulează modelul AI și controlează toate celelalte componente.
• OLED Display (SSD1306) — ecran de 0.96” conectat prin I2C. Primește de la ESP32-CAM numele obiectului detectat și procentul de încredere și le afișează în timp real.
• Buzzer — conectat la un pin GPIO al ESP32-CAM. Primește semnal de la ESP32-CAM și emite un sunet diferit în funcție de obiectul identificat.
• FTDI Programmer — conectat prin UART la ESP32-CAM. Are dublu rol: încarcă codul pe microcontroller și îl alimentează cu 5V prin USB de la PC.

Module software:

• Edge Impulse — platforma online unde este antrenat modelul de recunoaștere a obiectelor. Datele de antrenare sunt imagini capturate chiar cu ESP32-CAM, iar modelul rezultat este exportat ca librărie Arduino.
• Modelul AI — exportat din Edge Impulse și instalat direct pe ESP32-CAM ca librărie. Analizează fiecare cadru capturat de cameră și returnează obiectul detectat împreună cu scorul de încredere.
• Arduino IDE — mediul de programare folosit pentru a scrie codul care leagă toate componentele: camera, modelul AI, ecranul OLED și buzzerul.

Listă de piese:

• ESP32-CAM
• USB to Serial Converter
• Breadboard
• 0.96” OLED Display
• Buzzer
• Fire de legătură
• Obiecte pentru antrenare

Export to PDF