Se va construi o mini rampă de hârtie pe care vor fi plasate cerealele care vor fi sortate în două categorii. Rampa include la baza ei un loc în care încape o cereală care va urma să fie sortată. Servomotorul va fi inclus în structura rampei, iar amplasarea ei se va face în imediata apropiere a camerei video a laptop-ului pentru înregistrarea input-ului video. Servomotorul va fi în trei stări:

1) starea în care se mișcă în stânga și în dreapta astfel încât să cauzeze o mică alunecare a cerealelor de pe rampă până când o cereală ajunge să fie în locul de unde va fi aruncată fie într-un bol, fie în celălalt

2) stare de repaus, cereala se află în locul de unde va fi aruncată în bolul categoriei din care face parte

3) stare de catapultare: servomotorul se înclină în direcția în care se află bolul cerealei curente de sortat

LCD-ul va fi responsabil de afișarea stării în care se află ansamblul (practic servomotorul).

Listă piese:

• Arduino Uno R3 ATmega328P
• Motor Servo SG90 9g
• Ecran LCD 1602 IIC/I2C
• Fire de legătură

Întrucât în momentul în care am încercat să testez simultan servomotorul și lcd-ul i2c (individual funcționa fiecare) arduino-ul uno a părut că și-a dat duhul pentru câteva ore, m-am speriat, așa că am ales să folosesc un alt laborator în loc de i2c pentru minimul de 3 laboratoare, și anume întreruperi. Astfel acum folosesc laboratorul de comunicare serială, laboratorul de pwm pentru control servomotor, și laboratorul de întreruperi.

Descriere implementare cod arduino: (https://github.com/robpan38/cereal-sorter/blob/main/arduino/CaineleManancaSalam/CaineleManancaSalam.ino)

• folosesc 3 laboratoare: comunicare serială, pwm, întreruperi
• în partea de setup: configurez comunicarea serială la 9600 baud rate, activez regiștrii necesari folosirii întreruperii pe pinul PCINT18, link-uiesc pinul 9 PWM de servomotor
• in partea de loop: primesc un întreg prin comunicare serială de la modulul python care rulează modelul (salvat în variabilă globală cereal_type), scriu HIGH pe pin-ul responsabil de întreruperea PCINT, și apoi flow-ul execuției se mută în întrerupere unde se verifică ce valoare are cereal_type, mutându-se servomotorul în direcția corespunzătoare

Descriere implementare cod python: (https://github.com/robpan38/cereal-sorter/blob/main/model/cereal_app.py)

• stabilire comunicare cu arduino la baud rate 9600
• încărcare a modelului generat folosind TeachableMachine de la google
• deschidere cameră pentru capturi de imagine
• inițializare un array de dimensiune 10 unde voi stoca 1 în urmă unui guess cu probabilitate mare pentru o cereală cu cacao, și 0 în urmă unui guess cu probabilitate mare pentru o cereală cu vanilie
• în momentul în care avem 10 1-uri consecutive (10 predicții consecutive pentru o cereală cu cacao) trimitem o rafală de 100 de 1-uri serial către arduino pentru a semnala direcția în care trebuie să se întoarcă servomotorul; similar pentru cazul cu 10 0-uri consecutive
• pentru fiecare imagine capturată de camera video, apelăm funcția de predicție a modelului care va încerca să clasifice cereală din dreptul camerei video a laptopului într-o categorie, odată terminată această operație punem în results un 1 sau un 0 în funcție de rezultatul predictiei
• când results ajunge să aibă 10 elemente, el este trunchiat din nou la 0 elemente

Consider că proiectul a fost o experiență de învățare importantă pentru că mi-a dat ocazia să văd cum pot îmbină concret partea de hardware și partea de software. M-a scos cu siguranță din zona de confort, nu doar pentru că am folosit lucruri cu care nu am mai interacționat până acum, ci și din perspectiva deadline-urilor pe care a trebuit să le respect, fiind un bun exercițiu pentru viitoarea mea carieră de programator.

Mențiune specială: mulțumesc mamei mele că m-a ajutat să lipesc cu scoci servomotorul de suportul lui de carton, mulțumesc arduino uno că nu a crăpat definitiv când credeam că l-am pierdut în cazul testului nereușit cu lcd-ul i2c, și mulțumesc și domnului Adrian Mocanu pentru instruirea pe care ne-a dat-o în cadrul laboratorului.

• 5/5/2023 - 2:46PM: realizare documentație inițială + comandă piese electronice
• 14/5/2023 - 6:08PM: lipit carton + atașare servomotor + testare servomotor + testare comunicare serială dintre un modul python și arduino (vezi secțiunea media pentru fotografii + video)
• 14/5/2023 - 7:52PM: am folosit https://teachablemachine.withgoogle.com/ pentru a-mi crea un model preantrenat care să detecteze dacă zâmbesc sau dacă am gură deschisă fiindcă am vrut să testez cum se integrează rularea modelului cu comunicarea serială, astfel servomotorul merge către stânga când am gură deschisă, iar dacă zâmbesc acesta o ia către dreapta + demo în secțiunea media
• 15/5/2023 - 8:27pm: am actualizat codul de arduino că să handle-uiesc input-ul serial folosind întreruperi și acum am 3 laburi folosite în proiect; am adăugat un model preantrenat pe cereale cu lapte nesquick mix și am făcut un mic demo că să arăt cum se prezintă dansul (check github for the new commit, check media for the new demo)
• 26/5/2023 - 1:21pm: am adăugat o schemă hardware orientativă (nu reprezintă complet realitatea pentru că mai am suportul de carton diy), am adăugat link-uri specifice către modulele de cod folosite în rezolvarea proiectului și am documentat funcționalitatea generală a fiecăruia, am completat secțiunea de rezultate cu link către demo, am completat secțiunea de concluzii, și am adăugat pe drive-ul de media un remix al demo-ului care îmi va câștigă punctele pentru fun details de la pm fair; god bless jesus christ să iau nota mare

• media: https://drive.google.com/drive/folders/1XYHas2YILOZhZ9IY-aBplDBb3Iek7Eyg?usp=sharing
• github: https://github.com/robpan38/cereal-sorter
• inspirație: https://experiments.withgoogle.com/tiny-sorter/view

Export to PDF