This is an old revision of the document!
GPT Multimedia Assistant
Student: Gul Farhad Ali Irinel
Grupa: 334CC
Introducere
Pentru acest proiect, am ales să folosesc un Raspberry Pi Pico W, deoarece aveam nevoie de un microcontroler care să poată utiliza informațiile obținute într-un mod practic.
Rolul unui API este să expună funcționalitatea unui sistem într-un mod organizat.
Platforma care oferă informațiile trebuie să descrie modul în care se poate comunica cu ea prin API. Comunicare cu API-urile alese în cadrul dispozitivelor se face la nivel de HTTP Requests.
Proiectul se bazează pe comunicarea cu mai multe API-uri, printre care și cel de bază - API-ul pus la dispoziție de OpenAI pentru a comunica cu ChatGPT. În momentul de față, este cea mai bună metodă de a comunica cu un AI dintr-un dispozitiv remote cu putere de procesare limitată.
Ideea de la care am pornit a fost lansarea API-ului ChatGPT de către OpenAI care a deschis orizontul și spre dispozitivele mai slabe computațional.
GPT Assistant Speaker este un dispozitiv portabil care preia comenzi din telefon, prin bluetooth și produce răspunsul vocal în 2 limbi posibile (engleză sau română, în funcție de modul selectat). Dispune de funcționalități precum: play la piese de pe youtube, vremea din orice oraș în momentul actual sau din următoarele zile, statistici locale de temperatură și umiditate. De asemenea, poate face request-uri la ChatGPT, să primească răspunsul și să-l transmită prin boxe.
Scopul acestui proiect este acela de a îndrepta atenția și spre această zonă de proiectare cu microcontrolere, zona de proiectare folosind Cloud, care are la bază API-uri.
In plus, acesta poate prelua date de la un modul ESP32 care transmite date in timp real de oriunde exista o conexiune la internet catre un server local. De la acel server local, GPTMA va prelua datele si le va procesa realizand un text mai cursiv.
Descriere generală
Schema componentelor hardware
Schema de comunicare în cloud
Hardware Design
Lista pieselor folosite:
- Raspberry Pico W
- Modul Bluetooth HC-05
- Modul MicroSD
- Senzor temperatură DHT11
- Display LCD cu ST7735
- Modul ridicator tensiune DC-DC Boost XL6009
- Amplificator audio LM385
- Jack Audio 3.5mm
- LED RGB
- Switch ON / OFF
- Buton STOP
- Joystick
- Fire de legatură
- Breadboard
- Cablaj de test
Software Design
- mediu de dezvoltare (if any) (e.g. AVR Studio, CodeVisionAVR)
- librării şi surse 3rd-party (e.g. Procyon AVRlib)
- algoritmi şi structuri pe care plănuiţi să le implementaţi
- (etapa 3) surse şi funcţii implementate
Rezultate Obţinute
Un mic demo cu cateva din functionalitatile GPTMA in faza incipienta: Prezentare GPT Multimedia Assistant
Poza cu proiectul la inceputul proiectarii:
Concluzii
Download
.
Fişierele se încarcă pe wiki folosind facilitatea Add Images or other files. Namespace-ul în care se încarcă fişierele este de tipul :pm:prj20??:c? sau :pm:prj20??:c?:nume_student (dacă este cazul). Exemplu: Dumitru Alin, 331CC → :pm:prj2009:cc:dumitru_alin.
Jurnal
Bibliografie/Resurse
