Table of Contents

Talking Fish

Introducere

Temă

- o boxa cu bluetooth care pare ca vorbeste.

Ce face?

Dupa conectarea la bluetooth a unui dispozitiv, sistemul va reda audioul de la dispozitivul conectat. In momentul in care recunoastem voce umana vom controla jucaria, “big mouth billy basss” in asa fel incat sa para ca vorbeste si se va intoarce si cu capul spre noi.

Ideea de la care ați pornit

Am vazut pe internet o astfel de jucarie care vorbea ca alex.

De ce credeţi că este util pentru alţii şi pentru voi

Este un element de decor foarte interesant si simultan si o boxa portabila.

Descriere generală

In realizarea proiectului avem ca scop obtinerea unei jucarii cu bluetooth la care sa putem pune diferite sunete de pe telefon, iar in momentul in care se recunoaste voce umana, jucaria sa faca lip sync pe acea voce.

Schema Block

Hardware Design

Lista de piese:

  1. arduino uno
  2. modul de bluetooth
  3. amplificator audio
  4. difuzoare
  5. jack splitter
  6. cablue jack
  7. punte h dubla
  8. connector micro usb
  9. big mouth billy bass

Descrie succinta a hardware-ului

Hardware-ul este modularizat in doua componente separate:

1. Un modul de bluetooth care trimite semnalul primit la un amplificator de semnal si in speakere
2. Un modul care se ocupa cu preluarea rezultatelor preluate din analiza sunetului si coordoneaza miscarile pestelui tinand cont de acestea.

Trebuie adaugat ca cele doua module vor avea ca intermediar un raspberry pi sau un calculator pe care se va realiza partea de inteligenta artificiala si trimiterea rezultatelor la arduino.

Software Design

Medii de dezvoltare

Pycharm: pentru partea de inteligenta artificiala si trimiterea datelor ArduinoIDE: pentru programarea placutei arduino

Librarii si surese 3-d party

Pe partea de python ca librarii avem:

1. serial (comunicarea cu arduino) 
2. pvcobra (Voice Activity Detection)
3. pvrecorder (Preluarea informatiilor audio de input)

Rezultate Obţinute

Un videoclip in care se vede funtionalitatea proiectului poate fi gasit la urmatorul link: https://drive.google.com/file/d/1WJ4yYaA0GEbyEYog8Qqxh47_aUt53wZy/view?usp=sharing

Concluzii

In concluzie proiectul are comportamentul dorit cu cateva probleme:

  1. Sistemul audio are destul de mult zgomot de fundal
  2. Modelul de ai nu funtioneaza bine pe vocile din melodii
  3. Din cauza modelului de ai nu avem cum sa facem lip sink perfect pe silabe.

Download

O arhivă (sau mai multe dacă este cazul) cu fişierele obţinute în urma realizării proiectului: surse, scheme, etc. Un fişier README, un ChangeLog, un script de compilare şi copiere automată pe uC crează întotdeauna o impresie bună ;-).

Fişierele se încarcă pe wiki folosind facilitatea Add Images or other files. Namespace-ul în care se încarcă fişierele este de tipul :pm:prj20??:c? sau :pm:prj20??:c?:nume_student (dacă este cazul). Exemplu: Dumitru Alin, 331CC → :pm:prj2009:cc:dumitru_alin.

Jurnal

Puteți avea și o secțiune de jurnal în care să poată urmări asistentul de proiect progresul proiectului.

Bibliografie/Resurse

Export to PDF