PiVoice ESP Assistant este un asistent vocal AI fizic, gandit ca un dispozitiv de birou. Utilizatorul apasa un buton, pune o intrebare cu voce, iar sistemul ii raspunde tot vocal.

• Ce face: asculta o comanda audio, o trimite catre un model AI online si reda vocal raspunsul prin difuzor.
• Scopul: un prototip functional de asistent vocal care imbina un microcontroler cu un single-board computer.
• Ideea de la care am pornit: voiam un dispozitiv simplu, fara tastatura sau monitor, care sa raspunda rapid la intrebari. M-am decis pentru buton fizic in loc de wake-word, ca sa nu complic prima versiune.
• De ce este util: acopera mai multe zone interesante pentru un proiect de PM, microcontroler real (ESP32-S3), sistem embedded Linux (Raspberry Pi 5), placa audio dedicata (ReSpeaker 2-Mics Pi HAT), comunicatie intre dispozitive, API-uri AI, speech-to-text si text-to-speech. Pentru mine este un proiect din care invat partea hardware si partea software in acelasi loc, iar pentru alti studenti poate fi un punct de start pentru proiecte similare.

Sistemul are doua zone:

• Zona de microcontroler, pe ESP32-S3, care se ocupa de interfata fizica: buton de start si LED-uri de stare.
• Zona de procesare audio si AI, pe Raspberry Pi 5 cu ReSpeaker 2-Mics Pi HAT, care se ocupa de captura audio, comunicatia cu modelul AI si redarea raspunsului.

ESP32-S3 nu proceseaza direct audio in prima varianta. ReSpeaker 2-Mics Pi HAT este facut pentru Raspberry Pi, deci e mai simplu sa lasam captura audio pe Pi. ESP32-S3 trimite catre Raspberry Pi un semnal de start si primeste inapoi starea curenta a sistemului ca sa aprinda LED-urile corespunzatoare.

Pe scurt, fluxul este: utilizatorul apasa butonul de pe ESP32-S3, ESP32-S3 trimite “START_LISTEN” catre Raspberry Pi prin USB serial, Raspberry Pi inregistreaza audio de pe ReSpeaker, trimite intrebarea catre serviciul AI, primeste raspunsul, il redea prin difuzor si trimite inapoi starea catre ESP32-S3 pentru LED-uri.

1. Utilizatorul apasa butonul conectat la ESP32-S3.
2. ESP32-S3 trimite mesajul START_LISTEN catre Raspberry Pi 5.
3. Raspberry Pi trece in starea LISTENING si inregistreaza audio prin ReSpeaker.
4. Fisierul audio este salvat temporar pe Pi.
5. Audio-ul este transcris in text (speech-to-text).
6. Textul este trimis catre un model AI.
7. Raspunsul text este transformat in voce (text-to-speech).
8. Raspberry Pi redea raspunsul prin iesirea audio.
9. Raspberry Pi trimite catre ESP32-S3 starea finala (IDLE sau ERROR).
10. ESP32-S3 actualizeaza LED-urile.

Raspberry Pi 5 - ReSpeaker HAT. ReSpeaker se monteaza direct pe headerul GPIO de 40 pini. Audio se transfera prin I2S, configurarea codec-ului se face prin I2C si este gestionata de driverul din Linux.

ESP32-S3 - Raspberry Pi 5. In prima versiune folosesc USB serial. ESP32-S3 se conecteaza cu un cablu USB la unul din porturile Pi-ului si este vazut ca /dev/ttyACM0 sau /dev/ttyUSB0. Avantaj: nu trebuie adaptare de nivel logic, iar ESP-ul este si alimentat prin acelasi cablu.

Buton si LED-uri pe ESP32-S3:

Secventa de declansare vocala (sequence diagram) si diagrama de stari a sistemului sunt mai jos.

Starile principale ale sistemului: IDLE, LISTENING, PROCESSING, SPEAKING, ERROR. Tranzitiile sunt declansate de butonul fizic si de mesajele primite de la modulele software (audio gata, raspuns primit, redare terminata, eroare).

Aplicatia principala este in Python. Asculta comenzile venite de la ESP32-S3 pe portul serial, controleaza fluxul audio si comunica cu serviciul AI.

Module software propuse:

Biblioteci Python:

Firmware scris in Arduino IDE. Functiile principale:

• initializeaza GPIO-urile pentru buton si LED-uri;
• detecteaza apasarea butonului si trimite START_LISTEN pe serial;
• citeste mesaje de la Raspberry Pi (IDLE, LISTENING, PROCESSING, SPEAKING, ERROR);
• aprinde LED-urile in functie de stare.

Protocol text simplu peste USB serial, un mesaj pe linie.

De la ESP32-S3 catre Raspberry Pi:

De la Raspberry Pi catre ESP32-S3:

Exemplu de schimb:

ESP32-S3 -> Pi: START_LISTEN
Pi -> ESP32-S3: LISTENING
Pi -> ESP32-S3: PROCESSING
Pi -> ESP32-S3: SPEAKING
Pi -> ESP32-S3: IDLE

initializare_audio()
initializare_serial()
trimite_catre_esp32("IDLE")
 
while True:
    comanda = citeste_serial()
    if comanda == "START_LISTEN":
        trimite_catre_esp32("LISTENING")
        inregistreaza_audio("cmd.wav")
        trimite_catre_esp32("PROCESSING")
        text = transcrie_audio("cmd.wav")
        raspuns = trimite_catre_ai(text)
        trimite_catre_esp32("SPEAKING")
        genereaza_audio(raspuns, "reply.mp3")
        reda_audio("reply.mp3")
        trimite_catre_esp32("IDLE")

void setup() {
    Serial.begin(115200);
    pinMode(BUTTON_PIN, INPUT_PULLUP);
    pinMode(LED_GREEN, OUTPUT);
    pinMode(LED_BLUE, OUTPUT);
    pinMode(LED_RED, OUTPUT);
    setIdle();
}
 
void loop() {
    if (buton_apasat()) {
        Serial.println("START_LISTEN");
    }
    if (Serial.available()) {
        String mesaj = Serial.readStringUntil('\n');
        actualizeaza_leduri(mesaj);
    }
}

• Raspberry Pi 5: https://www.raspberrypi.com/products/raspberry-pi-5/
• Seeed Studio ReSpeaker 2-Mics Pi HAT: https://wiki.seeedstudio.com/ReSpeaker_2_Mics_Pi_HAT/
• ReSpeaker 2-Mics Pi HAT V2: https://wiki.seeedstudio.com/respeaker_2_mics_pi_hat_raspberry_v2/
• Espressif ESP32-S3: https://docs.espressif.com/projects/esp-idf/en/stable/esp32s3/
• ESP32-S3 I2S: https://docs.espressif.com/projects/esp-idf/en/stable/esp32s3/api-reference/peripherals/i2s.html

• Raspberry Pi OS: https://www.raspberrypi.com/documentation/computers/os.html
• Python 3: https://docs.python.org/3/
• pyserial: https://pyserial.readthedocs.io/
• sounddevice: https://python-sounddevice.readthedocs.io/
• OpenAI API (audio): https://platform.openai.com/docs/guides/audio
• Whisper: https://github.com/openai/whisper
• Piper TTS: https://github.com/rhasspy/piper

Export to PDF