Până acum am interacționat cu sisteme embedded simple, niște ceasuri FitBit, care au fost programate folosind JavaScript.

În continuare, laboratorul își propune să vă familiarizeze cu sisteme embedded care rulează Linux, începând de la dezvoltare și configurare, până la mentenanță. Vom trata subiecte precum:

• Rularea/Compilarea de aplicații pe un sistem embedded
• Bootloadere, Kernel, Root FS, Toolchain
• Instalarea și configurarea de servicii
• Construirea unei distribuții Linux pentru sisteme embedded
• Emularea sistemelor

Sistemele Linux oferă o mulțime de avantaje dezvoltatorilor de produse, care micșorează timpul de dezvoltare, lucru care este din ce în ce mai important în zilele noastre:

• versatilitate: Sistemele Linux nu trebuie să fie single-purpose, se pot adăuga multiple funcționalități cu ușurință (chiar și în etapa de post-producție)
• codebase mare: Sistemele Linux abundă de aplicații user-space, drivere pentru o mulțime de dispozitive, suport pentru multe protocoale/sisteme de fișiere/etc.
• securitate: Sistemele care folosesc servicii comune în Linux beneficiază de același nivel de securitate ca pe un sistem desktop sau server

De-a lungul anilor Linux a devenit cel mai folosit sistem de operare pentru aplicațiile embedded. Îl puteți găsi folosit în orice:

• telefoane mobile (Android)
• router-e
• DVR, NAS
• quadcoptere
• console de jocuri
• frigidere

După cum se poate vedea, sistemele embedded diferă foarte mult în dimensuni și putere de procesare, unele dintre ele apropiindu-se chiar de puterea de procesare a unui calculator obișnuit. De asemenea, aplicațiile pe care acestea le rulează pot fi foarte variate (ex: smartphone), amestecând diferențele dintre un calculator obișnuit și un sistem embedded. Un lucru care deosebește însă sistemele embedded este modul de interacțiune cu utilizatorii, care foarte rar se face printr-un ecran și o tastatură. Lipsa unui mod tradițional de interacțiune cu utilizatorul este și ceea ce face dezvoltarea unui sistem embedded mai grea, dar și mai interesantă.

Cele mai întâlnite două metode de interacțiune cu un sistem embedded în timpul dezvoltării sunt: consola serială și conexiunea SSH. Dintre acestea, conexiunea SSH este metoda mai robustă și mai simplu de utilizat, însă ea e disponibilă doar pe sistemele care dispun de o interfață de rețea. Consola serială, însă este de obicei prezentă pe orice sistem și permite interacțiunea cu sistemul chiar și înainte ca interfața de rețea să fie disponibilă (ex: în bootloader sau înainte de ințializarea driver-ului de rețea).

Există două concepte importante folosite în dezvoltarea unui sistem embedded: target și host. Target-ul este reprezentat de sistemul embedded pe care îl dezvoltăm și la care ne conectăm (ex: RaspberryPi, Intel Galileo etc.). Host-ul este reprezentat de calculatorul pe care îl folosim pentru dezvoltare și prin care ne conectăm cu sistemul embedded. Host-ul beneficiază de obicei de o putere de procesare mult mai mare, care micșorează de exemplu timpul de compilare în comparație cu compilarea pe target.

RaspberryPi Model B

Vom lucra în principal cu RaspberryPi 3, un sistem de calcul bazat pe un procesor “System on Chip” ARM de la Broadcom. Specificațiile complete sunt:

• procesor: 64-bit quad-core ARM Cortex-A53, 1.2GHz
• 1GB RAM
• 4 porturi USB 2.0
• 1 conector Ethernet
• card microSD
• HDMI, jack audio, RCA
• Diverse alte periferice: GPIO, UART-uri, I²C, SPI, I²S

Schema perifericelor RaspberryPi

Din punct de vedere hardware, RaspberryPi este un dispozitiv simplu, care expune diferitele periferice pe care le oferă SoC-ul Broadcom. Singura excepție o reprezintă Hub-ul USB, care dublează numărul de porturi USB disponibile și atașează și un dispozitiv Ethernet la SoC-ul Broadcom.

Diagrama bloc

Diagrama block a chip-ului de USB și Ethernet

QEMU este un emulator / hipervizor, care permite rularea unui sistem de operare complet ca un simplu program în cadrul unui alt sistem. A fost dezvoltat inițial de Fabrice Bellard și este disponibil gratuit, sub o licență open source. QEMU poate rula atât pe Linux, cât și pe Windows [1] [3] [4].

Este un hypervizor, deoarece poate virtualiza componentele fizice ale unui sistem de calcul, pentru a permite rularea unui sistem de operare, numit oaspete (guest), în cadrul altui sistem de operare, numit gazdă (host). În acest mod de funcționare, atât sistemul guest, cât și sistemul host, folosesc aceeași arhitectură (ex: x86). QEMU poate folosi un modul de nucleu, KVM, pentru a accelera rularea guest-ului, atunci când există suport pentru virtualizare în hardware. În acest caz QEMU poate atinge o performanță comparabilă cu sistemul nativ, deoarece lasă mare parte din cod să se execute direct pe procesorul host. Folosind KVM sunt suportate diferite arhitecturi, printre care x86, PowerPC și S390 [1].

Este un emulator deoarece poate rula sisteme de operare și programe compilate pentru o platformă (ex: o placă ARM) pe o altă platformă (ex: un PC x86). Acest lucru este făcut prin translatarea dinamică a intrucțiunilor architecturii guest în instrucțiuni pentru arhitectura host. Ca un emulator, QEMU poate rula în două moduri [2] [4]:

• User-mode emulation, în care un executabil obișnuit (user-space), compilat pentru o arhitectură, este rulat pe o altă arhitectură. În acest mod de funcționare instrucțiunile din executabil sunt translatate în instrucțiuni ale arhitecturii host, iar argumentele apelurilor de sistem sunt convertite pentru a putea fi pasate sistemului de operare host. Sistemele de operare emulate sunt: Linux, Mac OS X și BSD. Principalele utilizări sunt cross-debugging-ul și cross-compilarea, unde rulăm un compilator nativ al arhitecturii target, pe arhitectura host.
• System emulation, în care este emulat un sistem de calcul complet. QEMU permite emularea unui număr mare de platforme, bazate pe diferite arhitecturi (ex: x86, ARM, PowerPC, MIPS, SPARC, MicroBlaze etc.), împreună cu perifericele lor. În acest mod de funcționare pot fi rulate sisteme de operare întregi, printre care Windows, Linux, Solaris, BSD și DOS.

În dezvoltarea sistemelor embedded, QEMU este folosit deoarece poate emula un sistem de calcul complet, nefiind necesar ca sistemul țintă (target) pentru care se face dezvoltarea, și sistemul host, pe care se face dezvoltarea, să folosească aceeași arhitectură. Acest lucru permite ca dezvoltarea software-ului pentru un sistem embedded să poată fi făcută în paralel cu proiectarea hardware-ului, lucru crucial pentru obținerea unui timp de dezvoltare scurt. Un alt avantaj pe care il poate avea emularea, mai ales a sistemelor low-end, este o viteză superioară a emulării pe un sistem host performant, în comparație cu sistemul target.

Cel mai simplu mod de instalare pe o distribuție Linux este de a folosi package manager-ul. În majoritatea distribuțiilor pachetul principal se numește qemu și cuprinde de obicei toate executabilele aferente diferitelor moduri de funcționare ale QEMU. Dacă se dorește doar modul de virtualizare cu KVM poate fi instalat pachetul qemu-kvm, iar dacă se dorește modul de emulare a unui sistem ARM poate fi instalat pachetul qemu-system-arm.

Dacă distribuția folosită nu oferă un pachet pentru QEMU (ex: Windows) sau pachetul oferit conține o versiune prea veche (ex: Fedora 17), se poate alege instalarea din surse. În acest caz, sursele oficiale pot fi downloadate din repository-ul de Git, iar pentru instrucțiuni de compilare se poate urmări pagina de manual.

Pentru rularea unei mașini virtuale cu KVM se folosește comanda qemu-kvm împreună cu imaginea pentru hard disk. În acest caz imaginea hard disk-ului trebuie să conțină un sistem compatibil cu arhitectura host, accelerarea oferită de KVM putând fi folosită doar dacă guest-ul și host-ul folosesc arhitecturi compatibile (ex: x86_64).

Pentru rularea în user-mode emulation poate fi folosit unul din executabilele de forma qemu-<arch> împreună cu executabilul pe care vrem să-l rulăm [5]. Bineînțeles, acest executabil trebuie să fie compatibil cu arhitectura aleasă, <arch>, iar momentan QEMU oferă suport pentru user-mode emulation doar pe Linux și BSD. Dintre cele două, suportul pentru BSD nu este însă la fel de complet ca cel pentru Linux [6]

qemu-arm -cpu <procesor> <executabil>

Pentru rularea în modul system emulation se folosește unul din executabilele de forma qemu-system-<arch> împreună cu imaginea pentru hard disk [7].

qemu-system-arm -machine <arhitectura> -cpu <procesor> -kernel <kernel_file> -append "root=/dev/sda2" -drive file=<rootfs_file>,index=0,media=disk,format=raw

În modul mașină virtuală sau system emulation QEMU simulează un întreg sistem de calcul. În lipsa unor alte argumente se folosește însă o configurație implicită de sistem, care este specifică fiecărei arhitecuri în parte. QEMU poate însă simula o gamă largă de configurații de sistem. În limbajul QEMU acestea se numesc mașini și pot fi selectate cu opțiunea -machine.

QEMU oferă însă și un control mai fin asupra configurației sistemului simulat printr-o serie de alte opțiuni, precum [8]:

• -cpu - specifică tipul de procesor care va fi emulat
• -m - specifică dimensiunea memoriei RAM
• -hda, -hdb etc. - specifică imaginea pentru primul hard disk, respectiv al doilea hard disk, ș.a.m.d
• -fda, -fdb - specifică imaginea pentru primul floppy disk, respectiv al doilea floppy disk
• -cdrom - specifică imaginea folosită de cdrom
• -serial, -parallel - specifică porturile seriale, respectiv, paralele și modul de interacțiune a acestora cu host-ul

Configurații mai avansate pot fi obținute cu opțiunile -device, -drive, -net, -soundhw, -bt care adaugă dispozitive periferice, de stocare, plăci de rețea și de sunet și, respectiv, dispozitive bluetooth [8]. Documentația oferă informații despre toate aceste opțiuni, precum și multe altele.

O altă opțiune utilă este -kernel. Aceasta permite specificarea imaginii de kernel folosite de sistemul guest direct în comanda QEMU. Astfel, QEMU va încărca kernelul dintr-un fișier aflat pe sistemul host în loc de a-l cauta în imaginea de hard disk. Acest lucru poate reduce semnificativ timpul de iterație în momentul dezvoltării unui sistem embedded, deoarece nu mai este necesară recrearea imaginii de hard disk pentru fiecare modificare a kernel-ului.

De obicei, împreună cu specificarea imaginii de kernel este nevoie să specificăm și linia de comandă a kernel-ului. Pentru aceasta se folosește opțiunea -append împreună cu string-ul care vrem să fie pasat kernel-ului la bootare.

O ultimă opțiune, folositoare mai ales pentru debugging, o reprezintă redirectarea monitorului către consolă. Acest lucru se face cu opțiunea -monitor stdio. Monitorul oferă o interfață în linie de comandă care permite un control interactiv al modului în care se face emularea.

Pentru a emula o interfață de rețea, QEMU se bazează pe două componente: device-ul prezentat guest-ului, configurat cu opțiunea -device sau -net nic, și back-end-ul care leagă acest device de host, configurat cu opțiunea -netdev. Opțiunea -device nu este limitată la a emula doar interfețe de rețea, ea putând configura orice dispozitiv suportat de către QEMU însă, unele plăci de rețea sunt suportate doar de opțiunea -net nic.

Pentru back-end, QEMU suporta mai multe moduri, printre care:

• -netdev user - user-mode, rulează în user-space și nu necesită privilegii, însă interacțiunea cu rețeaua host-ului este complicată
• -netdev tap - tap, conectează o interfață TAP a host-ului la un VLAN emulat, permițând o configurare detaliată a topologiei folosite de guest, însă configurarea este mai complicată
• -netdev bridge - bridge, conectează o interfață TAP a host-ului la un bridge, care permite interacțiunea cu rețeaua fizică a host-ului
• -netdev socket - socket, interconectează VLAN-urile a două sisteme emulate folosind TCP sau UDP.

În mod implicit QEMU emulează un sistem cu o interfață de rețea reprezentată de un device specificat de mașina selectată, în modul user-mode. Aceasta configurare implicită nu ne oferă însă toată flexibilitatea unui target real, conectat la o rețea fizică. Din acest motiv în cadrul laboratorului ne vom folosi de modul bridge.

Bridge-ul folosit de către back-end se configurează cu parametrul br=<nume bridge>, iar device-ul pentru opțiunea -net nic se specifică prin parametrul model=<device>. Legatura dintre cele două componente se face prin adăugarea parametrului netdev=<id> la device și a parametrului id=<id> la back-end. Valoarea <id> trebuie bineînteles să fie identică pentru ca cele două componente să fie legate. În final, cele două opțiuni arată astfel: -net nic,model=<device>,netdev=<id> -netdev bridge,br=<nume bridge>,id=<id>.

Pentru a crea și configura bridge-uri se folosește utilitarul brctl din pachetul bridge-utils. Crearea unui bridge care să ofere unui guest accesul la rețea fizică a host-ului se face astfel:

sudo brctl addbr virbr0						# creăm bridge-ul
sudo brctl addif virbr0 <interfata fizica>			# adăugam interfața fizică a host-ului la bridge
sudo ip address flush dev <interfata fizica>	                # ștergem adresa IP de pe interfața fizică, doar dacă avem o adresă
                                                                # IP pe interfață. Va șterge și ruta default automat
sudo dhclient virbr0                                            # obținem adresa IP pentru bridge și ruta default prin DHCP

Dacă nu merge obținerea adreselor prin DHCP, se poate configura manual adresa și ruta default:

ip address show							# notăm ip-ul și prefixul interfeței fizice
ip route show							# notăm ruta implicită
sudo brctl addbr virbr0						# creăm bridge-ul
sudo brctl addif virbr0 <interfata fizica>			# adaugăm interfața fizică a host-ului la bridge
sudo ip address del <ip>/<prefix> dev <interfata fizica>	# mutăm adresa interfeței fizice
sudo ip address add <ip>/<prefix> dev virbr0			# pe bridge
sudo ip link set dev virbr0 up
sudo ip route add default via <gateway>				# readăugam ruta implicită

Pentru ca bridge-ul să fie acceptat de QEMU el trebuie configurat și în fișierul /etc/qemu/bridge.conf sub forma:

bridge.conf

allow virbr0

Imaginea de VM cu Ubuntu 22, oferită de echipa de SI, are ca login user-ul si parola: student/student.

Ca sistem de operare embedded, vom folosi distribuția Debian Bookworm compilată pentru ARM64.

• Actualizați lista de pachete sudo apt update
• Instalați git, vim și bridge-utils.

sudo apt install git vim wget bridge-utils

• Instalați toolchain-ul necesar pentru a cross-compila programe pentru RaspberryPi 64 biți:

sudo apt install gcc-aarch64-linux-gnu

• Instalați QEMU folosind instrucțiunile următoare.

sudo apt install qemu-user         # Pentru user-mode emulation
sudo apt install qemu-system-arm   # Pentru system-mode emulation
sudo apt install qemu-utils        # Pentru utilitare precum qemu-nbd

• Descărcați și dezarhivați o imagine de Debian Bookworm pentru Raspberry PI Model 3B+ de aici.

Aflați parametrii pentru opțiunile -machine și -cpu necesari pentru a emula sistemul nostru.

qemu-system-arm -machine help
qemu-system-arm -machine <platforma> -cpu help

Compilați următorul program hello world pentru RaspberryPi și linkați static. Aflați setul de instrucțiuni folosit de executabilul generat și apoi rulați-l în QEMU folosind user-mode emulation și emulând procesorul Cortex-A53. Salvați comanda folosită pentru emulare.

#include <stdio.h>
int main(void)
{
    printf("hello world\n");
}

• Utilizaţi compilatorul aarch64-linux-gnu-gcc.
• Folosiți pentru compilator flag-ul -static pentru a obține un executabil linkat static.
• Utilitarul file oferă informații despre conținutul fișierelor primite ca argument.
• Bonus: Ce se întâmplă dacă rulați executabilul direct, fără QEMU? De ce?

Rulați distribuția Debian folosind QEMU în modul system emulation. Veți avea nevoie de următoarele argumente pentru emulare.

• Kernel-ul de Linux, prin argumentul “-kernel <kernel_image_file>”.
• Imaginea de InitRD (Initial RAM Disk), prin argumentul “-initrd <initrd_file>”.
• Pentru a funcționa mașina virtuală, este nevoie sa îi pasați emulatorului si un Device Tree, prin argumentul “-dtb <device_tree_file>”.
• Modelul mașinii emulate, prin argumentul “-machine”. Consultați documentația Qemu de aici pentru lista componentelor virtualizate (procesor, memory, periferice) și alegeți modelul corespunzător pentru Raspberry Pi 3.
• Pentru imaginea discului (rootfs-ul), fom folosi Debian 12 (Bookworm) pentru RPi 3B+. Pasați imaginea discului cu argumentul “-sd <disk_file>”, deoarece vom emula un SD-card
• Folosiți string-ul root=/dev/mmcblk0p2 pentru linia de comandă a kernel-ului, deoarece rootfs-ul este pe a doua partitie a SD card-ului).

qemu-system-aarch64 \
	-machine … \
	-kernel … \
	-initrd … \
	-dtb … \
	-sd … \
	-append "console=ttyS1 root=/dev/mmcblk0p2 rw rootwait rootfstype=ext4" \
	-nographic \
	-serial null \
	-serial stdio \
	-monitor none

Extrageți imaginea de kernel, dtb-ul si initrd-ul din imaginea de disc de Debian downloadată

sudo losetup --show -fP 20220808_raspi_3_bookworm.img   # Notați numărul device-ului /dev/loop returnat de comanda losetup
sudo mkdir /mnt/debian
sudo mount /dev/loop16p1 /mnt/debian     # Înlocuiți valoarea 16 cu valoarea numărului vostru
cp /mnt/debian/vmlinuz-5.18.0-3-arm64 .
cp /mnt/debian/initrd.img-5.18.0-3-arm64 .
cp /mnt/debian/bcm2837-rpi-3-b.dtb .
# facem unmount și deconectăm imaginea din dispozitivul bloc
sudo umount /mnt/debian
sudo losetup -d /dev/loop16

Pentru montare, puteți folosi utilitarul qemu-nbd (care, în plus față de losetup, știe să deschidă mai multe formate de mașini virtuale precum vbox și vmdk):

sudo modprobe nbd max_part=8
sudo qemu-nbd -c /dev/nbd0 220121_raspi_3_bullseye.img
sudo mkdir /mnt/debian /mnt/debian/boot
sudo mount /dev/nbd0p2 /mnt/debian
sudo mount /dev/nbd0p1 /mnt/debian/boot
# acum putem explora partiția de boot din imagine
ls -l /mnt/debian/boot
# facem unmount și deconectăm imaginea din dispozitivul bloc
sudo qemu-nbd -d /dev/nbd0

Deoarece discul pasat către Qemu este de tip SD card, Qemu așteaptă ca dimensiunea discului să fie o putere a numărului 2 (ex. 512MB, 1024MB). Din acest motiv trebuie să redimensionăm discul, spre exemplu la 4GB. Qemu dispune, de asemenea, de utilitare pentru manipulat imagini (creare / redimensionare / conversie între formate):

qemu-img resize 20220808_raspi_3_bookworm.img 4G

Libvirt este un serviciu ce permite folosirea Qemu mult mai ușor. Împreună cu tool-uri precum virsh (virtual shell) sau virt-manager, utilizatorul poate crea, porni, opri, clona sau migra mașini virtuale foarte ușor si rapid. În acest laborator vom folosi tool-ul virt-install pentru a crea o noua mașină virtuală.

sudo apt install virtinst

folosiți kernel-ul, initrd-ul si imaginea discului de la ex.3 pentru a crea o mașină virtuală:

virt-install --name rpi3-qemu-si \
	--arch aarch64 \
	--machine virt \
       	--os-variant debian11 \
	--boot kernel=...,initrd=...,kernel_args="console=ttyama0 root=/dev/... rw rootwait rootfstype=ext4" \
	--disk ... \
       	--vcpus 2 \
	--nographic \
       	--feature acpi=off

Pentru a ieși din consola virsh, folosiți combinația ctrl + ]. Puteți lista toate mașinile virtuale cu ajutorul comenzii virsh list –all.

Pentru a opri o mașină virtuală:

virsh destroy NUME_VM

Numele destroy poate induce putin în eroare, deoarece mașina este doar oprită și nu ștearsă. Pentru a șterge o masină virtuală folosiți virsh undefine NUME_VM

Cu mașina virtuală de la ex. 4 oprită, editați configurația cu ajutorul următoarei comenzi și adăugați 8 procesoare si 32GB de RAM:

virsh edit NUME_VM

În mod implicit, kernel-ul va refuza alocarea de memorie virtuală pentru un process de user-space, mai mult decât are sistemul disponibil. Dar îl putem convinge cu următoarea comanda executată in VM-ul de Ubuntu 22:

sudo sysctl vm.overcommit_memory=1

Desigur, în momentul în care VM-ul începe să folosească multă memorie, VM-ul (procesul) va fi automat oprit (killed).

Porniți mașina virtuală, deschideți consola cu ajutorul comenzii “virsh console NUME_VM” și listați noua configurație:

cat /proc/cpuinfo

free -m

Configurați și testați accesul guest-ului la Internet. Salvați comanda folosită pentru emulare.

Pentru aceasta, opriți VM-ul din virsh si reluați comanda de la ex. 3.

• Emulați interfața de rețea folosind un USB network adaptor virtual

	-device usb-net,netdev=net0 \
	-netdev bridge,br=...,id=net0 

Pentru a avea Internet in interiorul VM-ului, putem urma pașii din secțiunea configurare a rețelei sau putem instala daemon-ul libvirt, care creează in mod automat bridge-ul “virbr0”.

sudo apt install libvirt-daemon-system

Folosiți numele noului bridge pentru adaptorul de retea virtual.

După ce pornește mașina virtuală, listați interfețele de rețea si porniți clientul de DHCP:

ip addr
dhclient enx405400123457
<code>

<note tip>
  * Înainte de realizarea configurațiilor de rețea, dezactivați conectarea automată din setările sistemului de operare (Settings -> Network -> Wired -> Connect Automatically (off)) și puneți placa de rețea a mașinii virtuale Ubuntu in modul de NAT (Devices -> Network -> Network Settings). Dacă folosiți o rețea wired și nu vă merge cu NAT atunci setați pe modul Bridged Adapter. Atenție, NU setați pe modul "NAT Network".
{{ :si:laboratoare:screenshot_2020-10-12_at_17.47.41.png |Setare rețea}}
  * Recitiți secțiunea de [[#networking| configurare a rețelei]] în QEMU.
  * Folosiți ''sudo'' pentru rularea ''qemu-system-arm''.
</note>

<note important>
In cazul in care aveti doar conexiune prin wifi, nu veti putea folosi configuratia cu bridge, ci va fi nevoie sa folositi o interfata de tip tap. Urmariti configuratia descrisa in al 2-lea raspuns de [[https://superuser.com/questions/694929/wireless-bridge-on-kvm-virtual-machine/1009881 | aici]].
</note>

==== 7. Rulați programul compilat la punctul 2 pe //guest// ====

<note tip>
  * Copiați executabilul folosind utilitarul ''scp'' de pe host pe guest.
</note>

==== 8. BONUS ====

  * Instalați toolchain-ul necesar pentru a cross-compila programe pentru RaspberryPi: 1) Clonati repository-ul de mai jos; 2) Adăugați in ''$PATH'' calea către directorul ce conține executabilele necesare. 
<code>
git clone --depth=1 https://github.com/raspberrypi/tools.git
# modificăm calea (atenție: trebuie rulat în fiecare terminat unde dorim să executăm compilatorul)
export PATH="$HOME/tools/arm-bcm2708/arm-linux-gnueabihf/bin:$PATH"
# testăm:
arm-linux-gnueabihf-gcc --version

• Utilizaţi compilatorul arm-linux-gnueabihf-gcc din toolchain-ul download-at mai sus;

1. QEMU website
2. QEMU man page (Introduction)
3. QEMU Wikibooks page
4. QEMU Wikipedia page
5. QEMU man page (Linux User space emulator)
6. QEMU BSD user-mode status page
7. QEMU man page (ARM System emulator)
8. QEMU man page (Invocation)
9. RaspberryPi hardware description
10. Copy-paste in VirtualBox