Laborator 3: Programare Dinamică

Responsabili:

• Darius Neațu
• Radu Vișan
• Cristian Banu
• Răzvan Chițu

• Ințelegerea noțiunilor de bază despre programare dinamică
• Insușirea abilităților de implementare a algoritmilor bazați programare dinamică.

• Toate bucatile de cod prezentate in partea introductiva a laboratorului (inainte de exercitii) au fost testate. Cu toate acestea, este posibil ca din cauza mai multor factori (formatare, caractere invizibile puse de browser etc) un simplu copy-paste sa nu fie de ajuns pentru a compila codul.
• Va rugam sa incercati si codul din arhiva demo-lab03.zip, inainte de a raporta ca ceva nu merge.
• Pentru orice problema legata de continutul acestei pagini, va rugam sa dati email unuia dintre responsabili.

Similar cu greedy, tehnica de programare dinamica este folosită in general pentru rezolvarea problemelor de optimizare. In continuare vom folosi acronimul DP (dynamic programming).

De asemenea, DP se poate folosi si pentru probleme in care nu cautam un optim, cum ar fi problemele de numarare (vom exemplifica in lab04).

Programarea dinamică are un câmp larg de aplicare, insa la PA ne vom rezuma la cateva aplicatii care vor fi mentionate pe parcursul laboratoarelor 3 si 4. De asemenea, aceasta tehnica va fi folosita si in laboratoarele de grafuri (ex. algoritmul Floyd-Warshall - pe care il veti implementa si la PA; algoritmi pe arbori etc).

Programare dinamică presupune rezolvarea unei probleme prin descompunerea ei în subprobleme şi rezolvarea acestora. Spre deosebire de divide et impera, subproblemele nu sunt disjuncte, ci se suprapun.

Cei curiosi pot citi aici adevarul despre numele acestei tehnici.

Aplicând aceasta tehnică determinăm una din soluțiile optime, problema putând avea mai multe soluții optime. În cazul în care se dorește determinarea tuturor soluțiilor optime, algoritmul trebuie combinat cu unul de backtracking în vederea construcției soluțiilor.

In cazul problemelor de numarare, aceasta tehnica ne va furniza numarul cautat.

Aplicarea acestei tehnici de programare poate fi descompusă în următoarea secvență de pași:

1. Identificarea structurii și a metricilor utilizate în caracterizarea soluției optime;
2. Determinarea unei metode de calcul recursiv pentru a afla valoarea fiecărei subprobleme;
3. Calcularea “bottom-up” a acestei valori (de la subproblemele cele mai mici la cele mai mari);
4. Reconstrucția soluției optime pornind de la rezultatele obținute anterior.

Programarea Dinamică este cea mai flexibilă tehnica din programare. Cel mai ușor mod de a o înțelege presupune parcurgerea cât mai multor exemple.

Propunem cateva categorii de recurente, pe care le vom grupa astfel:

• recurente de tip SSM (Subsecventa de Suma Maxima)
• recurente de tip RUCSAC
• recurente de tip PODM (Parantezare Optima de Matrici)
• recurente de tip numărat
• recurente pe grafuri

Aceste recurente au o oarecare asemanare cu problema SSM (enunt + solutie).

Fie un vector $ v $ cu $ n $ elemente intregi. O subsecventa de numere din sir este de forma: $s_i, s_{i+1}, ... , s_j$ ($i <= j$), avand suma asociata $s_{ij} = s_i + s_{i+1} + ... + s_j$. O subsecventa nu poate fi vida.

Sa se determine subsecventa de suma maxima (notata SSM).

Tiparul acestei probleme ne sugereaza ca o solutie este obtinuta incremental, in sensul ca putem privi problema astfel: gasim cea mai buna solutie folosind primele $i-1$ elemente din sir, apoi incercam sa o extindem folosind elementul i (adica ne extindem la dreapta ~CU~ $v[i]$).

Intrucat la fiecare pas trebuie sa retinem cea mai buna solutie folosind un prefix din vectorul v, solutia va fi salvata intr-un tablou auxiliar definit astfel:

$ dp[i] $ = suma subsecventei de suma maxima (suma SSM) folosind doar primele i elemente din vectorul v si care se termina pe pozitia i

• Pentru a mentine o conventie, toate tablourile de acest tip din laborator vor fi notate cu dp (dynamic programming).
• Ca sa rezolvam problema data, trebuie sa rezolvam o multime de subprobleme
  • $dp[i]$ reprezinta solutia pentru problema $v[1], ..., v[i]$ si care se termina cu $v[i]$
• Solutia pentru problema initiala este maximul din vectorul $dp[i]$.

Intrucat dorim ca aceasta problema sa fie rezolvabila printr-un algoritm/bucata de cod, trebuie sa descriem o metoda concreta prin care vom calcula $dp[i]$.

• Cazul de baza
  • In general in probleme putem avea mai multe cazuri de baza, care in principiu se leaga de valori extreme are dimensiunilor subproblemelor.
  • In cazul SSM, avem un singur caz de baza, cand avem un singur element in prefix: $dp[1] = v[1] $.
  • Explicatie: daca avem un singur element, atunci acesta formeaza singura subsecventa posibila, deci $ SSM = v[1] $

• Cazul general
• presupune inductiv ca avem rezolvate toate subproblemele mai mici
• in cazul SSM, presupunem ca avem calculat $ dp[i-1] $ si dorim sa calculam $ dp[i] $ (cunoastem cea mai buna solutie folosind primele i-1 elememente si vedem daca elementul de pe pozitia i o poate imbunatati)
• la fiecare pas avem de ales daca $v[i]$ extinde cea mai buna solutie care se termina pe $v[i-1]$ sau se incepe o noua secventa cu $v[i]$
• decidem in functie de $ dp[i - 1]$ si $v[i] $
  • daca $ dp[i - 1] >= 0 $ (cea mai buna solutie care se termina pe i - 1 are cost nenegativ)
    • extindem secventa care se termina cu v[i-1] folosind elementul v[i]: $dp[i] = dp[i-1] + v[i]$
    • Explicatie: $dp[i-1] + v[i] >= v[i]$ (inca are rost sa extind)
  • daca $ dp[i - 1] < 0 $ (cea mai buna solutie care se termina pe i - 1 are cost negativ)
    • vom incepe o noua secventa cu $v[i]$, adica $dp[i] = v[i]$
    • Explicatie: $v[i] > dp[i-1] + v[i]$, deci prin extindere nu obtin solutie maxima!

In majoritatea problemelor de DP, gasirea recurentei ocupa cea mai mare parte a timpului de rezolvare (lucru adevarat si in cazul problemelor de la PA). De aceea, faptul ca ati reusit sa scrieti pe foaie lucruri foarte complicate poate fi un indiciu ca ati pornit pe o cale gresita.

// gaseste SSM pentru vectorul v cu n elemente
// pentru a mentine conventia din explicatii:
//      - elementele sunt indexate de la 0, dar le folosesc doar pe cele care incep de la 1
//                                          => v[1], ..., v[n]
int SSM(int n, vector<int> &v) {
	vector<int> dp(n + 1);    // vector cu n + 1 elemente (indexarea incepe de la 0)
                                  // am nevoie de dp[1], ..., dp[n]
 
	// caz de baza
	dp[1] = v[1];
 
	// caz general
	for (int i = 2; i <= n; ++i) {
		if (dp[i - 1] >= 0) {
			// extinde la dreapta cu v[i]
			dp[i] = dp[i - 1] + v[i];
		} else {
			// incep o noua secventa
			dp[i] = v[i];
		}
	}
 
	// solutia e maximul din vectorul dp
	int sol = dp[1];
	for (int i = 2; i <= n; ++i) {
		if (dp[i] > sol) {
			sol = dp[i];
		}
	}
 
        return sol; // aceasta este suma asociata cu SSM
}

Intrucat aceasta solutie presupune calculul iterativ (coloana cu coloana) a matricei dp, complexitatea este liniara. De asemenea, se mai parcurge o data dp pentru a gasi maximul.

• complexitate temporala : $T = O(n)$
• complexitate spatiala : $S = O(n)$
  • desigur ca pentru problema SSM, nu era nevoie sa retinem, tablourile dp/start in memorie.
  • puteam sa construim element cu element si maximul din dp in aceleasi timp (intrucat ne trebuie ultima valoare la fiecare pas si maximul global).
  • in acest caz complexitatea spatiala devine $S = O(1)$

Pentru a ilustra toti pasii posibili intr-o astfel de problema, totul a fost prezentat cat mai simplu (NU in toate problemele putem facem simplificari de tipul “NU am nevoie sa stochez tabloul dp”).

Fie un vector $ v $ cu $ n $ elemente intregi. Un subsir de numere din sir este de forma: $s_{i_1}, s_{i_2}, ... , {s_{i_k}}$. Un subsir nu poate fi vid ($k >= 1$).

Sa se determine subsirul crescator maximal (notat SCMAX) - un subsir ordonat strict crescator si are lungime maxima (daca sunt mai multe solutii, sa se gaseasca una oarecare).

Verificam daca se aplica tiparul de la SSM: gasim cea mai buna solutie folosind primele $i-1$ elemente din sir, apoi incercam sa o extindem folosind elementul i (adica ne extindem la dreapta ~CU~ $v[i]$).

• Daca avem cea mai buna solutie pentru intervalul $1, 2, .., i-1$ si care se termina cu $v[i-1]$, atunci incercam sa extindem solutia cu $v[i]$ (putem daca $v[i-1] < v[i]$)
• Altfel.. Unde am putea sa il punem pe $v[i]$?
  • Pai am putea sa incercam sa il punem la finalul solutiei care se termina pe $v[i-2]$, $v[i-3]$, … sau $v[1]$

$ dp[i] $ = lungimea celui mai lung subsir(lungime SCMAX) folosind (doar o parte) din primele i elemente din vectorul v si care se termina pe pozitia i

• Ca sa rezolvam problema data, trebuie sa rezolvam o multime de subprobleme
  • $dp[i]$ reprezinta solutia pentru problema $v[1], ..., v[i]$ si care se termina cu $v[i]$
• Solutia pentru problema initiala este maximul din vectorul $dp[i]$.

• Cazul de baza
  • Si in problema SCMAX, cazul pentru $i = 1$ este caz de baza.
    • daca avem un singur element, atunci avem o singura subsecventa de lungime 1, ea este solutia
    • $dp[1] = 1$

• Cazul general
  • presupune inductiv ca avem rezolvate toate subproblemele mai mici
  • in cazul SCMAX, presupunem ca avem calculate $ dp[1], dp[2], ..., dp[i-1] $ si dorim sa calculam $ dp[i] $ (cunoastem cea mai buna solutie folosind primele j elemente si vedem daca elementul de pe pozitia i o poate imbunatati - $j = 1:i-1$)
  • deoarece nu stim unde e cel mai bine sa il pune pe $v[i]$ (dupa care v[j]?), incercam pentru toate valorile posibile ale lui j (unde $j = 1 : n - 1$)
    • daca $v[j] < v[i] $, atunci subsirul crescator care se termina pe pozitia j, poate fi extins la dreapta cu elementul v[i], generand lungimea dp[j] + 1
      • deci dp[i] = max(dp[j] + 1), $j = 1 : i - 1$ (daca nu exista un astfel de j, valoarea lui max(…) este 0)
    • Ce se intampla totusi daca nu exista un j care sa indeplineasca conditia de mai sus? Atunci $v[i]$ va forma singur un subsir crescator de lungime 1 (care poate fi la un pas ulterior)

Reunind cele spuse mai sus:

• $dp[1] = 1$
• $dp[i] = 1 + max(dp[j])$, unde $j = 1 : i-1$ și $v[j] < v[i]$

Intrucat aceasta solutie presupune calculul iterativ (coloana cu coloana) a matricei dp, complexitatea este polinomiala (patratica - pentru fiecare element din tabloul, facem o trecere prin elementele deja calculate).

• complexitate temporala : $T = O(n^2)$
  • se poate obtine o solutie in complexitate $T = O(n log n)$ daca se foloseste o cautare binara pentru a gasi elementul j dorit (ex. implemetare).
• complexitate spatiala : $S = O(n)$
  • NU putem obtine o complexitate spatiala mai buna, intrucat avem nevoie sa stocam cel putin vectorul dp (stocam si vectorul prec daca avem nevoie sa reconstituim SCMAX)

Aceste recurente au o oarecare asemanare cu problema RUCSAC - varianta discreta (enunt + solutie).

Fie un set (vector) cu $ n $ obiecte (care nu pot fi taiate - varianta discreta a problemei). Fiecare obiect i are asociata o pereche ($w_i, p_i$) cu semnificatia:

• $w_i$ = $weight_i$ = greutatea obiectului cu numarul i
• $p_i$ = $price_i$ = pretul obiectului cu numarul i
  • $w_i >= 0$ si $p_i > 0$

Gigel are la dispozitie un rucsac de volum infinit, dar care suporta o greutate maxima (notata cu $W$ - weight knapsack).

El vrea sa gaseasca o submultime de obiecte pe care sa le bage in rucsac, astfel incat suma profiturilor sa fie maxima.

Daca Gigel baga in rucsac obiectul i, caracterizat de ($w_i, p_i$), atunci profitul adus de obiect este $p_i$ (presupunem ca il vinde cu cat valoreaza obiectul).

Sa se determine profitul maxim pentru Gigel.

Cum am transpune tiparul de la SSM/SCMAX in problema RUCSAC?

• stim care este profitul maxim pe care il obtine daca folosim
  • doar primul element
  • doar primele $2$ elemente
  • …
  • doar primele $i-1$ elemente
• ajung sa ma gandesc la obiectul (elementul) i
  • este posibil ca acesta sa nu apara neaparat in solutia cea mai buna, caz in care nu il folosesc, deci solutia maxima se gaseste intre cele mentionate mai sus
  • daca folosesc elementul i caracterizat de ($w_i, p_i$), in primul rand acesta trebuie sa incapa in ghiozdan…
    • cum verific acest lucru?
    • o recurenta de tipul $ dp[i] = ... $ nu va fi suficienta, pentru ca in aceasta problema am 2 dimensiuni: obiectele (submultimile de indici) si greutatile (asociate cu obiectele / submultimile de obiecte).

Intrucat la fiecare pas trebuie sa retinem cea mai buna solutie folosind un prefix din vectorul de obiecte, dar pentru ca trebuie sa punem si o restrictie de greutate necesara (ocupata in rucsac), solutia va fi salvata intr-un tablou auxiliar definit astfel:

$ dp[i][cap] $ = profitul maxim (profit RUCSAC) obtinut folosind (doar o parte) din primele i obiecte si avand un rucsac de capacitate maxima cap

Observatii:

• NU exista restrictie daca in solutia mentionata de $dp[i][cap]$ este folosit OBLIGATORIU elementul i
• Solutia problemei se gaseste in $dp[n][W]$ (profitul maxim folosind (doar o parte) din primele n elemente - adica toate; capacitatea maxima folosita este W - adica capacitatea maxima a rucsacului).

• Cazul de baza
  • Daca avem o submultime vida de obiecte selectate.
    • $ dp[0][cap] = 0 $
    • Explicatie: Daca nu alegem obiecte, atunci profitul este 0 indiferent de capacitate.

• Cazul general
  • $ dp[i][cap] = ? $
  • presupune inductiv ca avem rezolvate toate subproblemele mai mici
    • subprobleme mai mici inseamna sa foloseasca mai putine obiecte sau un rucsac cu capacitatea mai mica
    • vedem daca prin folosirea obiectului i, obtinem cea mai buna solutie in $dp[i][cap]$
      • NU folosesc obiectul i
        • in acest caz, o sa alegem cea mai buna solutie formata cu celelalte $i-1$ elemente si aceeasi capacitate a rucsacului
        • solutia generata de acest caz: $dp[i][cap] = dp[i - 1][cap]$
      • folosesc obiectul i
        • daca il folosesc, inseamna ca pentru el trebuie sa am rezervata in rucsac o capacitate egala cu $w_i$
          • adica cand am selectat dintre primele $i-1$ elemente, nu trebuia sa ocup mai mult de $cap - w_i$ din capacitatea rucsacului
          • fata de subproblema mentionata, castig in plus $p_i$ (profitul pe care il aduce acest obiect
        • solutia generata de acest caz: $dp[i][cap] = dp[i - 1][cap - w_i] + p_i$

Reunind cele spuse mai sus, obtinem:

• $dp[0][cap] = 0$, pentru $cap = 0 : G$
• $dp[i][cap] = max(dp[i - 1], cap], dp[i - 1][cap - w_i] + p_i)$
  • pentru $i = 1: n$, $cap = 0:W$

Intrucat aceasta solutie presupune calculul iterativ (linie cu linie) a matricei dp, complexitatea este polinomiala.

• complexitate temporala : $T = O(n * W)$
• complexitate spatiala : $S = O(n * W)$
  • daca nu ne intereseaza sa reconstituim solutia (sa afisam submultimea efectiv), atunci putem sa NU stocam toata matricea dp
  • ca sa calculam o linie, avem nevoie doar de ultima linie
  • putem sa stocam la orice moment de timp doar ultima linie si linia curenta
  • complexitatea spatiala se reduce astfel la $S = O(W)$

Gigel are o colectie impresionanta de monede. El ne spune ca are n tipuri de monede, avand un numar nelimitat de monede din fiecare tip. Cunoscand aceasta informatie (data sub forma unui vector v cu n elemente), el se intreaba care este numarul minim de monede cu care poate plati o suma S.

Task-uri:

• 1.1 Determinati numarul minim de monede (din cele pe care le are) cu care Gigel poate forma suma S.
• 1.2 Care este complexitatea solutiei (timp + spatiu)? De ce?

Este posibil ca pentru anumite valori ale lui S si v, aceasta problema sa nu aiba solutie. In acest caz raspunsul este -1.

Fie doi vectori cu numere intregi: v cu n elemente si w cu m elemente. Sa se gaseasca cel mai lung subsir comun (notat CMLSC) care apare in cei doi vectori. Se cere o solutie de complexitate optima. Daca exista mai multe solutii, se poate gasi oricare.

Task-uri:

• 2.1 Determinare lungime CMLSC. (Hint: DP)
• 2.2 Reconstituire CMLSC (afisati si care sunt termenii CMLSC).
• 2.3 Care este complexitatea solutiei (timp + spatiu)? De ce?

Rezolvati in ordine task-urile.

[0] Capitolul Dynamic Programming din Introductions to Algorithms de către T. H. Cormen, C. E. Leiserson, R. L. Rivest, C. Stein

[1] http://infoarena.ro/problema/ssm

[2] http://infoarena.ro/problema/scmax

[3] http://infoarena.ro/problema/rucsac

[4] Colecție de probleme de programare dinamică (geeksforgeeks.com)

[5] Probleme de interviu care se rezolvă cu PD

[6] Sniedovich, Moshe. Dynamic programming: foundations and principles. CRC press, 2010.