Laborator 03: Programare Dinamică (1/2)

• înțelegerea noțiunilor de bază despre programare dinamică
• însușirea abilităților de implementare a algoritmilor bazați programare dinamică.

• Toate bucățile de cod prezentate în partea introductivă a laboratorului (înainte de exerciții) au fost testate. Cu toate acestea, este posibil ca din cauza mai multor factori (formatare, caractere invizibile puse de browser etc) un simplu copy-paste să nu fie de ajuns pentru a compila codul.
• Vă rugam să compilați DOAR codul de pe GitHub. Pentru raportarea problemelor, contactați unul dintre maintaineri.
• Pentru orice problemă legată de conținutul acestei pagini, vă rugam să dați e-mail unuia dintre responsabili.

Similar cu greedy, tehnica de programare dinamică este folosită în general pentru rezolvarea problemelor de optimizare. În continuare vom folosi acronimul DP (dynamic programming).

De asemenea, DP se poate folosi și pentru probleme în care nu căutăm un optim, cum ar fi problemele de numărare (vom exemplifica în lab04).

Programarea dinamică are un câmp larg de aplicare, însă la PA ne vom rezuma la câteva aplicații care vor fi menționate pe parcursul laboratoarelor 3 și 4. De asemenea, această tehnică va fi folosită și în laboratoarele de grafuri (ex. algoritmul Floyd-Warshall - pe care îl veți implementa și la PA; algoritmi pe arbori etc).

Programarea dinamică presupune rezolvarea unei probleme prin descompunerea ei în subprobleme şi rezolvarea acestora. Spre deosebire de divide et impera, subproblemele nu sunt disjuncte, ci se suprapun.

Cei curioși pot citi aici adevărul despre numele acestei tehnici.

Aplicând această tehnică determinăm una din soluțiile optime, problema putând avea mai multe soluții optime. În cazul în care se dorește determinarea tuturor soluțiilor optime, algoritmul trebuie combinat cu unul de backtracking în vederea construcției soluțiilor.

În cazul problemelor de numărare, această tehnică ne va furniza numărul căutat.

Aplicarea acestei tehnici de programare poate fi descompusă în următoarea secvență de pași:

1. Identificarea structurii și a metricilor utilizate în caracterizarea soluției optime;
2. Determinarea unei metode de calcul recursiv pentru a afla valoarea fiecărei subprobleme;
3. Calcularea “bottom-up” a acestei valori (de la subproblemele cele mai mici la cele mai mari);
4. Reconstrucția soluției optime pornind de la rezultatele obținute anterior.

Programarea Dinamică este cea mai flexibilă tehnică din programare. Cel mai ușor mod de a o înțelege presupune parcurgerea cât mai multor exemple.

Propunem câteva categorii de recurențe, pe care le vom grupa astfel:

• recurențe de tip SSM (Subsecvența de Sumă Maximă)
• recurențe de tip RUCSAC
• recurențe de tip PODM (Parantezare Optimă de Matrici)
• recurențe de tip numărat
• recurențe pe grafuri

Aceste recurențe au o oarecare asemănare cu problema SSM (enunț + soluție).

Fie un vector $ v $ cu $ n $ elemente întregi. O subsecvență de numere din șir este de forma: $v_i, v_{i+1}, ... , v_j$ ($i <= j$), având suma asociată $s_{ij} = v_i + v_{i+1} + ... + v_j$. O subsecvență nu poate fi vidă.

Să se determine subsecvența de sumă maximă (notată SSM).

Tiparul acestei probleme ne sugerează că o soluție este obținută incremental, în sensul că putem privi problema astfel: găsim cea mai bună soluție folosind primele $i-1$ elemente din șir, apoi încercăm să o extindem folosind elementul i (adică ne extindem la dreapta ~CU~ $v[i]$).

Întrucât la fiecare pas trebuie sa reținem cea mai bună soluție folosind un prefix din vectorul v, soluția va fi salvată într-un tablou auxiliar definit astfel:

$ dp[i] $ = suma subsecvenței de sumă maximă (suma SSM) folosind doar primele i elemente din vectorul v și care se termină pe poziția i

• Pentru a menține o convenție, toate tablourile de acest tip din laborator vor fi notate cu dp (dynamic programming).
• Ca să rezolvăm problema dată, trebuie să rezolvăm o mulțime de subprobleme
  • $dp[i]$ reprezintă soluția pentru problema $v[1], ..., v[i]$ și care se termină cu $v[i]$
• Soluția pentru problema inițială este maximul din vectorul $dp[i]$ - a.k.a. max(dp[i]).

Întrucât dorim ca această problemă să fie rezolvabilă printr-un algoritm/bucată de cod, trebuie să descriem o metodă concretă prin care vom calcula $dp[i]$.

• Cazul de bază
  • În general în probleme putem avea mai multe cazuri de bază, care în principiu se leagă de valori extreme are dimensiunilor subproblemelor.
  • În cazul SSM, avem un singur caz de bază, când avem un singur element în prefix: $dp[1] = v[1] $.
  • Explicație: dacă avem un singur element, atunci acesta formează singura subsecvență posibilă, deci $ SSM = v[1] $

• Cazul general
• presupune inductiv că avem rezolvate toate subproblemele mai mici
• în cazul SSM, presupunem că avem calculat $ dp[i-1] $ și dorim sa calculăm $ dp[i] $ (cunoaștem cea mai bună soluție folosind primele i-1 elememente și vedem dacă elementul de pe poziția i o poate îmbunătăți)
• la fiecare pas avem de ales dacă $v[i]$ extinde cea mai bună soluție care se termină pe $v[i-1]$ sau se începe o nouă secvență cu $v[i]$
• decidem în funcție de $ dp[i - 1]$ și $v[i] $
  • dacă $ dp[i - 1] >= 0 $ (cea mai bună soluție care se termină pe i - 1 are cost nenegativ)
    • extindem secvență care se termină cu v[i-1] folosind elementul v[i]: $dp[i] = dp[i-1] + v[i]$
    • Explicație: $dp[i-1] + v[i] >= v[i]$ (încă are rost să extind)
  • dacă $ dp[i - 1] < 0 $ (cea mai bună soluție care se termină pe i - 1 are cost negativ)
    • vom începe o nouă secvență cu $v[i]$, adică $dp[i] = v[i]$
    • Explicație: $v[i] > dp[i-1] + v[i]$, deci prin extindere nu obțin soluție maximă!

În majoritatea problemelor de DP, găsirea recurenței ocupă cea mai mare parte a timpului de rezolvare (lucru adevărat și în cazul problemelor de la PA). De aceea, faptul că ați reușit să scrieți pe foaie lucruri foarte complicate poate fi un indiciu ca ați pornit pe o cale greșită.

// găsește SSM pentru vectorul v cu n elemente
// pentru a menține convenția din explicații:
//      - elementele sunt indexate de la 0, dar le folosesc doar pe cele care incep de la 1
//                                          => v[1], ..., v[n]
int SSM(int n, vector<int> &v) {
	vector<int> dp(n + 1);    // vector cu n + 1 elemente (indexarea începe de la 0)
                                  // am nevoie de dp[1], ..., dp[n]
 
	// caz de bază
	dp[1] = v[1];
 
	// caz general
	for (int i = 2; i <= n; ++i) {
		if (dp[i - 1] >= 0) {
			// extinde la dreapta cu v[i]
			dp[i] = dp[i - 1] + v[i];
		} else {
			// încep o nouă secvență
			dp[i] = v[i];
		}
	}
 
	// soluția e maximul din vectorul dp
	int sol = dp[1];
	for (int i = 2; i <= n; ++i) {
		if (dp[i] > sol) {
			sol = dp[i];
		}
	}
 
        return sol; // aceasta este suma asociată cu SSM
}

Întrucât această soluție presupune calculul iterativ (coloană cu coloană) a matricei dp, complexitatea este liniară. De asemenea, se mai parcurge o dată dp pentru a găsi maximul.

• complexitate temporală : $T = O(n)$
• complexitate spațială : $S = O(n)$
  • desigur că pentru problema SSM, nu era nevoie sa reținem, tablourile dp/start în memorie.
  • puteam sa construim element cu element și maximul din dp în aceleași timp (întrucât ne trebuie ultima valoare la fiecare pas și maximul global).
  • în acest caz complexitatea spațială devine $S = O(1)$

Pentru a ilustra toți pașii posibili într-o astfel de problemă, totul a fost prezentat cât mai simplu (NU în toate problemele putem facem simplificări de tipul “NU am nevoie să stochez tabloul dp”).

Fie un vector $ v $ cu $ n $ elemente întregi. Un subșir de numere din șir este de forma: $v_{i_1}, v_{i_2}, ... , v_{i_k}$. Un subșir nu poate fi vid ($k >= 1$).

Să se determine subșirul crescător maximal (notat SCMAX) - un subșir ordonat strict crescător și are lungime maximă (dacă sunt mai multe soluții, să se gasească una oarecare).

Verificăm dacă se aplică tiparul de la SSM: găsim cea mai buna soluție folosind primele $i-1$ elemente din șir, apoi încercăm să o extindem folosind elementul i (adică ne extindem la dreapta ~CU~ $v[i]$).

• Dacă avem cea mai bună soluție pentru intervalul $1, 2, .., i-1$ și care se termină cu $v[i-1]$, atunci încercăm să extindem soluția cu $v[i]$ (putem dacă $v[i-1] < v[i]$)
• Altfel.. Unde am putea să îl punem pe $v[i]$?
  • Păi am putea sa încercăm să îl punem la finalul soluției care se termină pe $v[i-2]$, $v[i-3]$, … sau $v[1]$

$ dp[i] $ = lungimea celui mai lung subșir(lungime SCMAX) folosind (doar o parte) din primele i elemente din vectorul v și care se termină pe poziția i

• Ca să rezolvăm problema dată, trebuie să rezolvăm o mulțime de subprobleme
  • $dp[i]$ reprezintă soluția pentru problema $v[1], ..., v[i]$ și care se termină cu $v[i]$
• Soluția pentru problema inițială este maximul din vectorul $dp[i]$.

• Cazul de bază
  • Și în problema SCMAX, cazul pentru $i = 1$ este caz de bază.
    • dacă avem un singur element, atunci avem o singură subsecvență de lungime 1, ea este soluția
    • $dp[1] = 1$

• Cazul general
  • presupune inductiv că avem rezolvate toate subproblemele mai mici
  • în cazul SCMAX, presupunem că avem calculate $ dp[1], dp[2], ..., dp[i-1] $ și dorim să calculăm $ dp[i] $ (cunoaștem cea mai bună soluție folosind primele j elemente și vedem dacă elementul de pe poziția i o poate îmbunătăți - $j = 1:i-1$)
  • deoarece nu știm unde e cel mai bine să îl pune pe $v[i]$ (după care v[j]?), încercăm pentru toate valorile posibile ale lui j (unde $j = 1 : i - 1$)
    • dacă $v[j] < v[i] $, atunci subșirul crescător care se termină pe poziția j, poate fi extins la dreapta cu elementul v[i], generând lungimea dp[j] + 1
      • deci dp[i] = max(dp[j] + 1), $j = 1 : i - 1$ (dacă nu există un astfel de j, valoarea lui max(…) este 0)
    • Ce se întamplă totuși dacă nu există un j care să îndeplinească condiția de mai sus? Atunci $v[i]$ va forma singur un subșir crescător de lungime 1 (care poate fi folosit la un pas ulterior)

Reunind cele spuse mai sus:

• $dp[1] = 1$
• $dp[i] = 1 + max(dp[j])$, unde $j = 1 : i-1$ și $v[j] < v[i]$; $i=2:n$

Întrucât această soluție presupune calculul iterativ (coloană cu coloană) a matricei dp, complexitatea este polinomială (pătratică - pentru fiecare element din tabloul, facem o trecere prin elementele deja calculate).

• complexitate temporală : $T = O(n^2)$
  • se poate obține o soluție în complexitate $T = O(n log n)$ dacă se folosește o căutare binară pentru a găsi elementul j dorit (ex. implemetare).
• complexitate spațială : $S = O(n)$
  • NU putem obține o complexitate spatială mai bună, întrucât avem nevoie să stocăm cel puțin vectorul dp (stocăm și vectorul prec dacă avem nevoie să reconstituim SCMAX)

Aceste recurențe au o oarecare asemănare cu problema RUCSAC - varianta discretă (enunț + soluție).

Fie un set (vector) cu $ n $ obiecte (care nu pot fi tăiate - varianta discretă a problemei). Fiecare obiect i are asociată o pereche ($w_i, p_i$) cu semnificația:

• $w_i$ = $weight_i$ = greutatea obiectului cu numărul i
• $p_i$ = $price_i$ = prețul obiectului cu numărul i
  • $w_i >= 0$ si $p_i > 0$

Gigel are la dispoziție un rucsac de volum infinit, dar care suportă o greutate maximă (notată cu $W$ - weight knapsack).

El vrea să găsească o submulțime de obiecte pe care sa le bage în rucsac, astfel încât suma profiturilor să fie maximă.

Dacă Gigel bagă în rucsac obiectul i, caracterizat de ($w_i, p_i$), atunci profitul adus de obiect este $p_i$ (presupunem că îl vinde cu cât valorează obiectul).

Să se determine profitul maxim pentru Gigel.

Cum am transpune tiparul de la SSM/SCMAX în problema RUCSAC?

• știm care este profitul maxim pe care îl obține dacă folosim
  • doar primul element
  • doar primele $2$ elemente
  • …
  • doar primele $i-1$ elemente
• ajung să mă gândesc la obiectul (elementul) i
  • este posibil ca acesta să nu apară neapărat în soluția cea mai bună, caz în care nu îl folosesc, deci soluția maximă se gasește între cele menționate mai sus
  • dacă folosesc elementul i caracterizat de ($w_i, p_i$), în primul rând acesta trebuie să încapă în ghiozdan…
    • cum verific acest lucru?
    • o recurență de tipul $ dp[i] = ... $ nu va fi suficientă, pentru că în această problemă am 2 dimensiuni: obiectele (submulțimile de indici) și greutățile (asociate cu obiectele / submulțmile de obiecte).

Întrucât la fiecare pas trebuie să reținem cea mai bună soluție folosind un prefix din vectorul de obiecte, dar pentru că trebuie să punem și o restricție de greutate necesară (ocupată in rucsac), soluția va fi salvată într-un tablou auxiliar definit astfel:

$ dp[i][cap] $ = profitul maxim (profit RUCSAC) obținut folosind (doar o parte) din primele i obiecte și având un rucsac de capacitate maximă cap

Observații:

• NU există restricție în folosirea obiectului i în soluția menționată de $dp[i][cap]$ (a.k.a. se poate folosi sau se poate ignora).
• Soluția problemei se găsește în $dp[n][W]$ (profitul maxim folosind (doar o parte) din primele n elemente - adică soluția bazată pe inspectarea tuturor obiectelor; capacitatea maximă folosită este W - adică soluția bazată pe ghiozdanul de capacitate maximă).

• Cazul de bază
  • Dacă avem o submulțime vidă de obiecte selectate.
    • $ dp[0][cap] = 0 $
    • Explicație: Dacă nu alegem obiecte, atunci profitul este 0 indiferent de capacitate.

• Cazul general
  • $ dp[i][cap] = ? $
  • presupune inductiv că avem rezolvate toate subproblemele mai mici
    • subprobleme mai mici înseamnă să folosească mai puține obiecte sau un rucsac cu capacitatea mai mică
    • vedem dacă prin folosirea obiectului i, obținem cea mai bună soluție in $dp[i][cap]$
      • NU folosesc obiectul i
        • în acest caz, o să alegem cea mai bună soluție formată cu celelalte $i-1$ elemente și aceeași capacitate a rucsacului
        • soluția generată de acest caz: $dp[i][cap] = dp[i - 1][cap]$
      • folosesc obiectul i
        • dacă îl folosesc, înseamnă că pentru el trebuie să am rezervată în rucsac o capacitate egală cu $w_i$
          • adică când am selectat dintre primele $i-1$ elemente, nu trebuia să ocup mai mult de $cap - w_i$ din capacitatea rucsacului
          • față de subproblema menționată, câștig în plus $p_i$ (profitul pe care îl aduce acest obiect
        • soluția generată de acest caz: $dp[i][cap] = dp[i - 1][cap - w_i] + p_i$

Reunind cele spuse mai sus, obținem:

• $dp[0][cap] = 0$, pentru $cap = 0 : W$
• $dp[i][cap] = max(dp[i - 1][cap], dp[i - 1][cap - w_i] + p_i)$
  • pentru $i = 1: n$, $cap = 0:W$

Întrucât această soluție presupune calculul iterativ (linie cu linie) a matricei dp, complexitatea este polinomială.

• complexitate temporală : $T = O(n * W)$
• complexitate spațială : $S = O(n * W)$
  • dacă nu ne interesează să reconstituim soluția (să afișăm submulțimea efectiv), atunci putem să NU stocăm toată matricea dp
  • ca să calculăm o linie, avem nevoie doar de ultima linie
  • putem să stocăm la orice moment de timp doar ultima linie și linia curentă
  • complexitatea spațială se reduce astfel la $S = O(W)$

Gigel are o colectie impresionanta de monede. El ne spune ca are n tipuri de monede, avand un numar nelimitat de monede din fiecare tip. Cunoscand aceasta informatie (data sub forma unui vector v cu n elemente), el se intreaba care este numarul minim de monede cu care poate plati o suma S.

Task-uri:

• 1.1 Determinati numarul minim de monede (din cele pe care le are) cu care Gigel poate forma suma S.
• 1.2 Care este complexitatea solutiei (timp + spatiu)? De ce?

Este posibil ca pentru anumite valori ale lui S si v, aceasta problema sa nu aiba solutie. In acest caz raspunsul este -1.

Fie doi vectori cu numere intregi: v cu n elemente si w cu m elemente. Sa se gaseasca cel mai lung subsir comun (notat CMLSC) care apare in cei doi vectori. Se cere o solutie de complexitate optima. Daca exista mai multe solutii, se poate gasi oricare.

Task-uri:

• 2.1 Determinare lungime CMLSC. (Hint: DP)
• 2.2 Reconstituire CMLSC (afisati si care sunt termenii CMLSC).
• 2.3 Care este complexitatea solutiei (timp + spatiu)? De ce?

Rezolvati in ordine task-urile.

[0] Chapter Dynamic Programming, “Introduction to Algorithms”, Thomas H. Cormen, Charles E. Leiserson, Ronald L. Rivest and Clifford Stein

[1] http://infoarena.ro/problema/ssm

[2] http://infoarena.ro/problema/scmax

[3] http://infoarena.ro/problema/rucsac