• lucrul cu diferite metode de stocare a datelor (XML, JSON, SQL)
• shell scripting
  • cunoștințe generale de shell scripting
  • regex
  • grep, sed
• suport agregat:
  • cartea de USO
    • 12. Shell scripting
  • cursurile:
    • 09. Stocarea datelor
    • 10. Prelucrarea datelor

• laboratoarele:
  • 09. Stocarea datelor
  • 10. Prelucrarea datelor
• cheatsheet laborator
• Google, your best friend when things stick in the mud
• se recomandă citirea cu atenție a întregului enunț înainte de rezolvarea task-urilor

Scrieți un script get_headers_path.sh în directorul ~/tema4/headers/care găseaște calea absolută a fiecărui fișier header inclus într-un fișier sursă C. Dacă fișierul header inclus este un link simbolic, trebuie găsita calea fișierului către care pointează. Căile vor fi afișate la stdout, câte o cale pe linie. Scriptul va primi calea către un fișier sursă și mai poate primi parametri (oricâți) de forma -Ipath, având aceeași semnificație ca opțiunea -I pentru gcc, pentru a specifica căi suplimentare unde se vor căuta headere. (Vezi man gcc, /-I). După -I poate urma o cale absolută sau relativă. Căile date astfel au prioritate în fața căilor default pentru headere din sistem (se va căuta mai întâi în ele). Din punct de vedere al căilor pasate cu -I, prioritate are prima cale din cadrul apelului.

Căile default unde se pot afla headere pe usovm sunt, în această ordine:

• /usr/lib/gcc/i686-linux-gnu/5/include
• /usr/local/include
• /usr/lib/gcc/i686-linux-gnu/5/include-fixed
• /usr/include/i386-linux-gnu
• /usr/include

De exemplu, fie un fișier numit test.h existent atât în directorul a/, cât și în directorul b/ și inclus de fișierul sursă test.c.

$ ./get_headers_path.sh -Ia/ -Ib/ test.c
/path/to/dir/a/test.h
 
$ ./get_headers_path.sh -Ib/ test.c -I/path/to/dir/a/
/path/to/dir/b/test.h

Presupunând că fișierul test.h s-ar afla și în /usr/include, outputul rulărilor de mai sus ar fi același, prioritate având căile date explicit cu -I.

Dacă printre argumentele scriptului nu se află calea unui fișier C, se va afișa mesajul de Pass a C file , la stderr, și scriptul va ieși cu codul de eroare 1.

.
├── hello_0.c
├── hello_1.c
├── hello_2.c
├── hello_3.c
├── hello_4.c
├── hello_5.c
├── hello_6.c
├── hello_7.c
├── hello.h
├── include/
│   ├── hello_from_the_other_side.h
│   └── hello.h
└── math.h

Puctarea acestui task se va face astfel:

• [5p] Funcționarea corectă pentru fișiere simple, cu headere care pot exista doar in căile default sau include-uri de forma #include “header.h” (doar din directorul curent). Rularea scriptului se va face:

$ ./get_headers_path.sh <C_file>

• [7p] Funcționarea corectă atunci când se pasează și argumente de forma -Ipath. Headerele incluse nu vor fi in subdirectoare, adică nu vor fi în fișierul C linii de forma #include<dir/header.h>.Exemple de rulări valide:

$ ./get_headers_path.sh <C_file> -I.
$ ./get_headers_path.sh -I. <C_file>
$ ./get_headers_path.sh <C_file> -I. -Imydir/
$ ./get_headers_path.sh -I. <C_file> -Imydir -Iyourdir/

• [8p] Funcționarea corectă și completă a scriptului, cu argumente de forma -Ipath și cu headere incluse de forma #include<dir/header.h>

Creați un script numit change_date_format.sh, în directorul /home/student/tema4. La rulare scriptul primește ca argument un fișier text (calea către acesta) care conține date in format USA, de forma YYYY-MM-DD. De exemplu: 2016-12-25 corespunde datei 25 Decembrie 2016, 2001-01-02 pentru 2 Ianuarie 2001 etc.

• [7p] Scriptul trebuie să modifice fișierul dat astfel încât formatul de afișare al datei să devină DD/MM/YYYY (25/12/2016, respectiv 02/01/2001 pentru exemplele de mai sus).
• [8p] Extindeți scriptul astfel încât să funcționeze și pentru date unde MM din dată este luna în format scurt, de 3 litere, în limba engleză (Jan, Feb, Mar, Apr, May, Jun, Jul, Aug, Sep, Oct, Nov, Dec). De exemplu: 2016-Dec-25 să devină 25/12/2016. Scriptul trebuie să continue să înlocuiască și formatul inițial indicat la subpunctul anterior.

student@usovm:~/tema4/date_files$ ls
confs  gsoc_timeline  holidays  linuxcon  twelve_days

Scrieți un script bash, ~/tema4/get_tweets.sh, care să extragă doar tweet-urile dintr-un fișier text formatat într-un anumit fel. Liniile din fișier cu tweet-uri sunt de forma:

<tweet user>My awesome tweet about music</tweet>

   <tweet user>My awesome tweet about music<    /tweet>  
<tweet    user> My awesome tweet about music</tweet  >  
<      tweet user>   My awesome tweet about music<    /tweet  >

Fișierul poate conține și linii fără tweet-uri. Exemplu de conținut de fișier:

<tweet ion   >Ana are mere</tweet>
 
 
<tweet test_> Test </tweet>
Random line
<tweet    ana> la lala      </tweet>

• [7p] Scrieți scriptul astfel încât să poată primi calea către un fișier și să afișeze la stdout toate tweet-urile găsite. Scriptul trebuie sa afiseze la stdout linii de forma:

<user>: "<tweet>"

unde <user> este numele userului care a postat tweet-ul, iar <tweet> este conținutul tweetului respectiv. Într-o primă fază puteți considera că nu avem mai mult de un tweet per user în fișier. Liniile trebuie sortate alfabetic dupa user. De asemenea, spațiile și taburile redundante (trailing whitespaces) de la începutul și finalul mesajului nu trebuie să mai apară în outputul final. Pentru exemplul de mai sus, outputul va fi:

ana: "la lala"
ion: "Ana are mere"
test_: "Test"

• [8p] Extindeți scriptul astfel încât dacă există mai multe tweet-uri ale aceluiași user, acestea să apară în output în ordine exact inversă față de cum apăreau în fișier (ultimul tweet din fișier să fie primul, penultimul - al doilea etc.). Păstrați în continuare ordonarea dupa user menționată la subpunctul anterior, iar pentru tweet-urile aceluiași user, aplicați criteriul explicat.

• [5p] Extindeți scriptul astfel încât să poată fi apelat și cu opțiunea(argumentul) —matching urmat de un argument <word> (un cuvânt fără spații). Scriptul trebuie să obțină doar tweet-urile care conțin cuvântul <word>, necontand capitalizarea (litere mari/mici). Se pastrează precizările de la subpunctul anterior. Atenție, nu trebuie extrase și tweet-urile unde <word> se potrivește doar cu numele userului, acesta trebuiind să apară în textul tweet-ului.

Exemplu de rulare:

$ ./get_tweets.sh tweets_file --matching test

• [7p] Extindeți scriptul astfel încât să poată fi apelat și astfel:

$ ./get_tweets.sh tweets_file --matching <word1> <word2> … <wordn>

În acest caz scriptul trebuie să obtină doar tweeturile care conțin cel puțin unul dintre cuvintele <word1> sau <word2> sau … <wordn>, necontând capitalizarea. Putem presupune că nu vom pasa cuvinte care conțin --

• [8p]Extindeți scriptul astfel încât să poată fi apelat și astfel:

$ ./get_tweets.sh tweets_file --matching <word1> <word2> … <wordn> —all

În acest caz scriptul trebuie să obtină doar tweeturile care conțin toate cuvintele <word1> sau <word2> sau … <wordn>, necontând capitalizarea. Putem presupune că nu vom pasa cuvinte care conțin —. După —matching vor urma oricâte cuvinte, iar la final, ultimul argument al scriptului va fi —all.

student@usovm:~/tema4/tweets$ tree
.
├── tweets-00
├── tweets-00-shuf
├── tweets-01
├── tweets-01-shuf
├── tweets-02
├── tweets-02-shuf
├── tweets-10
├── tweets-10-shuf
├── tweets-11
├── tweets-11-shuf
├── tweets-20
├── tweets-20-shuf
├── tweets-21
└── tweets-21-shuf

• [3p] Instalați pachetul mysql-server-5.7. Setați parola root pentru userul root. Asigurați-vă că vă puteți conecta la server folosind comanda mysql -uroot -proot.

În urma primei rulări a checkerului, dacă subpunctul anterior a fost rezolvat corect, veți găsi database-ul world_x, care conține 4 tabele city, country, countryinfo și countrylanguage. Scrieți un script în directorul tema4 din home-ul utilizatorului student, numit query_world.sh care interoghează baza voastră de date locală. Scriptul poate fi rulat în următoarele moduri:

student@usovm:~$ echo "SELECT Name FROM city limit 2;" | mysql -uroot -proot world_x 2> /dev/null
Name
Kabul
Qandahar

• [9p]

  ./query_world.sh --city-population [-le | -ge ] N

În acest caz, scriptul va produce la stdout un fișier CSV cu toate orașele care îndeplinesc condițiile din argumente. Fișierul va avea capul de tabel City,Population. Dacă argumentele -le sau -ge lipsesc, atunci se vor afișa toate orașele care au populația egală cu N. Dacă înainte de N este prezent unul dintre argumentele -le sau -ge, atunci se vor afișa toate orașele cu o populație mai mică sau egală, respectiv mai mare sau egală cu N. Orașele afișate trebuie sortate crescător după populație, iar dacă numărul de locuitori este identic, atunci alfabetic după nume. Exemple:

student@usovm:~/tema4$ ./query_world.sh --city-population 1040000
City,Population
Jilin,1040000
Tangshan,1040000
student@usovm:~/tema4$ ./query_world.sh --city-population -le 500
City,Population
Adamstown,42
West Island,167
Fakaofo,300
Città del Vaticano,455
student@usovm:~/tema4$ ./query_world.sh --city-population -le 11999 -ge 9500
City,Population
Tamuning,9500
Basseterre,11600
Avarua,11900
student@usovm:~/tema4$ ./query_world.sh --city-population -ge 500 -le 699
City,Population
Bantam,503
Yaren,559
The Valley,595
Alofi,682

Pentru acest subpunct vi se garantează că primul argument primit de script este --city-population. În cazul în care N nu este un număr întreg strict pozitiv, se va afișa mesajul de eroare Illegal arguments la stderr, iar scriptul se va întoarce cu valoarea de retur 101. În cazul în care înainte de N scriptul primește un argument diferite de -ge sau -le, se va afișa mesajul Illegal arguments la stderr și scriptul va ieși cu valoarea de retur 101. În cazul în care argumentul --city-population este ultimul, atunci se vor afișa toate orașele din baza de date. În cazul în care argumentele sunt corecte, dar niciun oraș nu satisface cerințele, nu se afișa nimic (nici măcar capul de tabel). Exemple:

student@usovm:~/tema4$ ./query_world.sh --city-population 100a
Illegal arguments
student@usovm:~/tema4$ ./query_world.sh --city-population 0123
Illegal arguments
student@usovm:~/tema4$ ./query_world.sh --city-population -gt 123
Illegal arguments
student@usovm:~/tema4$ ./query_world.sh --city-population -ge
Illegal arguments
student@usovm:~/tema4$ ./query_world.sh --city-population
City,Population
Adamstown,42
West Island,167
...
Seoul,9981619
Mumbai (Bombay),10500000

• [9p]

  ./query_world.sh --city-population [-le | -ge] N [--country COUNTRY] 

Extindeți funcționalitatea scriptului astfel încât dacă primește și un parametru --country urmat de numele unei țări, va afișa doar orașe din acea țară. Parametrul --country poate apărea doar ultimul, nu va fi intercalat cu celelalte de la subpunctul anterior. Vi se garantează că după argumentul --country scriptul va primi încă un argument, numele țării de căutat. Exemple:

student@usovm:~/tema4$ ./query_world.sh --city-population -ge 340000 --country Romania
City,Population
Constanta,342264
Iasi,348070
Bucuresti,2016131
student@usovm:~/tema4$ ./query_world.sh --city-population  -ge 340000 -le 700000 --country Italy
City,Population
Firenze,376662
Bologna,381161
Genova,636104
Palermo,683794
student@usovm:~/tema4$ ./query_world.sh --city-population --country Tokelau 
City,Population
Fakaofo,300
student@usovm:~/tema4$ ./query_world.sh --city-population 776733 --country "United States"
City,Population
San Francisco,776733
student@usovm:~/tema4$ ./query_world.sh --city-population -le 90000 --country "United States"
City,Population
Charleston,89063
Carson,89089
Odessa,89293
Elgin,89408
Kenosha,89447
student@usovm:~/tema4$ ./query_world.sh --city-population "United States" --country 776733
Illegal arguments
student@usovm:~/tema4$ ./query_world.sh --city-population 123 --country "Romania"

• [9p]

  ./query_world.sh --district-population [-le | -ge] N [--country COUNTRY] 

Extindeți scriptul astfel încât dacă primul parametru este --district-population, acesta va afișa toate districtele care satisfac condițiile primite prin următoarele argumentele. Scriptul va funcționa în același mod ca la subpunctul anterior, doar că va afișa districte în loc de orașe. Populația unui district se va considera ca fiind suma tuturor orașelor care fac parte din acel district. Două districte cu același nume, dar din țări diferite, vor fi considerate diferite. Exemple:

student@usovm:~/tema4$ ./query_world.sh --district-population -le 180000 --country "United States"
District,Population
Montana,92988
New Hampshire,107006
South Dakota,123975
Rhode Island,173618
student@usovm:~/tema4$ ./query_world.sh --district-population -le 200000 -ge 160000 --country "Romania"
District,Population
Mures,165153
Sibiu,169611
Arad,184408
Arges,187170
student@usovm:~/tema4$ ./query_world.sh --district-population -le 200000 -ge 197000
District,Population
Northern Cape,197254
Manipur,198535
Kaolack,199000
Plaines Wilhelms,199080
Pahang,199484
Yamanashi,199753
student@usovm:~/tema4$ ./query_world.sh --district-population
District,Population
West Island,167
Fakaofo,300
...
England,19978543
Maharashtra,23659433
São Paulo,26316966

Asigurați-vă că ați submis tema și ați încărcat codul aferent submisiei în formularul din secțiunea de Informații generale. Acest lucru este necesar ori de câte ori modificați tema și o submiteți din nou (detalii aici), până la termenul limită. În caz contrar, punctajul aferent temei va fi nul (0 puncte).