Proiect

Etapa 3 a proiectul consta in implementarea unui lexer in python sau scala.

Un lexer este un program care imparte un sir de caractere in subsiruri numite lexeme, fiecare dintre acestea fiind clasificat ca un token, pe baza unei specificatii.

Lexer-ul primeste initial o specificatie de forma:

TOKEN1 : REGEX1;

TOKEN2 : REGEX2;

TOKEN3 : REGEX3;

...

unde fiecare TOKENi este un nume dat unui token, iar REGEXi este un regex ce descrie lexemele ce pot fi clasificate ca acel token. Puteti imagina aceasta specificatie ca un fisier de configurare, care descrie modul in care va functiona lexerul pe diverse fisiere de text.

Inputul efectiv al unui lexer este un text care va fi impartit in lexeme folosind expresii regulate. In cursurile viitoare veti afla mai multe detalii despre cum functioneaza si cum sunt implementate lexerele.

Lexer-ul are ca output o lista de forma : [(lexema1, TOKEN_LEXEMA_1), (lexema2, TOKEN_LEXEMA_2), …], unde TOKEN_LEXEMA_N este numele token-ului asociat lexemei n, pe baza specificatiei.

Pentru aceasta etapa va fi nevoie sa implementati clasa Lexer cu 2 metode obligatorii:

• constructorul care primeste ca parametru configuratia lexerului
• metodalex care va primi un cuvand ca str si va intoarce rezultatul lexarii lui sub forma List[Tuple[str, str]] | str. Metoda lex va intoarce o lista de tupluri (token, cuvant) in cazul in care lexarea reuseste si un string cu un mesaj de eroare in caz contrar. (Mai multe despre cazurile in care un lexer poate esua mai jos)

Specificatia va fi incarcata in teste sub forma unui dictionar TOKEN → REGEX

…

.
├── ID.txt
└── src
    ├── DFA.py
    ├── __init__.py
    ├── NFA.py
    ├── Regex.py
    ├── Parser.py
    ... (alte surse pe care le folositi)

.
├── build.sbt
├── ID.txt
└── src
    └── main
        └── scala
            ├── Dfa.scala
            ├── Nfa.scala
            ├── Regex.scala
            ... (alte surse pe care le folositi)