Un lexer est un logiciel qui transforme un texte en jetons (token). Vous pouvez y penser de façon similaire à transformer un texte en parties de la parole. Cela se fait en utilisant des expressions régulières.

Vous pouvez construire un lexer de deux façons:

• Ecrire un programme qui utilise des expressions régulières et commencer à faire correspondre ces expressions régulières
• Utilisez un générateur de lexer qui reçoit les expressions régulières et écrit le lexer pour vous