FUNCIONES DEL ANALIZADOR LEXICO

Un analizador léxico aisla el analizador sintactico de la representacion de lexemas de los componentes lexicos.



COMPONENTES


TOKENS: Unidad mínima de informacion que significa algo a la hora de copilar

LEXEMA: Una secuencia de caracteres de entrada que comprenden un solo componente lexico se llama lexema.


FUNCIONES:


1- Eliminacion de espacios en blanco

2-reconocimiento de identificadores y palabras claves

3- analizador lexico(scanner) lee la secuencia de los caracteres del programa fuente, y los agrupa para formar unidadescon significado propio.

TEORIA DE AUTOMATAS FINITOS
Es un modelo matematico que realiza computos en forma automática sobre un entrada para producir una salida.