En este tutorial se desarrolla un intérprete que recibe como entrada un archivo de texto que contiene varias sentencias de un lenguaje de programación diseñado especialmente para esta aplicación. Primero se hace análisis léxico y sintáctico de dicha entrada, durante el análisis sintáctico se carga en memoria un Árbol de Sintaxis Abstracta (AST) que se utiliza posteriormente para ejecutar las sentencias. El analizador se genera con PLY utilizando Python 3 en Ubuntu 18.04. El proyecto completo puede descargarse del siguiente enlace:
Todo el código del proyecto está documentado con comentarios que contienen los detalles de su funcionamiento.
Si se desea una introducción sobre el uso de PLY con Python pueden visitar el post: Mi primer proyecto utilizando PLY con Python 3, en el cual se describen los pre-requisitos y los pasos para la creación del proyecto.
El lenguaje de entrada
Dentro de la carpeta del proyecto, hay un archivo de entrada llamado entrada.txt en el cual se muestran ejemplos de todas las funciones del lenguaje diseñado para esta aplicación, al leerlo se puede tener una idea clara de las funciones con las que el lenguaje cuenta, este archivo contiene lo siguiente:
//Se imprime el encabezado imprimir("Tablas de" & " multiplicar");
//Se declara la variable a, de tipo numero numero a; //Se asigna a la variable a el valor 0 a=0; //Se declara la variable c, de tipo numero numero c; //Se asigna a la variable c el valor 0 c=1; //Se imprime un separador imprimir("----------------"); /** * Se imprimen las tablas del 1 al 5 y * para cada tabla, se imprimen los resultados * desde el uno hasta el 5, esto se hace con * dos ciclos while anidados. **/ mientras(a<4+c){ a=a+1; numero b; b=0; mientras(b<4+c){ b=b+1; imprimir(a & " * " & b & " = " & a * b); } imprimir("----------------"); }
//Se asigna a la variable a el valor de 11 a=11; /** * La variable b ya había sido declarada pero * dentro del ámbito del primer ciclo while, * entonces no existe en este ámbito por lo que * debe declararse. **/ numero b; //Se asigna valor de 12 a b y valor de 13 a c b=12; c=13; /** * Se evalua si el valor de la variable a es * mayor que 10, si el b es mayor que 11 y si * el de c es mayor que 12. **/ If(a>10){ imprimir("a es mayor que 10."); if(b>11){ imprimir("a es mayor que 10 y b es mayor que 11."); if(c>12){ imprimir("a es mayor que 10, b es mayor que 11 y c es mayor que 12."); } } }else{ imprimir("a es menor o igual que 10."); }
Como se puede observar, el lenguaje acepta:
Comentarios simples, es decir de una sola línea (//)
Comentarios múltiples, es decir de más de una línea (//)
Concatenación de cadenas mediante el operador &
Función Imprimir. Recibe como parámetro una cadena e imprime su valor en consola.
Declaración de variables. Únicamente se acepta definición de variables de tipo numero incluyendo enteros y decimales.
Asignación de variables. A cualquier variable se le puede asignar cualquier expresión que tenga como resultado un número.
Instrucción Mientras. Tiene el comportamiento clásico del ciclo while, ejecuta el ciclo mientras la expresión booleana que recibe sea verdadera. Esta instrucción soporta anidamiento.
Instrucción If e If-Else. Tiene el comportamiento clásico de las sentencias de selección If e If-Else, evalúa la expresión booleana y ejecuta el bloque de instrucciones en If si es verdadera. En caso contrario y si existe un bloque Else se ejecuta este bloque de instrucciones. Estas instrucciones también soportan anidamiento.
Expresiones aritméticas. Se soportan las expresiones aritméticas binarias: suma, resta, multiplicación y división. También la expresión unaria: negación. Adicionalmente se soporta expresiones agrupadas en paréntesis. Se maneja la precedencia habitual de las expresiones aritméticas.
Expresiones booleanas. Comparan dos expresiones que tengan como resultado un número y soportan unicamente los operados Mayor Que y Menor que (<, >).
El analizador léxico y sintáctico
En el archivo gramatica.py detallamos la estructura del lenguaje utilizando PLY. A continuación detallaremos los aspectos más relevantes.
Sobre el analizador léxico
El analizador léxico define los patrones para los tokens que deseamos reconocer. Hacemos uso de expresiones regulares para identificar números, cadenas y comentarios. Para esto hacemos uso del módulo re de Python
# Construyendo el analizador léxico import ply.lex as lex lexer = lex.lex()
Nótese que los comentarios, saltos de líneas y espacios en blanco son ignorados (no retornan ningún valor).
Otro aspecto importante a destacar es que las palabras reservadas son tratadas como Identificadores, esto se debe a que PLY da precedencia a las expresiones regulares más generales. Por ejemplo, la palabra reservada “Imprimir” siempre hará match con la expresión regular de Identificador, por lo que si se define de la forma t_IMPRIMIR = r'imprimir' nunca será alcanzado. Esto lo hace con la finalidad de hacer el proceso de parsing más eficiente al tener menos expresiones regulares que evaluar.
Sobre el analizador sintáctico
El objetivo principal de nuestro analizador sintáctico es validar que la entrada sea válida y, si lo es, construir el AST. Para lograr esto hacemos uso de la programación orientada a objetos. Específicamente haremos uso del polimorfismo para la construcción de nuestro árbol. Las clases utilizadas para construir las diferentes instrucciones que componen nuestro AST, están definidas en el archivo instrucciones.py.
Clases para Instrucciones
Primero definimos una clase abstracta Instruccion, esto nos permitirá abstraer las Instrucciones que soporta nuestro lenguaje:
1 2
class Instruccion: '''This is an abstract class'''
Seguidamente, definimos una clase concreta para cada una de las formas posibles que puede tomar Instruccion:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
class Imprimir(Instruccion) : ''' Esta clase representa la instrucción imprimir. La instrucción imprimir únicamente tiene como parámetro una cadena '''
def __init__(self, cad) : self.cad = cad
class Mientras(Instruccion) : ''' Esta clase representa la instrucción mientras. La instrucción mientras recibe como parámetro una expresión lógica y la lista de instrucciones a ejecutar si la expresión lógica es verdadera. '''
Por ejemplo, para la clase Imprimir vemos que extiende de Instruccion y que su única propiedad es la cadena que se va imprimir. Esta propiedad, cadena, es de tipo ExpresionCadena como veremos más adelante.
De la misma forma, la instrucción Mientras extiende de Instruccion y sus propiedades son la expresión lógica a evaluar y el set de instrucciones a ejecutar mientras la condición sea verdadera. expLogica es de tipo ExpresionLogica e instrucciones es una lista, y sus elementos son de tipo Instrucción.
El proceso es similar para las instrucciones de Definición y Asignación
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
class Definicion(Instruccion) : ''' Esta clase representa la instrucción de definición de variables. Recibe como parámetro el nombre del identificador a definir '''
def __init__(self, id) : self.id = id
class Asignacion(Instruccion) : ''' Esta clase representa la instrucción de asignación de variables Recibe como parámetro el identificador a asignar y el valor que será asignado. '''
class If(Instruccion) : ''' Esta clase representa la instrucción if. La instrucción if recibe como parámetro una expresión lógica y la lista de instrucciones a ejecutar si la expresión lógica es verdadera. '''
class IfElse(Instruccion) : ''' Esta clase representa la instrucción if-else. La instrucción if-else recibe como parámetro una expresión lógica y la lista de instrucciones a ejecutar si la expresión lógica es verdadera y otro lista de instrucciones a ejecutar si la expresión lógica es falsa. '''
De la misma manera que manejamos las instrucciones manejaremos las expresiones. Definimos 3 clases abstractas que representan los 3 tipos de expresiones soportadas por nuestro lenguaje: Expresiones Aritméticas, Expresiones con Cadenas y Expresiones Lógicas, todas ellas definidas dentro del archivo expresiones.py.
También haremos uso de enumeraciones para definir constantes de nuestras operaciones, esto es altamente recomendado para evitar bugs durante el desarrollo.
1 2 3 4 5 6 7 8 9 10 11 12 13
from enum import Enum
class OPERACION_ARITMETICA(Enum) : MAS = 1 MENOS = 2 POR = 3 DIVIDIDO = 4
class OPERACION_LOGICA(Enum) : MAYOR_QUE = 1 MENOR_QUE = 2 IGUAL = 3 DIFERENTE = 4
Iniciamos definiendo nuestra clase ExpresionNumerica de tipo abstracta y será nuestra clase base para las expresiones numéricas.
1 2 3 4
class ExpresionNumerica: ''' Esta clase representa una expresión numérica '''
Las formas que puede tomar nuestra clase ExpresionNumerica son las siguientes:
ExpresionBinaria. Representa una operación aritmética binaria, la clase recibe los 2 operados: exp1 y exp2, ambos de tipos ExpresionNumérica. Y recibe el operador el cual es un calor de nuestro enum definidos anteriormente.
ExpresionNegativo. Representa la operación aritmética unaria de negación. Únicamente recibe como parámetro la expresión que se negara, esta es también de tipo ExpresionNumerica
ExpresionNumero. Representa un valor terminal numérico. El parámetro val contiene el valor extraído por el analizador léxico.
ExpresionIdentificador. Representa un identificador. El parámetro id representa el nombre de la variable que se desea operar.
class ExpresionBinaria(ExpresionNumerica) : ''' Esta clase representa la Expresión Aritmética Binaria. Esta clase recibe los operandos y el operador '''
class ExpresionNegativo(ExpresionNumerica) : ''' Esta clase representa la Expresión Aritmética Negativa. Esta clase recibe la expresion ''' def __init__(self, exp) : self.exp = exp
class ExpresionNumero(ExpresionNumerica) : ''' Esta clase representa una expresión numérica entera o decimal. '''
def __init__(self, val = 0) : self.val = val
class ExpresionIdentificador(ExpresionNumerica) : ''' Esta clase representa un identificador. '''
def __init__(self, id = "") : self.id = id
Ahora, siguiendo el proceso anterior, definimos nuestras expresiones con cadenas.
class ExpresionCadena : ''' Esta clase representa una Expresión de tipo cadena. '''
class ExpresionConcatenar(ExpresionCadena) : ''' Esta clase representa una Expresión de tipo cadena. Recibe como parámetros las 2 expresiones a concatenar '''
class ExpresionDobleComilla(ExpresionCadena) : ''' Esta clase representa una cadena entre comillas doble. Recibe como parámetro el valor del token procesado por el analizador léxico '''
def __init__(self, val) : self.val = val
class ExpresionCadenaNumerico(ExpresionCadena) : ''' Esta clase representa una expresión numérica tratada como cadena. Recibe como parámetro la expresión numérica ''' def __init__(self, exp) : self.exp = exp
Y finalmente, definimos nuestras expresiones lógicas
1 2 3 4 5 6 7 8 9 10
class ExpresionLogica() : ''' Esta clase representa la expresión lógica. Esta clase recibe los operandos y el operador '''
Para construir el AST durante nuestro análisis sintáctico importamos nuestras clases de instrucciones y expresiones. Esto también incluye nuestros enum para las constantes, esto se hará en el archivo gramatica.py.
1 2 3 4
# Definición de la gramática
from expresiones import * from instrucciones import *
Una vez importados podemos hacer uso de ellas en la gramática. Por ejemplo, para la construcción de operaciones aritméticas hacemos uso de nuestras clases de tipo ExpresionNumerica, pasamos como parámetros los operandos y el tipo operación (utilizando nuestras constantes).
La tabla de símbolos es la que permite el almacenamiento y recuperación de los valores de las variables. Para su implementación hacemos uso de una clase, ya que necesitaremos más de una instancia de tabla de símbolos. Cada ámbito tiene acceso únicamente a su propia tabla de símbolos y a la de los niveles superiores, la definición de esta clase puede encontrarse en el archivo ts.py.
Definimos las constantes para los tipos de datos, en este tutorial se hace uso únicamente del tipo de dato numérico.
1 2 3 4
from enum import Enum
class TIPO_DATO(Enum) : NUMERO = 1
Definimos una clase para los Símbolos.
1 2 3 4 5 6 7
class Simbolo() : 'Esta clase representa un simbolo dentro de nuestra tabla de simbolos'
def __init__(self, id, tipo, valor) : self.id = id self.tipo = tipo self.valor = valor
La clase TablaDeSimbolos define la estructura de una tabla de símbolos y sus funciones para agregar, modificar y obtener símbolos.
def agregar(self, simbolo) : self.simbolos[simbolo.id] = simbolo def obtener(self, id) : if not id in self.simbolos : print('Error: variable ', id, ' no definida.')
return self.simbolos[id]
def actualizar(self, simbolo) : if not simbolo.id in self.simbolos : print('Error: variable ', simbolo.id, ' no definida.') else : self.simbolos[simbolo.id] = simbolo
Construcción del Intérprete
La definición del Intérprete se encuentra en el archivo principal.py
Para iniciar con la implementación, primero importamos nuestra gramática, las constantes y clases de nuestro AST y la Tabla de Símbolos.
1 2 3 4
import gramatica as g import ts as TS from expresiones import * from instrucciones import *
Seguidamente, obtenemos el AST a partir del archivo de entrada.
Nótese que el AST está contenido en la variable instrucciones.
La función principal del intérprete es de reconocer cada instrucción y ejecutarla, para esto es necesario recorrer el AST; es por ello que se ha definido la función procesar_instrucciones la cual itera las instrucciones en un ámbito y las ejecuta.
Para iniciar con la ejecución se crea la tabla de símbolos para el ámbito global y se invoca la función procesar_instrucciones con la raíz del AST y la tabla de símbolos del ámbito global.
1 2 3 4 5 6 7 8 9 10
def procesar_instrucciones(instrucciones, ts) : ## lista de instrucciones recolectadas for instr in instrucciones : if isinstance(instr, Imprimir) : procesar_imprimir(instr, ts) elif isinstance(instr, Definicion) : procesar_definicion(instr, ts) elif isinstance(instr, Asignacion) : procesar_asignacion(instr, ts) elif isinstance(instr, Mientras) : procesar_mientras(instr, ts) elif isinstance(instr, If) : procesar_if(instr, ts) elif isinstance(instr, IfElse) : procesar_if_else(instr, ts) else : print('Error: instrucción no válida')
Existe una función para procesar cada instrucción.
Las sentencias Mientras, If e If-Else crean nuevas tablas de símbolos antes de procesar las instrucciones dentro de sus bloques de instrucciones. Estas nuevas tablas de símbolos se inicializan con los valores de la tabla de símbolo actual y al terminar la ejecución de la sentencia los valores son eliminados ya que la instancia se crea localmente en el cuerpo de la función.
def procesar_if(instr, ts) : val = resolver_expreision_logica(instr.expLogica, ts) if val : ts_local = TS.TablaDeSimbolos(ts.simbolos) procesar_instrucciones(instr.instrucciones, ts_local)
def procesar_if_else(instr, ts) : val = resolver_expreision_logica(instr.expLogica, ts) if val : ts_local = TS.TablaDeSimbolos(ts.simbolos) procesar_instrucciones(instr.instrIfVerdadero, ts_local) else : ts_local = TS.TablaDeSimbolos(ts.simbolos) procesar_instrucciones(instr.instrIfFalso, ts_local)
Las sentencias de Declaración y Asignación agregan y modifican valores de la tabla de símbolos. La sentencia Imprimir muestra el valor de una cadena en la consola.
def procesar_definicion(instr, ts) : simbolo = TS.Simbolo(instr.id, TS.TIPO_DATO.NUMERO, 0) # inicializamos con 0 como valor por defecto ts.agregar(simbolo)
Finalmente, todas las sentencias descritas anteriormente hacen uso de las operaciones numéricas, con cadenas y lógicas las cuales hacen uso de la tabla de símbolos para obtener valores de las variables.
Para las expresiones numéricas evaluamos el tipo de operación y con base en ellos resolvemos el valor apropiado
Para las expresiones con cadenas también validamos el tipo de operación para verificar si es necesario una operación de concatenación. En cualquier caso se resuelve la cadena. También es posible concatenar valores numéricos, para esto resolvemos la expresión apoyándonos de la función para procesar expresiones numéricas.
Al igual que las expresiones con cadena, las expresiones lógicas también se apoya en la función que procesa expresiones numéricas para poder evaluar las condiciones booleanas.
Para ejecutar nuestro intérprete y procesar el archivo de entrada ejecutamos el siguiente comando:
1
$ python3 ./principal.py
Y veremos el resultado en consola.
Acerca del autor:
Este tutorial fue elaborado por el Auxiliar de Cátedra Rainman Sián, como contribución al curso de Organización de Lenguajes y Compiladores 2 de la Universidad de San Carlos de Guatemala.
Fuentes consultadas:
Compiladores, principios, técnicas y herramientas. Aho, Lam, Sethi y Ullman. Segunda Edición.