En este primer capítulo explicaré de donde obtener nuestros dataset, los cuales utilizaremos y explotaremos para analizar desde las visiones que deseemos mediante el análisis de ciertas medidas relacionadas con el rendimiento de los profesores y alumnos de Chile en Colegio públicos, particular subvencionado y privados.

Para esto decidí utilizar un dataset abierto construido por el Ministerio de Educación de Chile el cual se encuentra ubicado en la siguiente dirección. (menú tablas)

http://data.mineduc.cl/

En el sitio encontrarán diversos dataset, todos relacionados con la misma temática, los cuales contienen la historia de todos los años en que se ha ido recopilando la información. En este proyecto utilizaremos dos dataset, los cuales los pueden descargar del siguiente link. (De todas maneras los archivos se encuentran adjuntos en el caso que hayan sido removidos del sitio).

http://datastorage.mineduc.cl/tablas/Establecimiento_PSU.xlsx

http://datastorage.mineduc.cl/tablas/Establecimiento_EvaluacionDocente.xlsx

El primero considera los puntajes PSU promedio por cada colegio del País y para cada año (2006 hasta 2012). En el segundo dataset encontraremos datos relacionados con la evaluación docente en Chile, un tema bastante cuestionado actualmente. Este nos permitirá  conocer cantidad de profesores por cada colegio del país que obtuvieron niveles deficientes en los test hasta la cantidad de docentes evaluados con máxima distinción. Este dataset considera solo los años 2009 y 2010 (Ignoro porque no siguieron actualizando la data hasta hoy).

Como se pueden dar cuenta al abrir ambos archivos, existen datos muy potentes para realizar un análisis básico de ambos temas. Por ejemplo podemos obtener el Colegio con mejor puntaje promedio por año para matemáticas y lenguaje o también realizar un ranking de los mejores 5 para una región determinada. Existen un sinnúmero de visiones y análisis que podemos obtener con los datos, pero para eso necesitamos las herramientas necesarias que nos permitirán realizar este análisis.

Naturalmente esto mismo lo podemos realizar con las últimas versiones de Microsoft Excel, la herramienta preferida por la mayoría, pero que pasaría si la historia que tenemos almacenada se encuentra en una base de datos con millones de registros y ya no solo algunos años, sino que 30 años de historia? Obviamente para responder a los análisis que queremos realizar ya no nos bastaría con una planilla Excel, sino que necesitaríamos una herramienta capaz de responder en menos tiempo y capaz de almacenar miles o millones de registros.

Es por eso que intento explicar de manera simple los pasos a seguir para utilizar ciertas herramientas y explotar los datos que tenemos almacenados en nuestra Base de datos.

Teniendo descargados ambos dataset ya tenemos lista la primera parte de nuestro tutorial.

En el próximo capítulo hablaremos de las herramientas que utilizaremos para comenzar a “meter mano” a nuestro mini proyecto de creación, construcción y explotación de un modelo multidimensional utilizando herramientas libres y dataset públicos.

Finalmente quedo atento a cualquier comentario, sugerencia o felicitación que deseen expresar.

Saludos,

Continuando con el mini proyecto sobre el análisis de medidas relacionadas a la educación docente y puntajes PSU procederemos a puntualizar las herramientas a utilizar para poder llevar a cabo esta tarea.

Tal como lo expliqué en el capitulo anterior nuestros orígenes de datos corresponden a dos dataset públicos pertenecientes al Ministerio de educación los cuales contienen información histórica de las dos áreas antes mencionadas.

Por el lado de las herramientas a utilizar estas corresponden a herramientas libres las cuales nombro a continuación:

• Kettle
• Schema Workbench
• Jpivot
• OpenI Plugin for Pentaho
• BI Platform (Pentaho BI Server)
• Administration Console (Incluido en Bi Platform)

Todas las herramientas antes listadas son descargables desde el sitio http://community.pentaho.com/  exceptuando  el plugin OpenI for Pentaho la cual la pueden descargar desde http://openi.org/products/.

Cabe destacar que la herramienta JPivot viene incorporada en el paquete de Bi Server, pero debido a que se encuentra descontinuada será preferible utilizar el plugin para Pentaho OpenI la cual contiene un front end bastante parecido a Jpivot con la ventaja que está construida bajo tecnología web 2.0 la que nos permitirá tener una interacción mucho más fluida y dinámica que Jpivot.

Como punto anexo si desean pueden utilizar Saiku,  otra herramienta de análisis la cual he instalado y funciona a la perfección. Les entrego el link a ver si se animan a descargarla. http://analytical-labs.com/

Retomando el tema principal debemos tener en cuenta que lo primero que deben descargar e instalar es BI Platform y luego el resto. Para el caso de Mondrian este se encuentra incorporado dentro del BI Platform como motor, pero sí debemos descargar la herramienta cliente (Schema Workbench) la cual nos permitirá generar “amigablemente” los archivos estructurados que finalmente interpretará Mondrian. Esta tarea también se puede realizar a “mano” (con cualquier editor de texto) pero la probabilidad de error es mayor.

En resumen el orden que debemos seguir es el siguiente:

1. BI Platform (Pentaho BI Server)
2. MySql
3. Kettle
4. Schema Workbench
5. OpenI plugin for Pentaho

Cuando tengamos todo descargado e instalado en nuestra maquina estaremos en condiciones de levantar el BI Server de Pentaho (start-pentaho.bat) y probar ingresando a la URL con el usuario: joe password: password

Importante recalcar que en ningún caso tendremos un wizard tipo Windows con instaladores. Al ser versiones Community corresponden a directorios con los archivos necesarios para ejecutar los servicios.

Teniendo todas las herramientas listas para utilizar ya estamos en condiciones de comenzar a construir nuestro proyecto. A continuación la imagen muestra cómo quedaría nuestro Pentaho con el plugin OpenI y Saiku (extremo derecho)  para los que se alentaron a instalarlo.

En el próximo capítulo abordaremos el modelamiento de nuestra base relacional para alojar las dimensiones y tabla de facto para posteriormente explicar cómo construir los ETL utilizando la herramienta Kettle la cual nos permitirá mover los datos desde el origen al destino que será nuestro cubo.