Las grandes bases de datos se han convertido en herramientas esenciales para el día a día de los investigadores. Su elaboración e interpretación pueden encauzar medidas de impacto en sectores matrices como el educativo. Los expertos reunidos en la I Jornada Uso de Grandes Bases de Datos en Investigación Educativa, celebrada en la Facultad de Lenguas y Educación de la Universidad Nebrija, promocionaron el uso de las grandes bases de datos, “en muchas ocasiones infrautilizadas”, entre la comunidad académica.
El mensaje principal del encuentro lo resumió en las palabras de bienvenida José Muñiz, rector de la Universidad Nebrija. “El uso de las bases de datos y la consecución de las muestras son uno de los cuellos de botella de las investigaciones”, manifestó sin dejar pasar por alto las dos “grandes” cuestiones en este campo: la metodología implicada para el uso y el manejo de las bases de datos, y “qué hago con los datos, el reto de afinar”.
La labor del INEE
En el actual auge de la información a gran escala y en su “pobre” uso insistió Francisco Javier García Crespo, jefe de Área de Gestión y Análisis de Datos del INEE (Instituto Nacional de Evaluación Educativa) y profesor de Estadística e Investigación Operativa de la Universidad Complutense de Madrid (UCM). El “error” de no conocer cómo se construyen las bases de datos y qué estrategias se aplican una vez estudiadas estas vías de información son dos de las derivas que apuntó el coordinador de evaluaciones del sistema educativo.
Para corregir el rumbo, el INEE, dependiente del Ministerio de Educación, Formación Profesional y Deportes, ejerce una labor de divulgación que va más allá de la elaboración de planes plurianuales de evaluación general del sistema educativo y de la coordinación de la participación del Estado español en las evaluaciones internacionales con los organismos internacionales correspondientes (OCDE, IEA, Comisión Europea), entre otras funciones reguladas.
En un mundo “cambiante en el que la inteligencia artificial nos ha roto todos los esquemas”, García Crespo recordó las posibilidades de las bases de datos para evaluar los sistemas educativos y al alumno del siglo XXI “más allá del conocimiento”, aunando sus destrezas y las habilidades no cognitivas, “básicas” a la hora de buscar trabajo.
La evaluación, a su juicio, permite la adaptación a un nuevo contexto caracterizado por las necesidades del mercado, la información “útil” de los rasgos socioemocionales del alumno y sus habilidades y competencias, entre otros parámetros.
Calificar versus evaluar
“Calificar es fácil, pero evaluar ya no es tan fácil, les ponemos un examen que engloba toda la información, pero cuando el profesor se pone a corregir, se da cuenta de que a lo mejor en ese momento no hemos evaluado adecuadamente. No siempre acertamos en la evaluación respecto de lo que enseñamos y de lo que el alumno necesita”, explicó.
Sin desdeñar la evaluación interna, la que ejerce el docente en el día a día, el analista del INEE ponderó la evaluación externa del sistema como “la única vez que le ponemos nota a nuestros políticos para ver si el sistema está construido sobre los estándares de una nueva ley”. La transparencia, la rigurosidad, la integración en el proceso educativo habitual y la valoración de los resultados en su contexto son las características que deben nutrir las evaluaciones externas que, a gran escala “sirven para establecer puntos de referencia, analizar tendencias, rendir cuentas, divulgar la transparencia, y conocer, innovar y mejorar el sistema educativo”.
Toma de medidas basadas en datos
Asimismo, Francisco Javier García Crespo esbozó las evaluaciones externas en España y las internacionales (con la Organización para la Cooperación y el Desarrollo Económico -OCDE- y la Asociación Internacional para la Evaluación del Rendimiento Educativo -IEA-) ambas pergeñadas por el INEE. PISA, la evaluación del sistema educativo más reconocida, con su ciclo de evaluaciones de unos cuatro años, recoge la información de más de 700 000 alumnos en 100 países con más de 1000 variables por cada estudiante, algunas muy específicas como el bienestar, la competencia digital y el gusto por la lectura. Su base de datos pesa 1,6 gigas. En España, el estudio analiza 960 centros y 45 000 alumnos que cumplen 16 años en el curso estudiado.
Para finalizar su intervención, García Crespo insistió en la importancia de diseñar una buena investigación sobre las bases de datos; por este motivo, dio consejos para elaborar una buena base de información sin olvidarse la toma de medidas que se difieren de su correcta interpretación.
ILSA y sus variables
En la segunda ponencia de la jornada, Rubén Fernández Alonso, profesor de Métodos de Investigación de la Universidad de Oviedo, se refirió a las evaluaciones internacionales a gran escala (ILSA -International Large Scale Assessments-), cuya finalidad de origen era la toma de las decisiones políticas, “aunque los investigadores les están sacando más partido a los datos que los propios gestores”.
El psicómetra Fernández Alonso se adentró en cuestiones técnicas para valorar las evaluaciones internacionales con su marco teórico, “como un vestidor de una casa”, sus variables jerárquicas y “sus limitaciones, riesgos y errores”. En este último apartado, estimó que a veces las variables no se cruzan con datos administrativos (historia escolar, gasto o recursos) y no hay resultados en términos cognitivos, “si bien se van mejorando en informes como PISA con la inclusión del bienestar”. No obstante, en la evaluación PISA echó en falta información en el ámbito del aula e hizo ver que la información de la familia es opcional.
“En ocasiones, estas evaluaciones funcionan al revés del manual académico, primero vienen los datos y luego las preguntas de investigación”, dijo.
Tres referencias para iniciados
Para iniciarse en este tipo de metodología, Rubén Fernández Alonso aconsejó tres referencias: el libro International Handbook of Comparative Large-Scale Studies in Education, la revista Large-scale Assessments in Education y la página electrónica ILSA Gateway.
El profesor de la Universidad de Oviedo también describió diferentes métodos de análisis, relaciones complejas entre variables, análisis de redes alternativas a los diseños jerárquicos, metodologías de acumulación y las últimas tendencias de evaluación: los “metaanálisis con participantes individuales”, que ahora están desarrollando en conjunto cuatro universidades.
Cuatro buenas prácticas
La I Jornada Uso de Grandes Bases de Datos en Investigación Educativa concluyó con una mesa redonda con cuatro experiencias y buenas prácticas en el uso de bases de datos para la investigación educativa.
Bajo la moderación de F. Javier Murillo, investigador principal del Grupo de Investigación Calidad y Equidad en Educación (CE_Ed) en la Universidad Nebrija, Cynthia Martínez-Garrido (Universidad Autónoma de Madrid), Fernando Martínez Abad (Universidad de Salamanca), Raquel Graña Oliver (Universidad Nebrija) y Jesús Miguel Rodríguez Mantilla (Universidad Complutense de Madrid) compartieron sus metodologías y análisis con los asistentes. El cuarteto de investigadores está implicado en la edición de revistas de alto impacto y forma parte de grupos punteros de investigación.
Mientras Fernando Martínez Abad argumentó sobre la necesidad de estar al día en Tecnologías de la Información y la Comunicación (TIC) y sobre su proyecto nacional Evidence: Evaluación y Promoción de la Equidad Educativa en Educación Secundaria: Análisis Secundario de las Evaluaciones PISA y formación de agentes educativos claves, Raquel Graña, miembro de CE_Ed, mostró cómo utilizó siete bases de datos de los países de origen objeto de su investigación para elaborar su tesis doctoral Una aproximación a la Segregación Escolar en Educación Primaria en América Latina (2023).
Usos alternativos de las bases de datos
Por su parte, Jesús Miguel Rodríguez Mantilla, director del Grupo de Investigación Calidad y Evaluación de Instituciones Educativas de la UCM, analizó los usos “alternativos” de las bases de datos como su aplicación en diversas asignaturas donde los alumnos “van a estar en contacto con datos reales, simulan estudios de investigación y desarrollan el pensamiento crítico y las habilidades analíticas”.
Otro de los usos tiene que ver con la inteligencia artificial, “que ya cuestiona si procede que los TFM (Trabajos Fin de Máster) y los TFG (Trabajos Fin de Grado) sean como son ahora”. Rodríguez Mantilla afirmó que la inteligencia artificial (IA) te permite analizar bases de datos, “aunque si tu no sabes darle las instrucciones adecuadas es como un mono dando a un teclado”, así como crearlas, pero con el peligro de incluir “datos falsos, aunque realistas”.
Transferencia de conocimiento
En el último turno del coloquio, Cynthia Martínez-Garrido, miembro de CE_Ed y del Observatorio de la Segregación Escolar, abogó por una investigación “de impacto para provocar la transferencia de conocimiento a la sociedad” con un equipo bien formado, una multiplicidad de bases de datos, la participación en congresos y la colaboración con los medios de comunicación, entre otras claves.
Las buenas prácticas, en su opinión, deben estar acompañadas de “acciones facilitadoras” como el apoyo a ayuntamientos, organizaciones, partidos políticos, sindicatos y otros agentes implicados en la toma de decisiones.
Investigaciones que cambian la realidad
Las últimas palabras de la Jornada correspondieron a F. Javier Murillo, que reivindicó, en el campo de las bases de datos, la relevancia en el trabajo diario de los investigadores, la formación y la necesidad de transparencia de las administraciones. “No hacemos investigación para lograr sexenios, sino para cambiar la realidad, y las bases de datos tienen una gran capacidad de inferir en ella”, opinó.
Texto: Javier Picos / Fotos: Zaida del Río.