Universidad Nebrija

Este artículo presenta una reflexión sobre el uso del cuestionario como instrumento para la recogida de datos en la investigación en Lingüística Aplicada a la enseñanza de lenguas extranjeras. Concluye con la necesidad de no administrarlos sin considerar otros elementos con los cuales triangular los resultados obtenidos.

This article presents a reflection on the use of the questionnaire as a tool for collecting data in research in Applied Linguistics to the teaching of foreign languages. Concludes with the need not manage without considering other elements with which to triangulate results.

La mayor parte de las investigaciones que componen este número de la Revista Nebrija utilizan el cuestionario como instrumento para la recogida de datos. No es nuestra intención definir en modo incontestable este instrumento de investigación pero para partir de un punto común consideramos que el cuestionario es un instrumento que se estructura como un conjunto de preguntas definidas por la persona que lo construye. Para decirlo con las palabras del Diccionario de la Real Academia (versión electrónica), una “Lista de preguntas que se proponen con cualquier fin”.

Algunas características lo hacen un instrumento preferido por los investigadores: el hecho que permite (a) la medición cuantitativa de fenómenos y paralelamente (b) la estandarización de los estímulos y frecuentemente la estructuración de las respuestas. En este último punto no hay que pensar solo a la dicotomía de respuesta cerrada o abierta, sino más bien a otras variables que pueden esconderse en la redacción misma de una pregunta (Silverman 2009: 275).

Pasar un cuestionario es fácil y suele ser muy económico en términos de tiempo, sobre todo cuando no existe la mediación de un entrevistador. Las informaciones que se recogen se colocan (muchas veces incluso automáticamente cuando los cuestionarios son accesibles desde la web) sobre una hoja de datos y se procesan en pocos minutos.

El primer punto sobre el cual se debería meditar cuando se desarrollan cuestionarios es si estamos delante del “método justo” para estudiar un determinado fenómeno. El dato que se extrae de un cuestionario no es de la misma calidad del que se obtiene con un protocolo de “pensamiento en voz alta” o de observación de la realización de una tarea. Esta es la razón por la cual los estudios sobre estrategias o sobre motivación de gran envergadura, para focalizar nuestro tema central, utilizan sistemas de triangulación en los que el cuestionario es solo una parte del diseño de investigación.

Existen tras grande áreas sobre las que los cuestionarios indagan y son:

• las características sociodemográficas (edad, sexo, estado civil, titulo de estudio, profesión, etc.)
• los comportamientos (acciones y hechos observables desde el punto de vista empírico);
• las actitudes (del tipo de valores, juicios y opiniones) que por su misma naturaleza son intangibles.

Estos tres ámbitos requieren una formulación de las preguntas substancialmente diferente porque –aun conservando las características generales de claridad, reducción de la ambigüedad y propiedad- las últimas necesitan reconducir la interrogación a situaciones más objetivas que impliquen la estructura latente del fenómeno que se estudia. La redacción de preguntas o de encabezados de ítems tiene ya una tradición bibliográfica suficientemente validada. Es difícil pensar la pregunta correcta pero sabemos qué es lo que no hay que hacer o cómo no debemos redactar (Ainciburu 2008). Desde el punto de vista operativo, entonces, no se debería preguntar ¿sabe usar este programa informático? sino ¿cuántas veces ha usado este programa informático en las últimas x semanas/días? Lo mismo sucede con las opiniones generales, no se debería preguntar “¿qué estrategia es la que utiliza más? sino pedir que se coloquen en orden de uso a partir de una lista ya validada.

El desarrollo de un cuestionario es un punto central en la investigación y sin una relativa validación es probable que los resultados derivados carezcan de significación. El tiempo que “ahorramos” en la administración de un cuestionario debería compensarse con una dedicación mayor a la redacción de cada pregunta, a la representatividad de los constructos en relación al fenómeno estudiado y a la validación con un grupo de informantes más pequeño pero de características similares a las de la utilización que constituye la recogida de datos del estudio. Este estudio piloto debería permitirnos verificar la comprensibilidad de las preguntas, verificar la estructura lógica del cuestionario (comprobar que no haya un esquema de encadenamiento lógico de las preguntas y si éstas son coherentes con los constructos estudiados) y controlar los tiempos de relevación de los datos.

Existen modos de estimar la consistencia interna de un cuestionario usando técnicas como el alfa de Cronbach o los KR (20 o 21). Estos métodos miden la fiabilidad de una escala de medida y tienen como requisitos previos que las respuestas se sumen para dar un resultado final interpretable y que tengan un mismo sentido de respuesta (a mayor puntuación mayor motivación por ejemplo). Esos prerrequisitos deberían evidenciarse, así como la decisión de utilizar escalas de Likert con o sin posición intermedia (pares o impares).

Cada constructo debería calcularse en modo individual y solo luego evidenciar el dato total. Eso no se hace en todos los artículos que estamos considerando y es posible que no sea por una cuestión de síntesis, dado que algunos son bastante extensos.

Todos estos puntos son banales y me disculpo; se encuentran en cualquier manual de metodología de la investigación (excelentes y actualizados, Dörnyei 2007; Loewen y Gass 2009). Sin embargo, los artículos publicados en los últimos años y los que publicamos en este número de la Revista Nebrija, no cumplen algunos de los pasos metodológicos mínimos. Pensamos que sea útil señalar algunos detalles de diseño que consideramos importantes:

• Los cuestionarios ya utilizados por otros autores no constituyen de por sí un modo de recogida de datos válido. Es fundamental reconsiderar los elementos de estructuración y la adecuación de las preguntas a los constructos. Entre replicar y reconsiderar un cuestionario la segunda opción posee más valor cuando los errores en la construcción del instrumento sean evidentes.
• El cálculo de la coherencia interna no asegura que las preguntas sean claras, estén correctamente redactadas, etc. La validación debe realizarse usando otro tipo de técnica, obviamente no excluyente respecto al cálculo de la coherencia interna.
• Si se traduce un cuestionario, se cambian ítems o se cambia en forma relevante la calidad de los informantes o el procedimiento, se debe validar nuevamente el instrumento de recogida de datos.
• Lo ideal es obtener datos que puedan triangularse con los provenientes de la recogida por cuestionarios. Sobre todo datos cualitativos provenientes de entrevistas, observación de clases, etc. Esto suele exceder la extensión de un trabajo de investigación previo a un artículo pero debería ser considerado al menos entre los límites del trabajo y siempre cuando el horizonte de la investigación sea más amplio (una tesis doctoral, por ejemplo)

Del mismo modo, cuando los datos se someten a tratamiento estadístico, es necesario realizar una serie de medidas que aseguran los prerrequisitos necesarios para aplicar dicho cálculo. Un análisis de varianza aplicado a un grupos que no poseen condiciones de normalidad, independencia y varianza homogénea, no da resultados significativos aunque el cálculo en sí mismo evidencie un p de valor significativo. Todas estas condiciones tienen que estar aseguradas. No en el artículo y con tablas o gráficos como se hace en un trabajo más extenso, pero sí en una nota o antes de presentar los resultados.

Hacer un buen cuestionario es difícil, reutilizarlo es una buena práctica de economía investigadora, sin embargo, debemos interrogarnos sobre el valor de los datos obtenidos. Es probable que las preferencias de los estudiantes puedan estudiarse preguntándolas pero también viendo cómo se comportan cuando escogen, que las estrategias puedan preguntarse pero también observarse mientras se realizan tareas. Queda claro que los datos obtenidos no tienen el mismo valor informativo. Eso lo demuestra claramente el uso de los sondeos electorales, dan un range de previsión que no siempre coincide con el voto efectivo. Aunque los electores acaben de votar (exit-pol), aunque la muestra sea suficientemente numerosa.

El tema que queda pendiente en muchos de estos casos tiene que ver con un problema central de la metodología de la investigación ¿cómo y cuándo replicar? Y sobre todo ¿si una investigación se realizó con 300 participantes, tiene sentido replicarla con 20? Esto nos introduce en otro problema ¿qué es una población? ¿cuántos participantes constituyen una muestra significativa en cantidad y calidad? A estas reflexiones dedicaremos otras páginas

Silverman, D. (2009) Doing Qualitative Research. Londres: Sage Publications.
Loewen, S. y S. Gass (2009). The use of statistics in L2 acquisition research. Language Teaching, 42, pp 181-196.
Dörnyei, Z. (2007). Research methods in Applied Linguistics. Oxford: Oxford University Press