Con frecuencia, la duración de un cuestionario acaba siendo excesiva simplemente porque todos los que están directa o indirectamente implicados en el tema del estudio quieren poder añadir preguntas. El peligro puede ser que la encuesta acabe siendo demasiado larga y que, como resultado, la calidad de algunos datos sea deficiente.
Ocho trucos para minimizar el problema de los cuestionarios demasiado largos
Los cuestionarios pueden ser demasiado largos por muchas razones. Con frecuencia, acaban siendo demasiado largos simplemente porque todos los que están directa o indirectamente implicados en el tema del estudio quieren poder añadir preguntas. El razonamiento es ‘ya que hacemos una encuesta, aprovechemos para sacarle el máximo provecho’. El peligro puede ser que la encuesta acabe siendo demasiado larga y que, como resultado, la calidad de algunos datos sea deficiente.
En las encuestas con metodología online esto es particularmente preocupante porque conforme va pasando el tiempo y los encuestados se van fatigando, pueden disminuir su atención. En la medida en que no interviene un encuestador y que es el encuestado quien marca el ritmo, puede verse afectada la calidad de los datos recogidos hacia el final de la encuesta.
¿Por qué un cuestionario demasiado largo puede afectar la calidad de los datos?
Se incrementa la no respuesta y la tasa de abandono
En primer lugar, porque a medida que la duración de la encuesta se incrementa también suben los índices de no respuesta y la tasa de abandono. Esto puede afectar negativamente la representatividad de la muestra. En un experimento de Galesic y Bosnjac para probar este punto se dividió a 3.472 encuestados en 3 grupos que cumplimentaron una encuesta on-line con duraciones diferentes (10, 20 y 30 minutos). El gráfico muestra cómo la proporción de encuestados que completan la encuesta declina conforme la longitud de la encuesta se incrementa.
Hay que tener siempre en cuenta que muchos encuestados no desean estar tanto tiempo respondiendo preguntas y que algunos de ellos ni tan solo habrían empezado la encuesta si hubieran conocido la duración real. Por eso, anunciar la longitud de la encuesta en la invitación es una best practice.
Aparecen encuestados que responden sin pensar
Por otro lado, existe el riesgo que entre los encuestados que sí están dispuestos a soportar una encuesta larga aparezcan los denominados satisfactores. El satisficing ocurre cuándo los encuestados seleccionan las opciones de respuesta sin pensar, buscando hacer el mínimo esfuerzo para responder la pregunta en lugar de esforzarse para buscar la respuesta óptima que representa su opinión. Estos encuestados pueden comportarse seleccionando la primera opción de respuesta de cada pregunta, haciendo straight-lining en preguntas de batería (seleccionando lo mismo en todos los ítems) o, simplemente, escogiendo respuestas al azar sin más.
En el mismo experimento de Galesic y Bosnjac ya mencionado se quiso probar el impacto de la longitud de encuesta en la calidad de datos. Se utilizaron una gran variedad de indicadores incluido el tiempo de respuesta, la variabilidad de las respuestas en los ítems de una batería y la longitud de las respuestas abiertas. Los resultados que se obtuvieron permitieron concluir que la duración de la encuesta afecta a la calidad de los datos: se dedicó menos tiempo a responder, la variabilidad de las respuestas en las baterías fue más baja y las respuestas abiertas más cortas.
¿Cuándo un cuestionario largo es demasiado largo?
‘And finally question fifty, Do you ever feel like killing someone?’
Se ha debatido mucho cómo de largo puede ser un cuestionario antes de que los encuestados den señales de fatiga y de que la calidad de los datos empiece a declinar. Algunas investigaciones muestran que la atención disminuye entre los 15 y los 20 minutos y que las encuestas de 15 minutos o menos es mucho menos probable que causen fatiga. Sea cuál sea el umbral, una encuesta más corta facilita una experiencia más satisfactoria al encuestado y hace más probable que acepte responder otras encuestas en el futuro.
8 trucos para reducir la duración de los cuestionarios
Para los investigadores interesados en reducir la longitud de los cuestionarios, hay dos maneras de acortar las encuestas. La primera es buscando maneras de eliminar preguntas. La segunda es reduciendo cognitivamente la longitud percibida de la encuesta. A continuación, mostramos algunas estrategias que pueden ayudar a reducir la longitud de los cuestionarios sea de un modo u otro.
1. Confirmar los datos sociodemográficos en lugar de preguntarlos
Es más rápido pedir a los encuestados que confirmen la información disponible sobre ellos que pedirles que la escriban o la seleccionen por sí mismos. De este modo es posible acortar la longitud total del cuestionario en preguntas de clasificación en la que recogen datos geográficos o sociodemográficos con los que ya se cuenta previamente.
2. Evaluar la necesidad del texto que no forma parte de preguntas
Otra contribución a la duración de una encuesta son los textos de pantallas de bienvenida, introducciones, agradecimientos e información de incentivos. Debemos considerar el contexto en el que el cuestionario se verá. ¿Es posible eliminar o acortar esta información si ya es conocida o es redundante?
3. Fragmentar la encuesta en segmentos
Hay varias aproximaciones útiles para ello. Por ejemplo, puede fragmentarse una encuesta larga en varios módulos y preguntar después de cada uno si se está dispuesto a continuar. Ello permite a las personas con tiempo y energía continuar mientras que los otros proporcionan sólo información parcial. En este sentido, se ha demostrado que hay encuestados que es más probable que completen una encuesta larga si se les da el control sobre el momento de acabarla. Existen diversas técnicas para completar los datos de quienes escogen no seguir pero es importante, para asegurar la integridad de los datos, que las apliquen investigadores experimentados.
4. Reutilizar datos recogidos anteriormente
¿Se ha hecho la pregunta en una encuesta anterior? Reutilizar los datos de estudios anteriores puede ayudar a focalizarse en nuevos insights si la información todavía es lo suficientemente actual y precisa.
5. Reconsiderar hacer preguntas con respuestas constantes
Los investigadores saben que las respuestas a algunas preguntas no suelen cambian. Si la respuesta a una pregunta nunca cambia, los investigadores pueden plantearse hacer la pregunta con menor frecuencia. También podemos formularla solo a una submuestra con lo que se reducirá la duración global.
6. Evaluar cada pregunta independientemente
Es fácil caer en el deseo de obtener más información y de hacer demasiadas preguntas. Por ello es una best practice evaluar la necesidad de cada pregunta independientemente antes de incluirla en la encuesta. ¿Qué mostrarán las respuestas? ¿Cómo se utilizarán los datos? ¿Está disponible ya la misma información de algún modo? Eliminar preguntas no esenciales reducirá la duración y mejorara la experiencia de la encuesta.
7. Tener en cuenta la teoría de la autodeterminación
La teoría de autodeterminación sostiene que las personas están más motivadas para completar tareas en las que se realcen necesidades universales intrínsecas tales como la autonomía, el deseo de relacionarse o la competencia. Los investigadores pueden motivar a los participantes de diversas manera. Por ejemplo, incorporando a la encuesta un vocabulario adecuado en el que se reafirmen estas cualidades en los encuestados.
8. Incorporar la gamificación con el objetivo de reducir la fatiga
Un cuestionario largo de preguntas aburridas puede acabar desanimando incluso al encuestado más motivado. Para añadir variedad y reducir la fatiga podemos incorporar elementos de gamificación. Por ejemplo, creando escenarios alrededor de las preguntas o contextualizándolas como retos o competiciones. Haciendo las preguntas más amenas podremos mantener a los entrevistados comprometidos durante más tiempo.