¿Sabes cómo medir correctamente la fiabilidad y la validez de una escala en tu estudio de investigación?

Imagina que tu escala es una balanza y que necesitas pesar una manzana. Supongamos que pesas la manzana varias veces en esa balanza y su resultado siempre es de 10gr. Podrás confirmar entonces que ese es su peso y podrás considerar que tu balanza (escala) es fiable.

Pero para estar seguros de que estás midiendo correctamente lo que pretendías, también necesitarás probar la validez. Una manera de hacer esto es comparando tu medida con otra escala ya establecida, considerada de referencia y conocida como gold standard.

Por lo tanto:

·         Una escala puede ser fiable sin ser válida: Podría ser que en tu balanza la manzana siempre pese 10 gr. (fiable), pero cuando la pesas en una balanza considerada de referencia pese 15 gr. (no válida).

·         Una escala no puede ser válida sin ser fiable: Podría ser que al pesar tres veces la manzana en tu balanza obtengas 10, 15 y 20 gr. respectivamente (no fiable), y cuando la pesas en una balanza considerada de referencia pese 10 gr. (no válida).

Por lo tanto, del ejemplo anterior podemos deducir que la fiabilidad de una medida trata de la reproducibilidad, la consistencia de la medición, y la validez trata de la precisión de la medición.

Debes saber que existen 3 tipos de fiabilidad y también 3 tipos de validez que deberemos comprobar para validar una escala psicométrica.

Aquí te hago un resumen para que puedas identificarlos rápidamente, pero para no hacer tan largo este post, te dejo aquí todo el post completo en pdf, con todo detalle, que puedes descargarte solo introduciendo tu nombre y email.

FIABILIDAD DE UNA ESCALA

De una escala podemos medir su:

1.       Equivalencia o consistencia interna:

Utilizaremos una única medida de la escala, es decir, será suficiente con haber administrado el cuestionario (escala) una única vez a una muestra. La idea es ver si todos los ítems del cuestionario apuntan hacia la misma medida.

¿Cómo mediremos la equivalencia o consistencia interna de una escala? Utilizaremos el famoso coeficiente alfa de Cronbach, también el coeficiente alfa de Cronbach después de eliminar un ítem y, finalmente, las correlaciones item-total.

2.       Acuerdo:

Si una escala no puede ser autocumplimentada y requiere la intervención de un experto, entonces también será necesaria la evaluación de la fiabilidad entre evaluadores, para poder descartar que el evaluador no está influyendo en las respuestas de la escala. Para ello necesitaremos haber administrado el cuestionario dos veces a la misma muestra, en el mismo tiempo, mediante 2 evaluadores diferentes. La idea es ver si existe concordancia entre los dos evaluadores.

¿Cómo mediremos el acuerdo de una escala? Utilizaremos el coeficiente Kappa de Cohen, si las respuestas de los ítems son binarias (sí/no), el coeficiente Kappa de Cohen ponderado, si las respuestas de los ítems son ordinales (nunca/algunas veces/la mayoría de las veces/siempre) y, el coeficiente de correlación intraclase (ICC), si las respuestas de los ítems son continuas (Nº de horas viendo la televisión a la semana).

3.       Estabilidad:

Yo diría que es el aspecto de la fiabilidad menos conocido porque no es tan habitual, pero a veces nos podría interesar validar si nuestra escala es estable en el tiempo, para poder descartar que el tiempo no está influyendo en las respuestas de la escala. Para ello necesitaremos haber administrado el cuestionario dos veces a la misma muestra en dos momentos de tiempo diferente.

¿Cómo comprobaremos la estabilidad de una escala? Muy fácil, con las mismas medidas que hemos comprobado el acuerdo, pero en lugar de 2 evaluadores, con 2 momentos de tiempo.

VALIDEZ DE UNA ESCALA

Una vez hemos validado que nuestra escala es consistente en la medición, deberemos validar que realmente mide lo que queremos medir.

La validez de una escala se divide en:

1.       Validez relacionada con el contenido: Existen dos tipos de validez relacionada con el contenido:

o   Validez aparente: ¿La escala parece válida para las personas que pertenecen a la población objetivo?

o   Validez de contenido: ¿La escala parece válida para los expertos en el campo?

La validez relacionada con el contenido deberá ser evaluada antes de administrar la escala.

2.       Validez relacionada con el criterio: La validez de criterio consiste en comprobar que los resultados obtenidos con nuestra escala…

o   Validez concurrente: … concuerdan con otras medidas administradas al mismo tiempo.

o   Validez predictiva: … concuerdan con otras medidas administradas antes o después de nuestra evaluación.

Te pondré un ejemplo: Imagina que creas una escala para medir agresión. ¿Cómo demostrarás que realmente lo hace?

Para probar la validez concurrente deberás administrar al mismo tiempo otro cuestionario que mida el mismo atributo que queremos medir con nuestra escala, por ejemplo, un cuestionario de hostilidad. Comprobaremos si están correlacionadas las puntuaciones totales de los dos cuestionarios. Deberían estarlo ya que miden el mismo atributo, la agresión.

3.       Validez relacionada con el constructo: Si nuestra escala mide lo que pretendemos medir, entonces los resultados deberían concordar con …

o   Validez convergente: … otras medidas administradas para medir el mismo atributo.

o   Validez discriminante: … otras medidas administradas para medir otros atributos.

o   Validez discriminativa: … otras medidas que crean grupos discriminantes.

Si seguimos con el ejemplo de la escala que mide la agresividad, para probar la validez convergente deberás administrar al mismo tiempo el cuestionario de hostilidad, que mide el mismo atributo, la agresión, y comprobar que las puntuaciones totales de las dos escalas están fuertemente correlacionadas.

En cambio, para probar la validez discriminante, deberás administrar al mismo tiempo un cuestionario de depresión, y comprobar que las puntuaciones totales no están correlacionadas.

Para no hacer tan largo este post, si quieres más detalle de cada uno de los 3 tipos de fiabilidad y de los 3 tipos de validez, te dejo aquí todo el post completo en pdf, con todo detalle, que puedes descargarte solo introduciendo tu nombre y email. ¡Espero que lo disfrutes!