Para medir el criterio de validez de una prueba, los investigadores deben compararlo con un estándar conocido o con él mismo.

Comparar la prueba con una medida establecida recibe el nombre de validez concurrente; probarla durante un período de tiempo se denomina validez predictiva.

No es necesario utilizar ambos métodos. Uno es suficiente si el diseño experimental es fuerte.

Una de las formas más sencillas de evaluar la validez relacionada con el criterio es compararla con un estándar conocido.

Por ejemplo, una nueva prueba de inteligencia podría ser comparada estadísticamente con una prueba de CI estándar. Si existe una alta correlación entre los dos conjuntos de datos, entonces la validez de criterio es alta. Éste es un buen ejemplo de la validez concurrente, pero este tipo de análisis puede ser mucho más sutil.

Ejemplo de la validez de criterio en acción

Una empresa de encuestas desarrolla una prueba que cree que ubica a la gente en la escala política, en base a una serie de preguntas que establecen si la persona se inclina hacia la derecha o hacia la izquierda.

Con esta prueba, esperan predecir cómo va a votar la gente. Para evaluar la validez de criterio de la prueba, realizan un estudio piloto y eligen sólo miembros de los partidos políticos de izquierda y de derecha.

Si la prueba tiene una validez concurrente alta, los miembros del partido de izquierda deberían recibir puntuaciones que reflejen su ideología de izquierda. Del mismo modo, los miembros del partido de derecha deben recibir puntuaciones que indiquen que se encuentran a la derecha.

Si esto no sucede, entonces la prueba es defectuosa y necesita ser rediseñada. Si funciona, los investigadores pueden asumir que su prueba tiene una base sólida y que la validez de criterio es alta.

La mayoría de los encuestadores no se detiene allí y en unos pocos meses, cuando se cuenten los votos de las elecciones, les preguntarán a los sujetos cómo votaron realmente.

Esta validez predictiva les permite verificar dos veces su prueba, con una alta correlación que indique nuevamente que han desarrollado una prueba sólida de la ideología política.

Validez de criterio en la vida real: la pregunta del millón

Esta prueba política constituye una relación lineal muy simple y la validez de criterio es fácil de juzgar. En el caso de construcciones complejas, con muchos elementos relacionados entre sí, evaluar la validez relacionada con el criterio puede ser un proceso mucho más difícil.

Las compañías de seguros tienen que medir un constructo denominado "salud general" compuesto por factores de estilo de vida, antecedentes socioeconómicos, edad, predisposición genética y toda una serie de otros factores.

Mantener elevada una validez relacionada con el criterio es difícil teniendo en cuenta todos estos factores, pero hacerlo mal puede arruinar el negocio.

Coca-Cola: el costo de descuidar la validez de criterio

Para los investigadores de mercado, la validez de criterio es crucial y puede crear o destruir un producto. Un ejemplo famoso es cuando Coca-Cola decidió cambiar el sabor de su bebida distintiva.

Con diligencia, investigaron si a la gente le gustaba el nuevo sabor por medio de pruebas de sabor y cuestionarios. A la gente le encantó el nuevo sabor, entonces Coca-Cola se apuró a comenzar con la producción de la Nueva Coca, lo que fue un fracaso enorme.

El error que Coca cometió fue que se olvidó de la validez de criterio y omitió una pregunta importante en la encuesta.

No se les preguntó a las personas si preferían el nuevo sabor al antiguo, un fracaso en establecer la validez concurrente.

La Vieja Coca, conocida por su popularidad, era el punto de referencia perfecto, pero nunca fue utilizado. Con una simple prueba de sabor, vendándoles los ojos a las personas y preguntándoles cuál sabor de los dos preferían, Coca-Cola se habría ahorrado millones de dólares.

En última instancia, la validez predictiva también fue mediocre, porque sus resultados buenos no se correlacionaron con las ventas bajas. Para entonces, ¡ya era demasiado tarde!