Fiabilidad interevaluador

Esto asegura que los resultados generados cumplan los criterios aceptados que definen la fiabilidad, mediante la definición cuantitativa del grado de acuerdo entre dos o más observadores.

Fiabilidad interevaluador y los Juegos Olímpicos

La fiabilidad interevaluador es la forma más fácilmente entendida de fiabilidad, ya que todo el mundo la conoce.

Por ejemplo, cualquier deporte con jueces, como el patinaje sobre hielo en los Juegos Olímpicos o una exposición canina, se basa en observadores humanos que mantienen un alto grado de coherencia entre ellos. Si uno de los jueces se equivoca en su sistema de puntuación, esto puede poner en peligro todo el sistema y negarle a un participante el premio que le corresponde.

Fuera del mundo del deporte y los pasatiempos, la fiabilidad interevaluador tiene algunas connotaciones mucho más importantes que pueden influir directamente en tu vida.

Los examinadores que califican los exámenes escolares e universitarios son evaluados en forma regular, para asegurar que todos sigan los mismos estándares. Éste es el ejemplo más importante de fiabilidad interobservador. Sería muy injusto reprobar un examen porque el observador tuvo un mal día.

En la mayoría de los paneles de examen, las revisiones suelen ser poco frecuentes, lo que demuestra que el proceso de fiabilidad interveladuador es bastante fuerte.

Experiencia personal

Yo solía trabajar para una organización benéfica protectora de aves y, cada mañana, íbamos a la orilla del mar y calculábamos el número de individuos de cada especie de ave.

Obviamente, no puedes contar miles de aves individualmente: además del su gran número, se mueven constantemente, dejando el grupo y volviendo a él. Por experiencia, calculábamos los números y luego comparábamos nuestros cálculos.

Si una persona calculaba 1000 correlimos comunes, otra 4000 y otra 12.000, entonces había algo mal en nuestro cálculo y era muy poco fiable.

No obstante, si independientemente calculábamos cifras de 4000, 5000 y 6000, entonces eran lo suficientemente precisas para nuestros objetivos y sabíamos que podíamos utilizar ese promedio con un buen grado de confianza.

Evaluaciones cualitativas y fiabilidad interevaluador

Cualquier evaluación cualitativa que utilice dos o más investigadores debe establecer la fiabilidad interevaluador para garantizar que los resultados obtenidos sean de utilidad.

Un buen ejemplo es el experimento del muñeno Bobo de Bandura que utiliza una escala para evaluar los niveles de agresión mostrada en niños pequeños. Aparte de una prueba previa extensa, los observadores constantemente comparan y ajustan sus calificaciones para asegurar que sus escalas sean lo más similares posible.

Pautas y experiencia

La fiabilidad interobservador se fortalece mediante el establecimiento de pautas claras y gran experiencia. Si los observadores reciben instrucciones claras y concisas sobre cómo calificar o estimar un comportamiento, esto aumenta la fiabilidad interobservador.

La experiencia también es un gran maestro: los investigadores que han trabajado juntos durante mucho tiempo serán plenamente conscientes de los puntos fuertes del otro y serán sorprendentemente similares en sus observaciones.

Bibliografía

Auerbach, C., La Porte, H.H. & Caputo, R.K. (2004). Statistical Methods for Estimates of Interrater Reliability. In Roberts, A.R. & Yeager, K.R. Evidence Based Practice Manual: Reasearch and Outcome Measures in Health and Human Services, pp 444-448, New York, NY: Oxford University Press

Jackson, S.L. (2011). Research Methods and Statistics: A Critical Thinking Approach (2nd Ed.). Belmont, CA: Wadsworth Cengage Learning

Rubin, A., & Babbie, E.R. (2007). Essential Research Methods for Social Work, Belmont, CA: Wadsworth Cengage Learning