En investigación es usual
utilizar instrumentos de medición, y estos deben ser confiables, o su utilidad
sería cuestionable.
Es importante conocer entonces el
grado de concordancia de un instrumento y el índice kappa (κ) o kappa de Cohen mide dicho grado
de concordancia en evaluaciones nominales u ordinales realizadas por dos evaluadores,
sobre una misma muestra.
Éste índice recibe su nombre por el estadístico norteamericano Jacob Cohen, quien lo expone en su obra "A coefficient of agreement for nominal scales", de 1960.
Sin embargo, a pesar del carácter
de experticia que puedan tener los evaluadores, se considera que parte de la
concordancia pueda resultar del azar.
El índice kappa en su fórmula
excluye la concordancia debida exclusivamente al azar.
Dicha fórmula se mide como la
razón entre las concordancias observadas y la concordancia o acuerdo debido al
azar, y la máxima concordancia posible (100%) y la esperada al azar, o sea, la
siguiente ecuación:
Donde:
Pr(a) es la concordancia o
acuerdo observado; y,
Pr(e) la concordancia esperada
debida al azar.
Para ejemplificar, digamos que se tienen 2 evaluadores y
2 posibles respuestas, con los resultados expuestos en la
siguiente tabla:
Donde la diagonal principal
muestra la concordancia (resaltado en color azul).
En este caso el valor de kappa = 0,839.
Los valores resultantes del índice kappa de Cohen estarán entre - 1 y + 1. Mientras más alto sea el valor de kappa, más fuerte será la concordancia.
En tal sentido, cuando:
- Índice kappa = 1, se dice que existe concordancia perfecta.
- Índice kappa = 0, se dice que la concordancia es que se esperaría en virtud de las probabilidades.
- Índice kappa < 0, se dice que la concordancia es más débil que lo esperado según las probabilidades (pero esto casi nunca ocurre).
Aunque no existe un valor exacto
establecido, en líneas generales, un valor de kappa > 0,75 indica una
concordancia aceptable. Pero en muchos casos se trabaja en función de kappa
> 0,90. Dependerá en gran medida del estudio, de la investigación, del
investigador.
Siempre hay que tener en consideración que el índice kappa de Cohen sólo mide el acuerdo entre dos observadores.
6 comentarios:
buenas como seria el calculo en base a este ejemplo si puede sustituir valores, o si tiene elagun video en la pagina de youtube
Hola!
Cuando se hace una encuesta nueva, o sea, diseñada para una investigación propia, habría que probar esto, verdad? Como para ver que la encuesta sirve?
¿Me ayuda con eso?
Gracias!
La idea es saber si la encuesta sirve? O sea, que uno la usaría con una encuesta diseñada particularmente.
Porque las estandarizadas ya están probadas, verdad?
Gracias.
Hola:
(1) No tengo videos de YouTube, pero otras personas sí. De todas formas, también hay páginas que calculan directamente. Por ejemplo hay una página de Bioestadísticas muy fácil de usar (https://www.bioestadistica.uma.es/analisis/kappa/) Te recomiendo la visites. Saludos!
(2) Si, Isa, te ayuda a validar que la encuesta sirve. Se supone que mientras más similares sean las capacidades y la experticia de los evaluadores, mayor debería ser el índice de acuerdo.
(3) Si, Rosita, en general los instrumentos que han sido aceptados como estándares ya están probados, y no hace falta calcular concordancia y consistencia.
Gracias a todos por visitar!
Buenas tardes, doctora:
¿Qué pasa si hago la prueba y me da un índice muy bajo? ¿qué pasa con mi encuesta? Gracias.
Hola:
Si el índice es muy bajo yo recomedaría evaluar nuevamente el instrumento. Sobre todo los ítemes en donde las respuestas fueron extremadamente dispares.
Si tu instrumento es muy grande y consideras que modificarlo será un costo importante para la investigación, y tienes acceso a otros dos expertos en el área, vuelve a realizar la prueba con ellos y luego comprara los índices obtenidos.
Si en ambas pruebas el índice es condiderablemente bajo, definitivamente se debe revisar el instrumento.
Saludos.
Publicar un comentario