En investigación es usual
utilizar instrumentos de medición, y estos deben ser confiables, o su utilidad
sería cuestionable.
Es importante conocer entonces el
grado de concordancia de un instrumento y el índice kappa (κ) o kappa de Cohen mide dicho grado
de concordancia en evaluaciones nominales u ordinales realizadas por dos evaluadores,
sobre una misma muestra.
Éste índice recibe su nombre por el estadístico norteamericano Jacob Cohen, quien lo expone en su obra "A coefficient of agreement for nominal scales", de 1960.
Sin embargo, a pesar del carácter
de experticia que puedan tener los evaluadores, se considera que parte de la
concordancia pueda resultar del azar.
El índice kappa en su fórmula
excluye la concordancia debida exclusivamente al azar.
Dicha fórmula se mide como la
razón entre las concordancias observadas y la concordancia o acuerdo debido al
azar, y la máxima concordancia posible (100%) y la esperada al azar, o sea, la
siguiente ecuación:
Donde:
Pr(a) es la concordancia o
acuerdo observado; y,
Pr(e) la concordancia esperada
debida al azar.
Para ejemplificar, digamos que se tienen 2 evaluadores y
2 posibles respuestas, con los resultados expuestos en la
siguiente tabla:
Donde la diagonal principal
muestra la concordancia (resaltado en color azul).
En este caso el valor de kappa = 0,839.
Los valores resultantes del índice kappa de Cohen estarán entre - 1 y + 1. Mientras más alto sea el valor de kappa, más fuerte será la concordancia.
En tal sentido, cuando:
- Índice kappa = 1, se dice que existe concordancia perfecta.
- Índice kappa = 0, se dice que la concordancia es que se esperaría en virtud de las probabilidades.
- Índice kappa < 0, se dice que la concordancia es más débil que lo esperado según las probabilidades (pero esto casi nunca ocurre).
Aunque no existe un valor exacto
establecido, en líneas generales, un valor de kappa > 0,75 indica una
concordancia aceptable. Pero en muchos casos se trabaja en función de kappa
> 0,90. Dependerá en gran medida del estudio, de la investigación, del
investigador.
Siempre hay que tener en consideración que el índice kappa de Cohen sólo mide el acuerdo entre dos observadores.
