Índice de Concordancia kappa (κ) o kappa de Cohen

En investigación es usual utilizar instrumentos de medición, y estos deben ser confiables, o su utilidad sería cuestionable.

Es importante conocer entonces el grado de concordancia de un instrumento y el índice kappa (κ) o kappa de Cohen mide dicho grado de concordancia en evaluaciones nominales u ordinales realizadas por dos evaluadores, sobre una misma muestra.

Éste índice recibe su nombre por el estadístico norteamericano Jacob Cohen, quien lo expone en su obra "A coefficient of agreement for nominal scales", de 1960.

Sin embargo, a pesar del carácter de experticia que puedan tener los evaluadores, se considera que parte de la concordancia pueda resultar del azar.

El índice kappa en su fórmula excluye la concordancia debida exclusivamente al azar.

Dicha fórmula se mide como la razón entre las concordancias observadas y la concordancia o acuerdo debido al azar, y la máxima concordancia posible (100%) y la esperada al azar, o sea, la siguiente ecuación:

Donde:

Pr(a) es la concordancia o acuerdo observado; y,

Pr(e) la concordancia esperada debida al azar.

Para ejemplificar, digamos que se tienen 2 evaluadores y 2 posibles respuestas, con los resultados expuestos en la siguiente tabla:

Donde la diagonal principal muestra la concordancia (resaltado en color azul).

En este caso el valor de kappa = 0,839.

Los valores resultantes del índice kappa de Cohen estarán entre - 1 y + 1. Mientras más alto sea el valor de kappa, más fuerte será la concordancia.

En tal sentido, cuando:

• Índice kappa = 1, se dice que existe concordancia perfecta.
• Índice kappa = 0, se dice que la concordancia es que se esperaría en virtud de las probabilidades.
• Índice kappa < 0, se dice que la concordancia es más débil que lo esperado según las probabilidades (pero esto casi nunca ocurre).

Aunque no existe un valor exacto establecido, en líneas generales, un valor de kappa > 0,75 indica una concordancia aceptable. Pero en muchos casos se trabaja en función de kappa > 0,90. Dependerá en gran medida del estudio, de la investigación, del investigador. 

Siempre hay que tener en consideración que el índice kappa de Cohen sólo mide el acuerdo entre dos observadores.

Test de Friedman

El test de Friedman es la alternativa no paramétrica a la prueba ANOVA de una vía cuando los datos son dependientes/pareados. Se trata de una extensión de la prueba de los rangos con signo de Wilcoxon para más de dos grupos (basada en suma de rangos).

Asumiendo ciertas simplificaciones, puede considerarse como una comparación entre las medianas de varios grupos.

El test de Friedman es el test adecuado cuando los datos tienen un orden natural, (cuando para darles sentido tienen que estar ordenados) y además son pareados. Por ejemplo, si se quiere estudiar la diferencia en el rendimiento de un grupo de atletas dependiendo del plan de alimentación, vegetariano o mixto, se hace competir al mismo grupo, bajo las condiciones más similares posibles, a excepción de la alimentación. En tal caso se dispondrá de dos tipos de datos: los tiempos,  en cuyo caso se aplicaría ANOVA para datos pareados, o las posiciones en las cuales quedó cada competidor, en cuyo caso se aplicaría el Test de Friedman.

El concepto es similar a la suma de rangos de Wilcoxon para dos grupos pero esta vez asignando los rangos dentro de cada fila (ya que hay más de dos medidas para cada individuo) y después haciendo la suma de rangos para cada columna.

El test de Friedman genera un estadístico conocido como Fr o Q que se distribuye:

• Si el número total de individuos (N) es mayor de 10 la distribución de Fr se aproxima a una distribución χ2 con k-1 grados de libertad (siendo k el número de grupos a comparar).
• Si el número de individuos es menor de 10 se recurre a tablas con los valores de significancia para un test de Friedman.

Se utiliza cuando se seleccionan n grupos de k elementos de forma que los elementos de cada grupo sean lo más parecidos posible entre sí, y a cada uno de los elementos del grupo se le aplica uno de entre k "tratamientos", o bien cuando a cada uno de los elementos de una muestra de tamaño n se le aplican los k "tratamientos".

La hipótesis nula es que las respuestas asociadas a cada uno de los "tratamientos" tienen la misma distribución de probabilidad, y la hipótesis alternativa es que por lo menos la distribución de una de las respuestas difiere de las demás.

Como ya se mencionó, para poder utilizar esta prueba las respuestas deben estar medidas por lo menos en una escala ordinal.

Los datos se disponen en una tabla en la que en cada fila se recogen las respuestas de los k elementos de cada grupo a los k tratamientos.

A las observaciones de cada fila se les asignan rangos de menor a mayor desde 1 hasta k; a continuación se suman los rangos correspondientes a cada columna, siendo “RJ” la suma correspondiente a la columna j-ésima.

Si la hipótesis nula es cierta, la distribución de los rangos en cada fila se debe al azar, y es de esperar que la suma de los rangos correspondientes a cada columna sea aproximadamente igual a n(k + 1)/2. La prueba de Friedman determina si las “RJ” observadas difieren significativamente del valor esperado bajo la hipótesis nula.

Si H0 es cierta y el número de columnas y/o de filas es moderadamente grande, la distribución de F se aproxima a un chi-cuadrado con k-1 grados de libertad; en ese caso se rechaza la hipótesis nula para los valores de F mayores al valor crítico fijado para el nivel de significación. 

---------------------------------------------------------------------------

Universidad de Barcelona. http://www.ub.edu/aplica_infor/

Sinopsis de pruebas estadísticas no paramétricas. Gómez, Manuel, et al.

Test de Friedman. Alternativa no paramétrica al ANOVA de datos dependientes. Amat, Joaquín.