Encontré una correlación estadísticamente significativa entre una métrica psicográfica (x) y un comportamiento (y), el número de participantes es solo 20, por lo que, aunque el valor p parece impresionante (p = 0,0002), ¿qué tan sólida es realmente esta correlación?

Answer 1

Solo a partir de las estadísticas, esta correlación es impresionante. Puede tener una confianza del 95% de que la verdadera correlación entre estas dos variables se encuentra entre 0,44 y 0,89, y su cuestionario aparentemente puede explicar más de la mitad del comportamiento de su participante. Al final del día, sería muy poco probable que esta asociación surgiera por casualidad.

Como usaste el término psicográfico, supongo que estás en negocios o marketing, y estás correlacionando algún cuestionario de actitud o personalidad con el comportamiento del consumidor. Una correlación de 0.74 me parece un poco alta, incluso para una declaración como “Tengo la intención de comprar una parrilla Weber” que predice que realmente comprarán una. Si volviste a ejecutar el mismo estudio, apuesto a que la correlación real será en la misma dirección pero mucho más pequeña. Simplemente no ve correlaciones superiores a 0.5 o 0.6 en las ciencias del comportamiento.

Si hace muchas preguntas y correlaciones en todo lo que necesita para asegurarse de que está ajustando sus valores p en consecuencia. La ejecución de muchas pruebas aumentará la posibilidad de que su gran correlación sea una casualidad.

Answer 2

El valor p es solo un componente para determinar la precisión / robustez de un efecto.

Para ayudar a redondear las cosas, necesitamos el tamaño del efecto y el intervalo de confianza . ¿Cuál es el tamaño real del coeficiente de correlación? ¿Y cuál es su intervalo de confianza del 95%? Si el efecto es grande (esto debería determinarse de manera sustancial, según la teoría y los hallazgos anteriores) y el intervalo de confianza es pequeño, entonces tiene más razones para decir que es “sólido”.

Una consideración separada pero relacionada (e importante) es cuán “sólidas” son las inferencias permitidas de sus datos. Para eso, también necesita saber en qué medida su muestra es representativa de la población sobre la que desea hacer inferencias (presumiblemente quiere decir algo sobre la relación entre x e y para alguna población). Si quiere decir algo sobre x vs y en adultos sanos, y obtuvo esta correlación de una muestra de 20 atletas de ironman, podría preguntarse si realmente existe una relación entre xey en adultos sanos.