Utilicé una herramienta de prueba A / B gratuita que dice que mi prueba tiene un anuncio ganador con un nivel de confianza del 100%. Un anuncio tiene 5 clics y el otro tiene 7. ¿Es esto estadísticamente significativo?

Answer 1

Supongo que quería preguntar sobre la Validez (estadísticas) de la prueba, no la significación estadística. Para responder correctamente a esto, en realidad necesito saber qué estadística de prueba usó la herramienta. Sin embargo, en términos generales, nunca es malo tener más datos.

Para elaborar, supongo que la herramienta no utilizó un enfoque no paramétrico, lo que significa que la estadística de prueba se habría construido sobre la suposición de normalidad. Es decir, la mayoría de las pruebas estadísticas son paramétricas ([matemáticas] X_1, X_2, \ ldots, X_n \ overset {iid} {\ sim} N (\ mu, \ sigma ^ 2) [/ math]). La suposición en los paréntesis anteriores debería ser válida si la prueba fuera relevante. Las pruebas paramétricas se siguen utilizando independientemente de si este supuesto de normalidad se cumple debido al teorema del límite central. Sin embargo, este teorema solo se aplica cuando el tamaño de la muestra es lo suficientemente grande. Puede preguntar “¿qué tan grande es grande?”. No hay una respuesta establecida para esta pregunta. Algunos afirman que más de 30 es suficiente, algunos dicen que no lo es. Personalmente, no estoy de acuerdo con el reclamo de “más de 30 suficiencia”. Además, no existe un intervalo de confianza del 100% porque eso significa [matemática] CI \ subconjunto (- \ infty, \ infty) [/ matemática] que no proporciona información.

---

Acabo de escribir una respuesta para ¿Cómo se calcula la confianza estadística?

Por favor echa un vistazo.

Answer 2

Es probable que haya algo mal con la herramienta si proporciona una confianza del 100%. Si el número de impresiones de anuncios en ambos segmentos es similar, haga el siguiente cálculo simple que puede hacer en su cabeza. Encuentre sqrt del mayor número de clics. sqrt (7) ~ = 2.6, que corresponde aproximadamente a 1 sigma de diferencia. (7-5) = 2 que corresponde a alrededor de 0.76 sigma que solo corresponde a alrededor del 78% de confianza. Necesita como mínimo 2 sigma (correspondiente al 98% de confianza) para decidir que uno es mejor que el otro. Ver:
Página en tamu.edu

Esta respuesta es más ondulada de lo que quisiera y el método es algo aproximado y hace algunas suposiciones. Aún así, este es un método sorprendentemente rápido y efectivo para verificar la significación estadística, antes de hacer algo más detallado.

Answer 3

Como los otros ya han dicho, el 100% parece muy extraño.

Mi sugerencia: use una herramienta llamada https://abxtracted.com . Resume la complejidad estadística involucrada en las pruebas A / B y le brinda un informe confiable sobre la conversión.

Answer 4

Aquí hay muchas respuestas técnicas muy buenas para calcular tanto la importancia como la validez en las pruebas divididas. Su pregunta parece ser “¿Hay suficientes datos aquí para asumir que los resultados de la prueba son válidos?” y no realmente si la prueba de significación se calculó correctamente.

La mayoría de los especialistas en marketing no tienen el conocimiento estadístico para leer las respuestas técnicas aquí, y tienen que confiar en herramientas como la que utilizó. Nosotros hacemos lo mismo En general, preferimos ver 30 mediciones en el lado ganador de una prueba (clics o acciones) antes de llamarla, incluso si ha alcanzado significación estadística. Además, tendemos a utilizar un nivel de confianza del 90% para las pruebas de anuncios, y el 95% para las pruebas de la página de destino donde los riesgos de un falso positivo son mucho más altos.

¿Es esta una regla general perfecta?

No.

¿Generalmente asegurará que estamos tomando decisiones sobre una muestra de datos razonable?

Si.

Creo que es importante aceptar el hecho de que las pruebas estadísticas no garantizan resultados sin errores, sino que reducen drásticamente las posibilidades de errores en comparación con la determinación de resultados no basada en estadísticas.

Answer 5

¿Significativo? Probablemente, pero debido a que la herramienta está dando valores que no son razonables, diría que siga analizando.

El 100% de probabilidad es pecado, los valores de p inferiores a 0,0001 no lo son. Entonces, somos hipócritas de alguna manera, pero consideraría estudiarlo.

Answer 6

Sí, eso suena mal para cualquier cantidad razonable de impresiones. Seguiría ejecutando la prueba.