Lamento decir que creo que las otras respuestas aquí son incorrectas, demasiado complicadas, errónea y frustrantemente doctrinarias, ¡o las tres!
Daré lo que creo que son las soluciones y luego expresaré brevemente mi frustración en la parte inferior.
Hay dos formas populares de abordar este tipo de problema:
1) Nos ponemos en el lugar del gerente de fábrica de la planta de duplicación de CD. Nuestra tarea es diseñar un procedimiento de prueba que intente rechazar cada lote de 200 CD con cinco o más errores (“lotes malos”), mientras se aprueban lotes con cuatro o menos errores (“lotes buenos”). Asumimos que podemos probar cualquier CD en particular perfectamente.
- Quiero aprender más sobre deportes. ¿A quién debo seguir en Twitter?
- ¿Por qué el propietario me da la opción de renovar mi contrato de arrendamiento por uno o dos años, siendo la opción de dos años más costosa?
- He tomado un préstamo educativo del banco indio. No estoy dando mis cuotas regularmente debido a problemas financieros, sin embargo, deposito efectivo a granel siempre que esté disponible. ¿Esto afectará mi historial de crédito incluso si el monto se paga a tiempo?
- Quiero construir un láser que pueda quemar cosas fácilmente. ¿Qué debo hacer y qué necesito?
- Me convertí en padre tarde en la vida. Me retiraré antes de que mi hijo se vuelva autosuficiente. ¿Cómo gestiono ambos?
Digamos que el procedimiento tiene que ser 95% exacto, lo que significa que la fábrica solo puede aprobar por error un lote malo con una probabilidad de 5% como máximo. Elaboramos un procedimiento para probar N CD seleccionados al azar sin reemplazo (lo que significa que los N CD son distintos) del lote. Si todos los N son buenos, aprobamos el lote; de lo contrario, lo rechazamos.
Pregunta : ¿Qué tan grande debe ser N para que la posibilidad de aprobar por error un lote incorrecto sea inferior al 5%?
El gerente de la fábrica razona de la siguiente manera:
- Primero pensemos en la probabilidad de que SI todo el lote contenga CD “A” buenos y “B” malos, nuestra muestra de prueba aleatoria encontrará “a” CD buenos y “b” malos.
- Esto será una fracción: el denominador es el número total de formas de organizar todo el lote (de CD A + B) y el numerador es el número total de formas de organizar la muestra multiplicada por el número total de formas de organizar el lote. resto del lote
- Hay [matemáticas] A + B \ elija B [/ matemáticas] formas de organizar todo el lote, así que ese es el denominador.
- Hay [matemáticas] a + b \ elegir b [/ matemáticas] formas de organizar la muestra.
- Hay [matemáticas] (Aa) + (Bb) \ elegir formas Bb [/ matemáticas] para organizar la parte del lote que no es parte de la muestra.
- Entonces, en conjunto, la probabilidad de obtener nuestra muestra {a, b} dado que la composición de todo el lote es {A, B} es: [matemática] P_ \ ell (a, b | A, B) = { {{a + b \ elegir b} {A – a + B – b \ elegir B - b}} \ over {A + B \ elegir B}} [/ math].
- Ahora que conocemos esta probabilidad, solo necesitamos encontrar la N más pequeña de tal manera que [matemática] P_ \ ell (N, 0 | 195,5) <5 \% [/ matemática].
Respuesta : 90 . Un procedimiento que muestrea 90 CD y aprueba el lote solo si encuentra cero problemas tendrá una probabilidad de 1854417/38418940 = 4.83% de aprobar por error un lote con cinco CD defectuosos. Eso cumple con nuestras limitaciones. La fábrica puede afirmar que ha verificado que el lote es bueno (es decir, cuatro o menos CD defectuosos) con un “95% de confianza”. Por supuesto, obtienes una N diferente si tienes un umbral diferente para la confianza que deseas tener.
(Nota al margen: puede preguntar, ¿qué pasa con el riesgo de rechazar por error un buen lote? Esto también es algo de lo que podemos preocuparnos e intentar optimizarlo. El procedimiento de prueba anterior funcionará muy bien si el lote no tiene CD defectuosos, pero si el lote tiene cuatro CD defectuosos y queremos aprobar el lote como deberíamos, solo lo haremos el 9% del tiempo, lo que significa que rechazamos por error el 91% de los lotes con cuatro CD defectuosos. Podríamos mejorar esto usando un procedimiento de prueba adaptativo Por ejemplo, el procedimiento es que probamos 100 CD. Si ninguno es malo, lo aprobamos. Si más de uno es malo, lo rechazamos. Pero si exactamente 1 de cada 100 fue malo, entonces volvemos y probamos otros 65 CD y aprobamos todo el lote si no más de 1. son incorrectos. Este procedimiento aún cumple con la restricción de rechazo original del 95% para lotes incorrectos, y todavía se comporta de manera idéntica para lotes sin CD defectuosos. Pero para lotes marginales (pero aún buenos), tiene un mayor tasa de aprobación, a costa de tener que probar más CD a veces. Si estamos dispuestos a hacer una suposición Sin embargo, el comportamiento de la grabadora de CD, por ejemplo, que tiene días muy buenos y días muy malos y no tenemos que preocuparnos por casos marginales como distinguir B = 4 [bueno] de B = 5 [malo], todavía podemos hacerlo mejor.)
2) La segunda forma popular de abordar este tipo de problema es ponernos en el lugar del cliente de la fábrica que acaba de recibir su entrega. Ahora no estamos interesados en diseñar un procedimiento que rechace cada lote malo con al menos un 95% de probabilidad; queremos calcular la probabilidad de que nuestro lote en particular sea malo.
El cliente razona de la siguiente manera:
- “Digamos que la fábrica tiene una máquina que escupe lotes de 200 CD con B malos y A buenos, donde B se extrajo de alguna distribución de probabilidad y A + B = 200”.
- ” Supongo que B se dibujó de manera uniforme entre 0 y 200 inclusive. En otras palabras, la máquina de la fábrica es realmente desordenada y es probable que me envíen un lote con 3 CD buenos y 197 malos como 3 CD malos y 197 ¡Buenos!”
- “Ahora pruebo N CD distintos de mi lote. Cada vez que ejemplifico un CD y encuentro que es bueno, calculo la nueva distribución de probabilidad condicional en B dada mi observación”.
- “Debido a mi suposición (subrayada anteriormente), antes de poner el ejemplo del primer CD, comenzaré con una probabilidad condicional de 5/201 de que B es menor que 5. Entonces, antes de cualquier prueba, mi probabilidad condicional de que esto es un lote malo es 97.5% “.
- ¿Cuál es la distribución de probabilidad condicional de B después de N sorteos? Es solo [math] P_ \ ell () [/ math] desde arriba, normalizado para que la suma sobre todos los valores posibles de B sea igual a la unidad. (Esta es la aplicación del teorema de Bayes).
- En términos matemáticos, eso significa que la probabilidad condicional de tener CD “A” bueno y “B” malo en todo el lote, dada una muestra de CD “a” bueno y “b” malo, es: [matemática] P (A , B | a, b) = \ frac {P_ \ ell (a, b | A, B)} {\ sum_ {i = 0} ^ {A + B} P_ \ ell (a, b | A + Bi, i)} [/ matemáticas]
Pregunta : ¿Cuántos CD perfectos tendría que examinar el cliente en una fila antes de que la probabilidad condicional de un lote malo caiga por debajo del 5% (recuerde que comienza en el 97.5%)?
Respuesta: 89 . Una vez que el cliente ha probado 89 CD perfectos seguidos, la probabilidad condicional de un lote incorrecto es 1294593/26266010 = 4.93%. El cliente puede afirmar que tiene “probabilidad del 95%” de que el lote es bueno (es decir, cuatro o menos CD defectuosos), dada la observación y la suposición subrayada. Por supuesto, obtendrá un número diferente si tiene un umbral diferente de cuán probable debe ser un buen lote.
===========================
Por qué esta pregunta fue frustrante:
Esta es una pregunta de probabilidad de variedad de jardín con una solución simple, una vez que aclaras lo que quieres decir matemáticamente con “razonablemente seguro”.
El enfoque n. ° 1 corresponde a los métodos estadísticos tradicionales que se perfeccionaron a principios del siglo XX. La gente a veces llama a este enfoque “frecuente”. Conduce a “valores p” e “intervalos de confianza”.
El enfoque n. ° 2 es lo que la gente llama un enfoque “bayesiano”. Aunque ridiculizado durante parte del siglo XX como “probabilidad inversa” extraña, este tipo de técnicas han resultado ser muy útiles para una amplia variedad de problemas. Conduce a “intervalos de credibilidad”. El enfoque n. ° 2 es el mismo que el recomendado por Anon User (y la fórmula aquí obtiene los mismos números que esa respuesta).
Es bueno notar que:
- Los dos enfoques están tratando de lograr cosas diferentes . # 1 es la respuesta desde la perspectiva del gerente de la fábrica que quiere proponer un procedimiento para poner un límite superior a la tasa de aprobaciones falsas. # 2 es la respuesta desde la perspectiva del cliente de la fábrica que quiere calcular la probabilidad de un lote malo.
- En general, ninguno de los enfoques satisfaría las limitaciones exigidas por el otro usuario.
- Para este problema, los dos enfoques tuvieron dificultades similares en la práctica.
- Los dos enfoques no están en desacuerdo con la “definición de probabilidad” o la “interpretación de probabilidad” o algo así. Ambas respuestas pueden derivarse matemáticamente dentro del marco de los axiomas de probabilidad.
- El Enfoque n. ° 1 trata de cumplir una restricción para cada lote incorrecto (ya sea que tenga 5 CD defectuosos o 85 CD defectuosos): la probabilidad de aprobación debe ser inferior al 5%. Es una restricción “para todos”. No hace suposiciones sobre qué número de CD defectuosos es más o menos probable.
- Por el contrario, el enfoque n. ° 2 tenía que suponer sobre la distribución de los CD defectuosos antes de comenzar a examinar. Asumimos una distribución uniforme aquí, pero podríamos acomodar fácilmente una suposición diferente. Cuantos más CDs examinemos, menos importa cuál sea nuestra suposición inicial: los datos comienzan a abrumar la creencia inicial.
- A pesar de todas esas diferencias, la conclusión es que los dos métodos tienen prácticamente la misma respuesta a este problema. El procedimiento del gerente de la fábrica tendría que examinar 90 CD perfectos seguidos para tener un 95% de confianza de que el lote es bueno. El cliente tendría que examinar 89 CD perfectos seguidos para poner la probabilidad condicional de un buen lote al 95%.
Para más información: ¿Cuál es la diferencia entre estadísticos bayesianos y frecuentistas?
http://stats.stackexchange.com/q…
Es por eso que la noción de Anon de que el problema “exige un análisis bayesiano” y es “la forma” en que “debería” abordarlo me llevó a la distracción. Lo que debe calcular depende de quién es y qué quiere lograr. (¿Anon realmente piensa que las estadísticas clásicas no tienen forma de resolver estos problemas simples?)
A veces la gente trata el “bayesianismo” como si fuera una especie de religión o deporte de equipo, y no es ninguna de esas cosas.
El teorema de Bayes es un teorema elemental de teoría de la probabilidad, derivable en unos pocos pasos de los axiomas. No depende de nuestra lealtad a una escuela de análisis u otra.
La noción de que el problema “exige” un enfoque en particular cuando las dos respuestas son casi idénticas es demasiado doctrinaria. Un enfoque “bayesiano” no es una forma mágica de agregar más sofisticación a un análisis y convertir los malos datos en buenos. Todavía somos esclavos de los datos, y si tenemos suficiente, casi no importa cómo hacemos el análisis.
===
Respuesta al anónimo bayesiano:
Gracias por su respuesta. No estamos de acuerdo un poco cuando dice: “El enfoque frecuentista no incorpora ningún conocimiento de fondo. […] si desea incorporar su conocimiento de fondo, un enfoque bayesiano es la única alternativa viable”.
Esto no es exactamente correcto y, en cualquier caso, “incorporar conocimientos básicos” no es un beneficio en sí mismo. La pregunta es qué le importa y, dado eso, si su conocimiento previo cambia la respuesta. Considere su argumento aplicado a la teoría de la complejidad:
- “El peor tiempo de ejecución de QuickSort estándar es [matemática] O (n ^ 2) [/ matemática] comparaciones en el número de entradas”. Declaración verdadera.
- “Si asume que todas las permutaciones son igualmente probables como entrada, entonces el tiempo de ejecución promedio en caso de QuickSort estándar es [matemáticas] O (n \ log n) [/ matemáticas] comparaciones en el número de entradas”. También es cierto
- “Si asume una distribución de probabilidad diferente como su conocimiento previo, obtendrá un análisis de caso promedio diferente. Pero la única forma en que una distribución de probabilidad puede afectar el análisis de caso más desfavorable es si asigna un subconjunto de permutaciones como imposible. Simplemente hacerlos improbables no afectará el análisis del peor de los casos “. Correcto.
- “El análisis de caso promedio se ve afectado por más tipos de cambios en el conocimiento de fondo que el análisis de caso más desfavorable: debe establecer alguna entrada a probabilidad cero antes de que pueda afectar el peor caso”. Cierto.
- “El análisis del caso promedio es superior al análisis del peor de los casos porque el enfoque del peor de los casos no incorpora conocimiento de fondo. Si desea incorporar el conocimiento de fondo sobre la distribución de probabilidad en las entradas, el análisis de caso promedio es la única alternativa viable”. ¡Aquí no puedo estar necesariamente de acuerdo!
El análisis del caso promedio y el peor de los casos no son inherentemente mejores o peores que el otro, y es una tontería decir que el caso promedio es mejor porque solo “incorpora” su opinión sobre la probabilidad de entradas. (Donde “incorpora” significa que esto afecta la respuesta). A veces te importa el promedio y a veces te importa el peor de los casos, y dependiendo de cuál sea, tu conocimiento de fondo puede ser más o menos relevante. ¡Esa no es una fuerza o debilidad inherente!
Un intervalo de confianza o valor p es una técnica del peor de los casos : el valor p es un límite superior absoluto en la tasa de falsos positivos que tendríamos que tolerar para llevar a casa un resultado positivo en este caso. La única forma en que puede afectar eso con su “conocimiento de fondo” es configurando algunas entradas para que tengan probabilidad cero, de modo que nuestro “límite superior” no necesite unirlas.
Por el contrario, un intervalo de credibilidad se está integrando sobre el anterior, y en ese sentido es un análisis de caso promedio.
Tampoco puedo estar de acuerdo con su comentario de que “Un análisis bayesiano muestra la verdadera posibilidad de tener la enfermedad”. (énfasis mío) ¡Esto podría ser algo traicionero de creer! Ningún análisis puede decirle la “verdadera” posibilidad de que un paciente que elige hacerse una prueba de diagnóstico tenga una enfermedad, solo la probabilidad condicional (probabilidad a posteriori), dada la observación y dada la probabilidad previa que suponemos que es precisa.
La respuesta solo es “verdadera” si lo anterior es correcto , lo que en la vida real no es algo que podamos saber.
Creo que para hacer su afirmación matemáticamente precisa, tendríamos que decir: “Un análisis bayesiano muestra la verdadera posibilidad de tener la enfermedad, siempre que conozcamos la tasa general de la enfermedad con una precisión perfecta Y que el paciente haya sido seleccionado al azar con uniforme probabilidad de la población sobre la cual se ha establecido la tasa (es decir, que el paciente no ha sesgado la probabilidad al tener alguna razón para elegir realizar la prueba) “.
Eso es un poco diferente.