Si tengo el 90% de las observaciones de una distribución de probabilidad y el 10% de otra sustancialmente diferente, ¿el aprendizaje profundo supervisado del 90% se verá afectado negativamente en términos de precisión debido al 10%?

Answer 1

Respuesta corta, podría verse afectada. Esto podría ser “negativo” en el sentido más obvio: si desea generalizar a nuevas observaciones de la población A, desea muestrear de la población A.

El aspecto de aprendizaje profundo significa muy poco aquí. La última capa del modelo de aprendizaje profundo es lo que usa para calcular su función de pérdida. Por ejemplo, si tiene un problema de regresión, puede usar MSE como la función de pérdida y hacer que su capa de salida con una función de activación lineal, conectada a la última capa oculta.

Lo que puede converger aquí es similar a lo que terminaría aprendiendo con cualquier problema de regresión utilizando una función de pérdida L2. Terminaría con predicciones que intentan minimizar el error al cuadrado promedio en todo el conjunto de entrenamiento.

Básicamente terminaría con predicciones en la capa de salida en algún punto intermedio entre lo que obtendría al entrenar solo en A o solo en B.

Esto supone que su modelo no tiene forma de ver de dónde provienen los datos (no es implícito ni inferible del vector de entrada).

Answer 2

Depende de lo que esté haciendo con el 10% (¿lo está agregando al conjunto de capacitación?) Y de lo que su red está capacitada para hacer y la nueva población contradice la tesis. Por ejemplo, si tuviera un clasificador que prediga el género en función de los nombres de pila, hay varias formas en que las poblaciones podrían diferir,

1. 90% de los datos del censo y 10% de todas las escuelas de niños o,
2. 90% de datos del censo chino y 10% de Suiza.
3. etc …

Entonces la pregunta está mal planteada sin más detalles sobre las poblaciones.