¿Los practicantes de Machine Learning a veces pierden el rastro de qué tan bien sus modelos y algoritmos coinciden con el mundo real? ¿Cómo lo sabrían?

Los buenos y experimentados practicantes nunca pierden la pista. Se esfuerzan mucho en formular el problema para satisfacer las necesidades del mundo real, definir métricas claras para medir el éxito. ¡No puedes arreglar algo que no se puede medir!

Una vez que conoce las métricas que necesita medir, las monitorea continuamente para evaluar el rendimiento. Si hay anomalías (debido a varios motivos como el seguimiento de errores, la deriva estacional, las intervenciones más allá de su control, etc.), un buen profesional del aprendizaje de máquinas profundizaría en los datos para descubrir los motivos y tomar medidas proactivas para mejorar el sistema. Siguen un riguroso procedimiento experimental para introducir nuevos componentes en el sistema, midiendo claramente el impacto. También realizan comprobaciones visuales mediante la comprobación puntual de sus algoritmos en la vida silvestre en algunas personas para garantizar que tenga sentido intuitivo y que pasen las comprobaciones de seguridad. También hacen un seguimiento con pequeños estudios de grupos focales para crear más intuición y están pensando constantemente en nuevas estrategias para mejorar el producto. El objetivo de un buen practicante es construir “grandes productos”, no solo “grandes modelos”.

Los datos te mantienen conectado a tierra.

Normalmente, divide sus datos en un conjunto de entrenamiento, uno o más conjuntos de validación y un conjunto de prueba. Usted entrena a su modelo solo en los datos de capacitación y utiliza el conjunto de validación para evaluaciones intermedias de desempeño. El conjunto de prueba nunca se utiliza durante el entrenamiento.

La división adecuada de los datos evita el sobreajuste, por lo que el modelo no se limita a ajustar el ruido, o algún subconjunto peculiar o mal muestreado de los datos disponibles.

Lea más sobre esto en Wikipedia:

Equipo de prueba