Los buenos y experimentados practicantes nunca pierden la pista. Se esfuerzan mucho en formular el problema para satisfacer las necesidades del mundo real, definir métricas claras para medir el éxito. ¡No puedes arreglar algo que no se puede medir!
Una vez que conoce las métricas que necesita medir, las monitorea continuamente para evaluar el rendimiento. Si hay anomalías (debido a varios motivos como el seguimiento de errores, la deriva estacional, las intervenciones más allá de su control, etc.), un buen profesional del aprendizaje de máquinas profundizaría en los datos para descubrir los motivos y tomar medidas proactivas para mejorar el sistema. Siguen un riguroso procedimiento experimental para introducir nuevos componentes en el sistema, midiendo claramente el impacto. También realizan comprobaciones visuales mediante la comprobación puntual de sus algoritmos en la vida silvestre en algunas personas para garantizar que tenga sentido intuitivo y que pasen las comprobaciones de seguridad. También hacen un seguimiento con pequeños estudios de grupos focales para crear más intuición y están pensando constantemente en nuevas estrategias para mejorar el producto. El objetivo de un buen practicante es construir “grandes productos”, no solo “grandes modelos”.