¿Cuáles son algunos buenos ejemplos de ingeniería de características creativas cuando se hace aprendizaje automático?

Hace un año, algunos amigos y yo compitimos en una competencia de Kaggle para predecir los incumplimientos de préstamos. Predicción de incumplimiento de préstamo – Imperial College London

En este proyecto había casi 800 características y era extremadamente necesario encontrar la “señal dentro del ruido”, por así decirlo. El mejor ejemplo de ingeniería de características creativas fue lo que hizo el equipo que ocupó el segundo lugar de esta competencia (el primer lugar básicamente encontró un buen truco).

Este equipo tomó todas las operaciones entre 2 y entre 3 funciones y luego siguió adelante para encontrar la mejor correlación de Pearson de estos combos, reduciendo la lista de funciones de forma lenta pero segura. Aquí está su código fuente para referencia: HelloWorldLjc / Loan_Default_Prediction

Siempre me pareció que este era un gran ejemplo de ingeniería de características creativas porque decidieron hacerlo exponencialmente MÁS complejo en cuanto a su número de características, solo para poder volver a un pequeño número de características altamente correlacionadas.