Machine Learning: la maldición de las cajas negras

Las tecnologías para analizar datos y mejorar la toma de decisiones han evolucionado considerablemente en los últimos años. Hace unos meses preparé una breve visión retrospectiva de cómo ha cambiado el panorama. En definitiva, hemos evolucionado desde la inteligencia de negocio hasta el big data en apenas unas décadas.

En la actualidad estamos iniciando una nueva etapa fundamentada en desarrollar capacidades cognitivas en nuestra organización, y como comenta McKinsey, vivimos en la era de la analitica. Esto no es nuevo para nuestros lectores. Es decir, cualquier proceso de negocio de nuestra organización y nuestras decisiones se apoyarán en algoritmos de machine learning (ML), para potenciar, mejorar y acelerar nuestras capacidades de comprender a nuestros clientes, empleados, proveedores y productos.

Esta visión es un reto para las organizaciones que se encuentran en diferentes estados de madurez como organizaciones orientadas al dato desde las que están empezando el viaje hasta las que ya se encuentran avanzadas tras implementar de forma con éxito sistemas de inteligencia de negocio, analítica de datos o, incluso, big data.

Cualquier tipo de responsable, sea cual sea su departamento o su nivel jerárquico, necesita conocer y entender el concepto. Aquí tenemos una interesante explicación por parte de Pedro Domingos, autor de The Master Algorithm, y otra buena introducción por parte de Andreseen Horowitz.

Pongamos en que nos convertimos a este nuevo dogma y creemos que nuestra organización debe en una máquina automática fundamentada en algoritmos. A medida que vayamos introduciendo algoritmos más y más sofisticados en nuestra organización, se generan nuevos retos que es necesario abordar más pronto que tarde que recuerdan a una caja negra (no confundir con las cajas negras de un avión):

-Los resultados de ML son una caja negra: ML no se comprende. No sólo porque no se entiende cómo se genera el valor sino en la interpretación de los resultados. Este tema no es nuevo, pero cada vez más se discute como un problema de User eXperience (UX) y no sólo desde la perspectiva de la visualización de datos.

-Los algoritmos ML desplegados en la organización son una caja negra: El problema no sólo puede encontrarse en la interpretación sino también en en el proceso de selección, en la documentación vinculada en el desarrollo, a la selección de features,…. En línea con esta discusión empiezan a emerger propuestas como The Machine Learning Canvas.

Estos dos escenarios no son nuevos, los hemos vivido ya en el contexto de la inteligencia de negocio, aunque en menor magnitud y forman parte del conocimiento popular (o deberían). Entre sus soluciones encontramos definir una estrategia a largo plazo, documentación, evitar modelos y programación de baja calidad, definir estrategias de comunicación y formación,…

Parece que estamos condenados a repetir los errores del pasado y que en el futuro se hablará de fracasos en la implementación de data science como ya se está hablando de fracasos en el contexto de Big Data.

¿Seremos capaces de evitar las cajas negras en nuestras organizaciones?

Josep Curto es  profesor en los Estudios de Informática, Multimedia y Telecomunicación de la Universitat Oberta de Catalunya, donde es responsable de asignaturas relacionadas con estrategias de datos. Es además Director de Delfos Research, empresa especializada en investigación de los mercados de Business Intelligence, Business Analytics y Big Data.