C. O'Neil: Armas de destrucción matemática

 

Cuando hace unos días hablé de esta obra en mi reseña de Diez razones..., lo hice con la intención de forzarme a acabar de leerla. Y así ha sido. Me ha funcionado el truco.

Cathy O'Neil es una matemática que quiso alejarse del mundo académico y adentrarse en la aplicación de las matemáticas trabajando en el descorazonado mundo del Big data. Fruto de aquella experiencia es este libro-denuncia.

O'Neil nos habla de procesos matemáticos en los que se da una retroalimentación muy negativa, automática, que perjudica a los sectores más desfavorecidos. Estos procesos, paradójicamente, son ciclos de mejora continua. Ciclos en los que hay sesgos y algoritmos que permanecen ocultos y que condenan a sectores sociales a la marginación.

Sistemas automáticos de prevención criminal, sistemas de valoración del profesorado, sistema de valoración del crédito son algunos de los que la autora describe con detalle como "Armas de destrucción matemática". En todos ellos se introduce un razonamiento de causalidad confundiendo algunas correlaciones estadísticas con hechos definitivos. Estos hechos o datos condenan a grandes masas de población siguiendo estereotipos que producen juicios de valor de cierta inteligencia artificial muy alejados a lo que un buen profesional haría al valorar individualmente a las personas involucradas.

Como causa fundamental del mal funcionamiento de lo que debería producir algo muy diferente a lo que provoca, O'Neil nos dice que es el principio de optimización que se utiliza: aumentar beneficios, reducir gastos. Es curioso cómo este argumento, sacado de contexto, nos lleva a lo que alguien podría utilizar para criticar a la autora con una  escritora socialista o, vaya usted a saber, marxista.

Lo que denuncia O'Neil son hechos concretos. Su origen está en la filosofía del sistema capitalista o de libre mercado sin restricciones. Ese reconocimiento debería ser un punto de partida para el análisis de cualquier sistema informático retroalimentando. Las personas deben analizar periódicamente los resultados y corregirlos cuando se detecten mal funcionamientos como los que la autora encuentra.