Máquinas que no entendemos

El ser humano está empezando a generar programas y máquinas cuyo funcionamiento no resulta transparente ni interpretable. Sería conveniente regular su desarrollo

26 Diciembre 2017

El ser humano a veces, o a menudo, crea problemas tan complejos que luego no sabe resolverlos. Nos puede pasar con las máquinas: estamos empezando a crear algunas cuyo funcionamiento no entendemos y ello puede acabar siendo peligroso, más aún cuando la complejidad de estos programas crece. Las nuevas máquinas no deben pueden ser meras cajas negras en las que sabemos lo que entra y lo que sale, pero no lo que pasa en su interior. La naturaleza, incluido el cerebro humano, ya es lo suficientemente compleja como para que la hagamos aún más incomprensible añadiendo artificialidades opacas.

Este es un problema que está empezando a preocupar a los tecnólogos y a los científicos en el campo de la Inteligencia Artificial, y sobre el que hay ya investigaciones en curso. No es una cuestión teórica, sino con efectos prácticos. Por ejemplo, cuando un programa de compra-venta ultra-rápida de valores, de high frequency trading (HFT) se vuelve loco, como ha ocurrido en varias ocasiones, y provoca un crash bursátil, aunque sea de corta duración, sin que en algunos casos realmente se llegue a saber la razón. Y eso que son programas relativamente sencillos. O cuando Facebook tuvo un problema parecido con algunos de sus chatbots, pero que en parte fue provocado por un ataque de trols.

Las redes neuronales en que se estructuran algunos ordenadores están empezando a generar ese tipo de situación: resuelven problemas, pero a menudo no se entiende cómo. Alphago, el ordenador que ha ganado varias partidas de Go a maestros de este juego oriental y que ahora incluso ha mejorado en una tercera versión, pertenecería en parte a esta categoría. Los diseñadores a menudo no logran ya entender «cómo funcionan» sus creaciones, y tienen crecientes dificultades para descodificar el comportamiento de sus propios robots por medio de la observación, como señala un estudio de Robert Wortham y otros de la Universidad de Bath (Reino Unido). 

En nuestro país, algunos investigadores, por ejemplo Rafael García en IMDEA Networks, están planteando lo que llaman la cuestión de la «interpretabilidad» de los programas. En el mundo anglosajón están empezando a crecer las demandas para regular esta cuestión y asegurar, ante el problema de la interpretabilidad o «auditoriabilidad», lo que llaman «transparencia», de estos programas o máquinas. No se trata de que cualquier persona sea capaz de interpretar su funcionamiento –como tampoco hay que saber mucha mecánica para conducir un coche- sino de que al menos unos pocos expertos puedan hacerlo. Los usuarios sí deberían ser capaces de comprender la habilidad, intenciones y restricciones situacionales de los programas.

La falta de interpretabilidad se está empezando a considerar como uno de los grandes riesgos de estas nuevas máquinas. La cuestión de qué significa «interpretable» es en sí muy compleja, pero resulta fácil de entender de forma intuitiva, y, en el fondo, significa mantener un control humano sobre estos procesos. Los diseñadores de sistemas inteligentes deben responsabilizarse de hacer que sus productos nos resulten transparentes», aunque haya diversas «capas de transparencia», según los investigadores de la Universidad de Bath. También es necesario poder seguir el rastro –lo que se llama «trazabilidad»- del comportamiento de la máquina autónoma para determinar las causas de sus eventuales errores o maneras de proceder que nos resulten inaceptables.  Se trata de evitar que se multipliquen las ya mencionadas «cajas negras» en las que sabemos lo que entra y lo que sale, pero no lo que sucede en su interior. Pero a menudo, además de la forma de funcionar, estas máquinas trabajan con miles de variables, muchas de las cuales no tienen un significado humano convencional.

Empieza a ser necesario regular esta transparencia, al menos en el Viejo Continente, a escala de la Unión Europea. Incluso con contenidos éticos. Ya se ha dado algún paso en este terreno. La UE ha regulado (entrará en vigor el año próximo) una Protección General de Datos que hará que los ciudadanos puedan exigir transparencia sobre decisiones completamente automatizadas que tengan consecuencias jurídicas o de otro tipo. También es un tema que está detrás de los intentos, hasta ahora fallidos, desde la ONU de regular el desarrollo de armas automatizadas, los llamados «robots asesinos».

Esta transparencia es algo distinto de la que pide la reciente Declaración de Barcelona para el Desarrollo y Uso Adecuado de la Inteligencia Artificial en Europa, según la cual cuando un sistema de Inteligencia Artificial toma una decisión, los seres humanos afectados por ella «deberían poder obtener una explicación de por qué la decisión se toma en términos de un lenguaje que puedan entender y deben poder impugnar la decisión con argumentos razonados». Es decir, que nos resulte comprensible, entendible.

Hay todo el debate que vincula la cuestión a la de la famosa «singularidad», según la cual la Inteligencia Artificial podrá un día superar al ser humano en todos los campos. Aunque no son pocos los expertos que consideran que aún faltan décadas para que un robot logre montar un mueble de IKEA un poco complicado. Pero es necesario tener en cuenta el problema de la transparencia o interpretabilidad antes de que sea demasiado tarde.

Es más fácil pedir la regulación que hacerla. ¿Qué pasará cuando los informáticos respondan que no pueden o si un día se llega al convencimiento de que la solución a este tipo de problemas está fuera del alcance de los humanos? Como se plantea Rafael García, ¿debemos prohibir el uso de una máquina que es capaz de detectar cáncer meses antes que cualquier oncólogo porque no entendemos cómo lo hace?