Hace casi dos años, Hashem Al-Ghaili, un biólogo molecular, comunicador científico y cineasta de origen yemení, colgó en sus redes sociales un vídeo de apenas nueve minutos en el que presentaba EctoLife, una supuesta empresa de úteros artificiales que, según él, permitiría gestar 30.000 bebés al año a través de un sofisticado sistema de ingeniería genética que los padres podrían, además, monitorizar desde sus teléfonos móviles como si su hijo fuera un tamagotchi. El impacto del spot fue tan bestia que Al-Ghaili tuvo que advertir días después que aquello de EctoLife no era una industria real, sino sólo "un concepto". Una idea, eso sí, perfectamente posible. "No es ciencia ficción", advirtió. "La instalación no existe en este momento; pero está 100% basada en la ciencia y en más de 50 años de investigación".

Meses después se repitió el fenómeno con BrainBridge, su particular máquina para trasplantar cabezas como quien trasplanta un riñón. Y ahora vuelve a la carga con Cognify. "Bienvenidos a la prisión del futuro", advierte el último videoclip de Al-Ghaili. "Una instalación diseñada para tratar a los delincuentes como pacientes".

El proyecto Cognify plantea un futuro de cárceles sin muros ni barrotes en el que los presos podrían cumplir sus condenas en sólo unos minutos a través de implantes de recuerdos artificiales en sus cerebros. "Estos recuerdos complejos, vívidos y realistas se crean en tiempo real utilizando contenidos generados por inteligencia artificial", explica su ideólogo. "Dependiendo de la gravedad del delito y de la condena, los recuerdos podrían adaptarse a las necesidades de rehabilitación de cada recluso. El preso puede elegir entre pasar decenas de años en una celda o rehabilitarse por la vía rápida mediante la implantación artificial de recuerdos".

La iniciativa, que parece sacada de una película de Denis Villeneuve, no se antoja demasiado probable, al menos a corto plazo. Sin embargo, sí ha agitado el debate sobre el uso de la tecnología y los avances de la inteligencia artificial en la aplicación de la justicia y en el futuro de las instituciones penitenciarias. En España ya hay varios sistemas en marcha, ya sea para acelerar los trámites de los permisos carcelarios o monitorizar la radicalización de presos islamistas. Sin embargo, ninguno ha llegado tan lejos como Cognify... de momento.

"Es una propuesta descabellada y peligrosa", alerta José Manuel Muñoz, investigador del Centro Internacional de Neurociencia y Ética (CINET). "Descabellada porque no está basada en ciencia real sino, más bien, en ideas de ciencia ficción que ya hemos visto en películas como La naranja mecánica o Minority Report. Y peligrosa porque, pese a no ser científicamente seria, la propuesta defiende y difunde la alarmante idea de que corregir el comportamiento antisocial es algo que se debe manejar desde la modificación o reprogramación cerebral".

A Hashem Al-Ghaili las críticas no parecen importarle demasiado. "La ciencia que lo respalda ya existe, pero los límites éticos impiden que se convierta en realidad", se quejaba hace unos meses en la revista tecnológica Wired.

El manual de instrucciones de su invento parte de un escáner cerebral de alta resolución que crearía un mapa detallado de las vías neuronales de cada paciente para detectar las regiones responsables de la memoria, el razonamiento y el pensamiento lógico. Una vez identificadas, el dispositivo de Cognify se coloca alrededor de la cabeza del preso como si fuera un casco de moto y se le aplican unos "recuerdos sintéticos" personalizados en función del delito cometido, su estructura cerebral y su perfil psicológico.

"Los delincuentes violentos podrían experimentar recuerdos diseñados para provocar empatía y remordimiento. Ver su delito desde la perspectiva de su víctima, sentir su dolor y sufrimiento de primera mano", explica el video del biólogo yemení, cuya máquina también podría inducir estados emocionales como el remordimiento o el arrepentimiento, cruciales para la rehabilitación. "Los recuerdos artificiales podrían abarcar una amplia gama de delitos, como la violencia doméstica, los delitos de odio y discriminación, la malversación, el uso de información privilegiada, el robo y el fraude".

"El preso podrá elegir entre pasar decenas de años en una celda o rehabilitarse por la vía rápida mediante la implantación artificial de recuerdos"

Hashem Al-Ghaili, ideólogo de Cognify

Desde el punto de vista ético, cuenta José Manuel Muñoz, este proyecto es una nueva versión de un concepto ya conocido: la "mejora moral". "Es una idea que, si bien tiene sus defensores, es muy cuestionable y ha sido criticada por amplios sectores y numerosos especialistas internacionales en bioética", explica. "Modificar el cerebro de una persona, incluso con su consentimiento, para mejorarle moralmente supone, entre otras cosas, una asunción de que todo depende del cerebro como si fuéramos máquinas, así como una medicalización del comportamiento criminal como si este fuera una enfermedad fácil de curar con una pastilla. En este caso, un chip cerebral".

Al-Ghaili sostiene que su idea permitiría comprender mejor la mente criminal y determinar el mejor ideal para hacer frente a los delitos. Además, revolucionaría el sistema de justicia penal en todo el mundo al reducir significativamente la necesidad de encarcelamiento a largo plazo, la población reclusa y sus costes asociados.

A finales del mes pasado, el Gobierno británico liberó a los primeros 1.700 presos de los más de 5.000 que planea excarcelar en los próximos meses para hacer frente a la sobrepoblación de sus prisiones. España está también entre los países europeos con mayor número de reclusos, pero las cifras se han mantenido estables en los últimos años. En 2021, al menos ocho países de la Unión Europea sufrían hacinamiento en sus celdas.

"Sus defensores sostienen que la neurotecnología podría ser la clave para reducir la reincidencia y facilitar la reintegración de los delincuentes en la sociedad. ¿Pero es realmente posible cambiar la naturaleza de una persona alterando sus pensamientos mediante un chip cerebral? Y, más importante aun, ¿es legal y ético?", se preguntaba hace sólo unas semanas Damián Tuset, Investigador en Derecho Internacional Público e Inteligencia Artificial, en un artículo titulado Chip cerebral para reclusos: una prisión dentro de la cabeza.

Tuset admite ahora que, desde un punto de vista técnico, la idea de Cognify podría ser una realidad a medio plazo, pero las dudas morales y jurídicas que plantea una idea así todavía son irresolubles. "Una medida como esa tendría beneficios muy interesantes desde un punto de vista teórico, pero en la práctica afectaría directamente a la dignidad de la persona", explica. "¿Quién decide qué recuerdos se implantan o con qué intensidad? ¿Quién controla la tecnología? ¿Qué nos impide usar esa misma tecnología para controlar a otros sectores de la población bajo el pretexto de la seguridad o el orden? Hoy una medida como esta se consideraría de alto riesgo".

La Ley europea sobre Inteligencia Artificial, aprobada a finales del año pasado, así lo contempla. La norma acordada por los Estados y la Eurocámara establece una escala de riesgos para catalogar los distintos sistemas de inteligencia artificial que puedan salir al mercado. Una especie de semáforo para la tecnología. Por debajo de los sistemas de "riesgo inaceptable", aquellos que supongan una clara amenaza para los derechos fundamentales y que por tanto serán directamente prohibidos en Europa, se establece un nivel de "alto riesgo" que incluye, entre otras, cualquier aplicación relacionada con la administración de justicia.

Hace sólo unos días, el Consejo de Europa hizo públicas además unas recomendaciones específicas para garantizar que el uso de la IA por parte de los servicios penitenciarios respete los derechos humanos. "Las tecnologías no deben sustituir al personal penitenciario en su trabajo diario y en su interacción con los delincuentes, sino más bien ayudarles en esa labor", dice el texto. Según sus directrices, cualquier decisión basada en el uso de la IA que pueda afectar a los derechos humanos debe estar sujeta a revisión humana y a mecanismos de reclamación eficaces. Sin embargo, el escenario no es tan sencillo.

"La complejidad de la realidad supera las garantías formales de la norma", resume Puerto Solar, jurista de Instituciones Penitenciarias. "Y a pesar de que las recomendaciones dicen que, en los instrumentos de valoración de riesgo, el factor valorativo humano no puede desaparecer, creo que en la práctica es muy complejo de llevar a cabo por el sesgo tecnológico que impera. La realidad siempre es más compleja que lo que una máquina puede medir, pero... ¿quién se atreve hoy a contradecir a la máquina?".

-¿Llegaremos a ver en España una cárcel sin barrotes?

-La justicia va mucho de lo humano, pero lo estamos perdiendo... Yo creo que con las personas privadas de libertad hay que trabajar desde su autonomía y para conseguir su responsabilización. Y esta idea parte de lo contrario: está más cerca de lobotomizar a los reclusos. En España ya hay varias iniciativas que utilizan la inteligencia artificial, pero esto es un paso más allá.

"La realidad siempre es más compleja que lo que una máquina puede medir, pero... ¿quién se atreve hoy a contradecir a la máquina?"

Puerto Solar, jurista de Instituciones Penitenciarias

En nuestro país se utiliza ya tecnología para detectar amenazas terroristas y procesos de radicalización yihadista en la red. Hay lecturas automatizadas de matrículas, control de incendios forestales, mapeo de las zonas más proclives a la comisión de delitos o herramientas digitales para optimizar la búsqueda de personas desaparecidas. En el año 2007 se puso en funcionamiento el sistema VioGén, que estima los niveles de riesgo de las mujeres víctimas de violencia de género. Y en 2018, se creó VeriPol, una aplicación informática que utiliza inteligencia artificial para estimar la probabilidad de que una denuncia presentada por una persona por un caso de robo con violencia sea falsa.

"Desde el punto de vista de las garantías jurídicas, son herramientas super problemáticas", avisa Puerto Solar. "No son herramientas inteligentes, como sí lo serán dentro de muy poquitos años. Ahora mismo sólo explotan datos, son predicciones de riesgo desde un punto de vista estadístico y esto genera problemas de tutela judicial efectiva. Si a mí me deniegas un permiso carcelario por un tanto por ciento de riesgo, me es muy complicado defenderme. No sé qué datos han entrado en esa máquina o qué factores ha tenido en cuenta. Se presta más atención al dato que a la persona y al final es como luchar contra los elementos. ¿Cómo te defiendes ante algo tan opaco como un algoritmo?".

El año pasado se puso en marcha una prueba piloto en Cataluña para analizar a través de las imágenes registradas por las cámaras de vigilancia de las cárceles y de la inteligencia artificial las expresiones faciales y el lenguaje corporal de los reclusos y prevenir así riesgos de fuga, motines o la introducción de droga en prisión. Desde 2009 funciona también en el sistema penitenciario catalán RisCanvi, una herramienta de evaluación de riesgos que estima las probabilidades de que un recluso quebrante sus permisos, se comporte de forma violenta en prisión o reincida en sus delitos una vez puesto en libertad.

"Ojo con la tentación de creer que porque estamos usando IA estamos más cerca del éxito", advierte José Manuel Muñoz. "Predecir con precisión si un recluso concreto, con nombre y apellidos, va a reincidir o no es imposible, por mucha IA que empleemos. Se trata de una tecnología muy de moda, y coincido en que puede traernos beneficios, pero está habiendo demasiado hype con ella. Corremos el riesgo de que se nos vaya de las manos, hasta el extremo de usarla para todo y legitimar prácticas intolerables solo porque se ha usado IA".

La Corte Constitucional de Colombia dictó el mes pasado una sentencia pionera para regular el uso de IA en el poder judicial tras el polémico uso de ChatGPT por parte de un juez del país para fundamentar una decisión en un proceso de tutela.

"Predecir con precisión si un recluso concreto, con nombre y apellidos, va a reincidir o no es imposible, por mucha IA que empleemos"

José Manuel Muñoz, investigador del Centro Internacional de Neurociencia y Ética

El pasado verano, un equipo de especialistas en Derecho, Matemáticas y Estadística de la Universitat de València (UV) y la Politécnica (UPV) alertó de los riesgos de tres de las herramientas predictivas utilizadas en España en la gestión policial y en la clasificación penitenciaria, tanto para los derechos fundamentales de los ciudadanos como en posibles discriminaciones de colectivos vulnerables.

Su estudio, dirigido por la profesora de Derecho Penal de la UV Lucía Martínez Garay, analizó en profundidad el funcionamiento de las herramientas VioGén, VeriPol y RisCanvi. Su conclusión fue que las tres comparten carencias generales en su adecuación al marco jurídico en materia de protección de datos. "Todas estas aplicaciones cumplen las normas, pero no porque estén diseñadas de forma rigurosa, sino porque el marco vigente no es particularmente exigente", explica Martínez Garay, que censura la falta de transparencia e información sobre el funcionamiento de estos algoritmos en España, lo que hace imposible detectar posibles sesgos discriminatorios o amenazas para los derechos de los ciudadanos.

En Estados Unidos hace años que se empezó a usar también un algoritmo llamado Compas para evaluar el riesgo de reincidencia de la población reclusa de cara a dar permisos penitenciarios, fijar una fianza o decretar la libertad condicional. El objetivo era agilizar el proceso y ayudar a los jueces a tomar la decisión basándose en datos objetivos. Sin embargo, no tardó en descubrirse que el sistema tenía un sesgo que discriminaba a los presos afroamericanos.

"Es la subordinación absoluta de las decisiones humanas a las de un programa informático, que encima afecta para siempre al destino de seres humanos, sean reclusos o víctimas", explica el investigador del CINET. "Estas prácticas irresponsables deberían ser erradicadas y, desde luego, no emuladas en otros lugares".

¿Cómo funcionan estas herramientas en España? El ejemplo más parecido al Compas americano es RisCanvi, un sistema que se desarrolló en respuesta a la alarma social que generó en la década de los 2000 la reincidencia de varios delincuentes sexuales en Cataluña. Su software analiza hoy una lista de hasta 43 factores que pueden incluir la edad del recluso, la fecha de su primer delito, la violencia de sus actos, la duración de su condena, los antecedentes familiares, su nivel educativo, sus recursos económicos, el diagnóstico psiquiátrico, su expediente en prisión... El algoritmo baraja todos estos ingredientes y devuelve un nivel de riesgo en cinco modalidades diferentes: violencia autodirigida, violencia dentro de prisión, quebrantamiento de condenas, reincidencia violenta o reincidencia general.

Durante muchos años, la opacidad de la Administración catalana impidió conocer su funcionamiento, pero hoy se audita cada año. Se conocen los datos de su aplicación, pero las tripas del algoritmo siguen siendo una incógnita.

"Quiero pensar que es imposible que en 10 años vayamos con cascos de chips cerebrales como si fuera móviles. En 20 años no me atrevo a decirlo"

Lucía Martínez Garay, profesora de Derecho Penal de la UV

"En general estas herramientas tienen un problema: los falsos positivos", explica Lucía Martínez Garay. "Más del 90% de los reclusos a los que RisCanvi valora con riesgo bajo de reincidencia nunca reinciden, y eso es un éxito del algoritmo. Pero sólo un 20% de las personas catalogadas con riesgo alto vuelve a cometer un acto violento. Eso significa que el sistema falla con el otro 80%", explica la profesora de Derecho Penal. "La Administración te dirá que el sistema funciona bien porque la reincidencia ha descendido, y es verdad, pero hay muchas personas afectadas por esta valoración de riesgos que están en situación de indefensión, señaladas por un algoritmo que no sabemos bien cómo funciona y que nadie se atreve a contradecir porque hay que ser muy valiente para llevarle la contraria a la máquina".

-¿No podremos fiarnos nunca el juicio de un algoritmo?

-Los algoritmos han llegado para quedarse y es más probable que se extiendan antes de que dejen de utilizarse. El problema es que cuando se añada inteligencia artificial y aprendan solos, la opacidad será aun mayor.

-¿Imagina un futuro en el que esos presos con mayor riesgo de reincidencia se puedan rehabilitar con un chip en el cerebro?

-Es difícil prever la evolución en este ámbito porque tecnológicamente todo va más rápido de lo que creemos. Que se va poder hacer técnicamente, que podremos implantar recuerdos, no me cabe duda... La cuestión es si vamos a dejar que se haga o no. Y hay que valorar muy bien sus ventajas e inconvenientes para cuando haya que tomar la decisión. Yo quiero pensar que es imposible que en 10 años vayamos con cascos de chips cerebrales como si fueran teléfonos móviles.

-¿Y en 20?

-En 20 años ya no me atrevo a decirlo.