惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

Google Online Security Blog
Google Online Security Blog
博客园_首页
酷 壳 – CoolShell
酷 壳 – CoolShell
Jina AI
Jina AI
博客园 - Franky
大猫的无限游戏
大猫的无限游戏
Hugging Face - Blog
Hugging Face - Blog
博客园 - 司徒正美
V
V2EX
雷峰网
雷峰网
云风的 BLOG
云风的 BLOG
V
Visual Studio Blog
F
Full Disclosure
Y
Y Combinator Blog
V
V2EX - 技术
Attack and Defense Labs
Attack and Defense Labs
S
Security @ Cisco Blogs
Schneier on Security
Schneier on Security
Microsoft Azure Blog
Microsoft Azure Blog
SecWiki News
SecWiki News
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
The GitHub Blog
The GitHub Blog
量子位
PCI Perspectives
PCI Perspectives
S
Secure Thoughts
D
Darknet – Hacking Tools, Hacker News & Cyber Security
AWS News Blog
AWS News Blog
Blog — PlanetScale
Blog — PlanetScale
爱范儿
爱范儿
K
Kaspersky official blog
B
Blog
A
Arctic Wolf
Hacker News: Ask HN
Hacker News: Ask HN
L
LangChain Blog
T
Tor Project blog
P
Privacy & Cybersecurity Law Blog
Recent Announcements
Recent Announcements
宝玉的分享
宝玉的分享
The Register - Security
The Register - Security
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
L
Lohrmann on Cybersecurity
D
Docker
A
About on SuperTechFans
H
Hackread – Cybersecurity News, Data Breaches, AI and More
Google DeepMind News
Google DeepMind News
The Last Watchdog
The Last Watchdog
S
Security Affairs
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
P
Privacy International News Feed
Simon Willison's Weblog
Simon Willison's Weblog

Premium

暂无文章

Román Orús, único español en el comité de la ONU para la IA: "Puede llevar a la humanidad a una evolución nunca vista y en poquísimo tiempo"
ALBERTO R. VENTURA / ARABA PRESS · 2026-06-05 · via Premium

La inteligencia artificial, que arrancó como gran promesa tecnológica del siglo XXI, con máquinas capaces de aprender, de curar, de invertir o de revertir el cambio climático, ha acabado implicada en guerras, economías y elecciones, llevándonos a la inquietante pregunta de quién va a controlar todo esto, si es que se puede.

Román Orús está en ello. Profesor de Ikerbasque (Fundación Vasca para la Ciencia) en el Donostia International Physics Center (DIPC), director científico de Multiverse Computing, compañía española especializada en computación cuántica e IA, es ahora también el único español entre los 40 elegidos por Naciones Unidas para asesorar a los gobiernos sobre qué hacer con todo esto, empezando por evitar que las grandes tecnológicas se hagan con el control.

«No hay otra alternativa que evitarlo», advierte Orús, quien en 2024 fue reconocido con el premio de Física, Innovación y Tecnología de la Real Sociedad Española de Física-Fundación BBVA. «O sea, que la alternativa a evitarlo es cero. La inteligencia artificial es una herramienta potentísima, y no hemos hecho más que empezar a rascar la punta del iceberg. Lo que vendrá en los próximos años ni siquiera nos lo podemos imaginar comparado con lo que estamos viendo ahora. Y necesita control, como en aquel anuncio de BMW que decía que la potencia sin control no sirve de nada. Aquí es un poco lo mismo. Va a hacer falta una regulación, pero tiene que ser flexible y facilitar el avance de la tecnología. Lo que no puede hacer es limitarla, ni tampoco frenar la adopción o la innovación. Ahí es donde está el reto. Yo pongo mucho el ejemplo de la bomba atómica. La IA es casi el nuevo Proyecto Manhattan».

De hecho, viendo nuestro currículum bélico, la bomba atómica quizá sea la demostración de que la IA no puede ser controlada, al poder ser desarrollada no solo por gobiernos, sino también por corporaciones o individuos. «La primera bomba atómica se desarrolla por gobiernos, mientras que los primeros grandes modelos de IA han sido desarrollados por empresas privadas. Hay artículos científicos que te explican en qué están basados estos modelos y muchos son de código abierto». Es decir, que es como ponerle puertas al campo. «Es muy complicado, pero algo hay que hacer, porque si no nos vamos a topar con una guerra de desinformación, en la que no vamos a poder creernos nada de lo que veamos, por ejemplo, en redes sociales. Y ya no te hablo de riesgos en ciberseguridad, de ciberataques, etc. El último modelo de Anthropic lo han tenido que parar porque era tan potente que había riesgos de ciberseguridad. Y esto no va a hacer más que evolucionar».

En la distopía Alien: Earth de Disney+, el mundo del año 2120 ya no está dirigido por gobiernos democráticos, sino por megacorporaciones a las que, a cambio de solucionarnos problemas ordinarios como la vivienda, el empleo o la alimentación, les hemos cedido todo el poder. El presidente del Gobierno, Pedro Sánchez, al inaugurar el pasado abril en Madrid la reunión del Panel de Expertos en IA de la ONU, habló de «colonialismo silencioso» para referirse a la concentración del poder en manos de las tecnológicas.

«Es cierto que hoy en día hay muchísimos actores políticos más allá de los políticos», reconoce Orús. «A los políticos les toca regular, pero quien tiene la sartén por el mango son las empresas tecnológicas que están desarrollando los modelos, ni más ni menos. Y son ellas las que tienen que adaptarse a la regulación que surja. Pero sí que es cierto que, desde un punto de vista político, da la sensación de que la sociedad está evolucionando hacia una especie de tecnocracia, donde se está acumulando muchísimo poder en actores políticos que no son los representantes democráticos del pueblo, sino empresas con capital privado. Esto es un debate que yo no tengo capacidad de resolver. Es más grande que el problema de la IA. ¿Hacia dónde va la sociedad? ¿Cuál va a ser el modelo de capitalismo del futuro? Quizá estemos atisbando los primeros síntomas del agotamiento del modelo capitalista que tenemos desde el siglo XIX».

"Desde un punto de vista político, da la sensación de que la sociedad evoluciona hacia una especie de tecnocracia"

Es imposible no imaginarse al comité de expertos de la ONU elaborando un simple código de buenas prácticas y pasándoselo después a las tecnológicas para ver si están de acuerdo. «No, no va a funcionar así. Nosotros vamos a hacer informes, pero no se los vamos a pasar a las tecnológicas. Nosotros no hacemos la regulación. Somos un comité asesor. Somos la bisagra, digamos, entre el mundo científico y quienes regulan, que son los políticos. El primer informe lo vamos a hacer en julio, pero luego iremos haciendo más porque esto evoluciona muy rápido».

La experiencia con las redes sociales ha mostrado cómo una tecnología puede expandirse globalmente antes de que exista un marco para gestionar sus efectos negativos. Incluso antes de saber que tendrá efectos negativos. «Esto siempre pasa», recuerda Orús. «Cuando se crearon las redes sociales, no fue con la idea de generar un impacto negativo. Cuando Mark Zuckerberg montó Facebook lo hizo para conectar con sus amigos. Pues lo mismo pasa con los modelos de lenguaje y cualquier otro tipo de tecnología. Esto no se restringe a la inteligencia artificial; pasa también con la cuántica o con la biotecnología, que es incluso peor. Todo desarrollo tecnológico conlleva oportunidades y riesgos, desde que el hombre descubrió el fuego o la rueda. La rueda es muy útil para llevar carros, pero también puedes hacer un tanque, y nos estamos enfrentando a este dilema una vez más. La IA conlleva riesgos, sí, pero no por eso vamos a dejar de desarrollarla. Lo que pasa es que tenemos que desarrollarla bien porque conlleva una serie de oportunidades que, si se canalizan correctamente, pueden llevar a la humanidad a un nivel de desarrollo tecnológico y de evolución nunca visto, y en poquísimo tiempo».

Román Orús en su despacho en el Donostia International Physics Center (DIPC).

Román Orús en su despacho en el Donostia International Physics Center (DIPC).ALBERTO R. VENTURA / ARABA PRESS

Si miramos al plano geopolítico, el problema se amplifica. La inteligencia artificial ya no es solo una herramienta tecnológica, sino un elemento estratégico. «Hoy en día la guerra es una guerra de información, aunque luego se traduzca en el campo de batalla. Y ahí quien está marcando un poco el ritmo de lo que está pasando son algunas empresas privadas. Palantir, por ejemplo». La tecnológica está en el foco como ejemplo de cómo los gobiernos contratan empresas privadas para servicios militares, lo que se interpreta como una cesión de soberanía. «Me imagino que al Estado le interesará estar de forma sustancial en el accionariado y, de alguna manera, controlarlo. No estoy hablando de expropiar la empresa, pero puedo imaginar que habrá Estados interesados en entrar en el capital».

¿Eso convierte a las tecnológicas en un objetivo militar legítimo? «Por supuesto que es un objetivo legítimo. Sin ir más lejos, cuando empezó el bombardeo de EEUU en Irán, Irán respondió con bombardeos y una de las primeras cosas que atacó fueron centros de datos de Amazon. Ni más ni menos. Y así dejó a toda la zona del Golfo sin taxi, sin internet...».

En la práctica, buena parte de las decisiones que afectan hoy a la vida cotidiana están dependiendo de inteligencias que el ciudadano ordinario no acaba de comprender, lo que supone una pérdida de control sobre nuestras propias vidas. «Es que incluso los mismos algoritmos de inteligencia artificial, tal y como están diseñados ahora, son una caja negra. No sabemos realmente por qué deciden lo que deciden. No sabemos realmente cómo funciona por dentro un modelo de inteligencia artificial. Y ese es uno de los grandes problemas de la IA. Tiene muchos otros problemas: la eficiencia energética, el coste, lo que sea. Pero otro muy grande es el de la explicabilidad. No solo para aplicaciones bélicas, también para modelos financieros, donde tienes que saber explicarle a tu cliente por qué debe invertir en una cosa y no en otra. Ahí tienes un problema. Y no le pasa solo al ciudadano medio; incluso a los propios técnicos. Saben cómo se ha desarrollado el algoritmo, pero no qué pasa exactamente en las tripas de la máquina a la hora de decidir si ir por aquí o por allá. Eso todavía no está claro».

"Los algoritmos de la IA son una caja negra, no sabemos por qué deciden lo que deciden, y eso es un problema"

Por eso no entendemos por qué a veces se pone a alucinar, dando respuestas un tanto extrañas a nuestros problemas. «Lo que hace la IA en realidad es identificar patrones y, en función de los patrones que observa, es capaz de detectar correlaciones que para otro tipo de algoritmo o máquina pueden ser muy difíciles o imposibles de detectar. Y en función de eso predice cosas; por eso es tan buena prediciendo. Dependiendo de la potencia que tenga para detectar patrones, predice mejor o peor y, cuando predice peor, se pone a alucinar. Ya está».

Mirando al futuro tecnológico, la pregunta ya no es solo qué puede hacer la IA, sino qué tipo de mundo está configurando: si uno con sistemas cada vez más centralizados, donde unos pocos modelos organizan el funcionamiento global, o si habrá una red distribuida de inteligencias interconectadas semejante a internet. «Creo que va a ser más una red distribuida», apunta Orús. «Sam Altman, de OpenAI, creía al principio que todo iba a ser un modelo centralizado, pero ahora se está desdiciendo. Obviamente, vamos a tener todo el espectro. Modelos muy grandes, tipo ChatGPT o Mythos. Pero para tus tareas del día a día, para una receta de tortilla de patatas, no necesitas el cerebro de Albert Einstein. Entonces vamos a tener IA embebida en todos los dispositivos: móviles, tabletas, relojes, freidoras, coches, satélites, drones... Y todos serán modelos individuales que correrán en un hardware muy limitado, con muy poca memoria. No serán modelos hiperinteligentes, pero sí lo suficientemente inteligentes como para hacer tareas específicas. Por ejemplo, para un dron: que sepa volar, maniobrar, detectar cosas, etc. Al final acabaremos teniendo redes de agentes que interactuarán entre ellos y harán todo por nosotros de manera automática. Con los modelos de Anthropic ya lo estamos viendo. Le puedes pedir que te haga presentaciones, análisis, Excel... Incluso hay modelos a los que ya puedes pedirles que te traigan comida del japonés. Esto es hacia dónde vamos y no está exento de problemas. Hay muchísimos: el consumo energético, que nadie sabe cómo se van a coordinar entre ellos... Toda esta alineación tiene que ser correcta y supervisada en algún momento por un humano para comprobar que no pasan cosas raras. En fin, hay toda una historia enorme que justo estamos empezando a descubrir».

Incluido el riesgo de sacar la IA del mundo digital para que empiece a actuar directamente sobre la realidad física. «Hay también unos modelos que se están analizando y que se llaman world models, o modelos de mundo, que cogen los datos directamente del entorno. Porque llega un momento en el que, cuando ya no hay más datos para entrenarlo, ¿de dónde sacas los datos? Pues del universo».

¿Como un ser vivo? «Bueno, no sé si es vivo, pero es ponerle sensores a una máquina y que coja los datos de ahí. Eso genera muchas preguntas, ¿no? ¿Qué estamos fabricando aquí?». Pues alguien capaz de sentir, de algún modo, el mundo. «Primero habrá que definir qué tipo de entidad estamos creando. ¿Es esto inteligencia? ¿Qué tipo de inteligencia es? Nos obliga a redefinir cuál es el papel del ser humano en todo esto. Una vez más. Esto ha pasado muchísimas veces en la historia de la ciencia. Cuando Nicolás Copérnico dijo que la Tierra giraba alrededor del Sol, a la gente le entró una crisis terrible. ¿Por qué no estábamos en el centro del mundo? Pues aquí ocurre otra vez lo mismo. Esta entidad pensante nos va a obligar a replantearnos cuál es nuestro papel en todo esto».