OpenAI y Sam Altman tienen como objetivo automatizar la investigación de IA. Ahora están contratando para la IA de autoaprendizaje.

OpenAI se ha fijado el objetivo de crear una herramienta de IA que pueda investigar sus propias mejoras. Ahora, la empresa se está preparando para los peligros que la acompañan.

El potencial de los sistemas de IA para lograr la llamada "auto-mejora recursiva" ha pasado a primer plano para los líderes de la IA, después de que las herramientas de codificación de OpenAI y Anthropic dieran un salto adelante en los últimos seis meses. El CEO de Google DeepMind, Demis Hassabis, también dijo esta semana que la humanidad se encuentra ahora en los "primeros pasos de la singularidad", el momento en que la IA comienza a mejorarse a sí misma y supera la inteligencia humana.

OpenAI, que tiene como objetivo salir a bolsa este año, publicó recientemente una oferta de trabajo que busca un investigador de seguridad para abordar lo que sucede cuando una IA puede entrenar mejores versiones de sí misma.

La publicación para el equipo de seguridad Preparedness de OpenAI se publicó este mes, según los portales de empleo. Ofrece un paquete salarial de 295.000 a 445.000 dólares y busca "ejecutores técnicos sólidos para apoyar los preparativos para la auto-mejora recursiva".

"Este trabajo se basa en razonar sobre problemas que podrían existir en el futuro, pero que quizás no existan ahora", dice el anuncio. "Por lo tanto, es especialmente importante que las personas en este puesto sean de buen gusto y estratégicas".

OpenAI y Anthropic no respondieron a la llamada de Business Insider sobre la oferta.

Los principales laboratorios de IA compiten para construir modelos de autoaprendizaje. Los modelos de laboratorios como OpenAI y Anthropic han mejorado a un ritmo vertiginoso, medido por la complejidad de los problemas que pueden manejar. Investigadores de METR, un laboratorio que estudia las capacidades de los modelos, escribieron en marzo que la duración de una tarea que los modelos de IA de vanguardia pueden completar se duplica aproximadamente cada siete meses, lo que significa que estos modelos pueden realizar cada vez más trabajos que llevan mucho tiempo a los humanos.

La implicación, escribió METR, es que los agentes de IA podrán manejar una "gran fracción" del trabajo de software que a los programadores humanos les lleva días o semanas completar.

OpenAI está persiguiendo activamente esta visión: la venta de su herramienta de codificación Codex a empresas es un gran motor de ingresos. También espera automatizar su propio trabajo de investigación. El CEO Sam Altman dijo en octubre que la compañía se había fijado el objetivo de tener un "becario de investigación de IA automatizado" funcionando en cientos de miles de chips para el próximo septiembre y un "verdadero investigador de IA automatizado para marzo de 2028".

"Podemos fracasar totalmente en este objetivo", escribió Altman en X, "pero dados los extraordinarios impactos potenciales, creemos que es de interés público ser transparentes al respecto".

En abril, Anthropic publicó una investigación sobre el uso de modelos de IA para supervisar modelos de IA más potentes, con resultados prometedores pero limitados. En mayo, el cofundador y jefe de políticas de la compañía, Jack Clark, escribió que cree que hay un 60% de posibilidades de ver investigación y desarrollo de IA sin intervención humana para finales de 2028.

OpenAI se está preparando para la IA auto-mejorable. Si los modelos de IA pueden entrenarse a sí mismos, es posible imaginar una distopía de ciencia ficción en la que sus capacidades se disparan, escapan del control y causan estragos generalizados, un temor del movimiento de seguridad de la IA. La CEO de METR, Elizabeth Barnes, escribió el viernes que, en su opinión, "cualquier civilización 'razonable' claramente se tomaría las cosas con mucha más calma y cuidado con la IA".

La oferta de trabajo de OpenAI insinúa cómo la empresa se está preparando para un mundo en el que los modelos de IA pueden mejorarse rápidamente.

Dice que el investigador podría centrarse en defender los modelos de OpenAI del envenenamiento de datos, intentos de corromper un modelo de IA a través del conjunto de datos en el que se entrena. El empleado también podría crear herramientas para interpretar el razonamiento de los modelos o experimentar con modelos para comprender su seguridad y peligros.

La publicación también dice que el investigador podría "rastrear el progreso hacia la automatización del personal técnico", incluida la medición del uso de herramientas de codificación de IA.

El equipo de Preparedness de OpenAI tiene la tarea de prevenir daños graves de la IA. La página de empleos de la compañía incluye otros roles en ese equipo, incluidos los de red-teaming automatizado para probar la ciberseguridad de OpenAI, los riesgos biológicos y químicos, y las amenazas de IA agéntica.

"Este es un trabajo urgente, de ritmo rápido y con implicaciones de gran alcance para la empresa y para la sociedad", dicen las publicaciones de Preparedness.