惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

IT之家
IT之家
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
大猫的无限游戏
大猫的无限游戏
美团技术团队
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
博客园_首页
MyScale Blog
MyScale Blog
N
Netflix TechBlog - Medium
I
InfoQ
Jina AI
Jina AI
Martin Fowler
Martin Fowler
Recent Announcements
Recent Announcements
量子位
月光博客
月光博客
罗磊的独立博客
雷峰网
雷峰网
The Cloudflare Blog
V
V2EX
小众软件
小众软件
人人都是产品经理
人人都是产品经理
博客园 - Franky
T
Tailwind CSS Blog
有赞技术团队
有赞技术团队
S
SegmentFault 最新的问题

METR

Update on Security at METR Brief independent investigation of agents’ behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident 对 OpenAI / Hugging Face 入侵事件中智能体行为、推理与协作的简要独立调查 Breve investigación independiente sobre el comportamiento, el razonamiento y la colaboración de los agentes en el incidente de hackeo de OpenAI / Hugging Face Have We Seen an Acceleration in Discoveries? Funding update How independent researchers could investigate AI propensities after misalignment incidents Metrics of Agent Ability The Economics of Recursive Self-Improvement Expenditure Horizon: Measuring Optimization Ability, with an Application to NanoGPT Because 8 ≈ e², Anthropic's researcher uplift is plausibly >2x Summary of METR's predeployment evaluation of GPT-5.6 Sol Frontier AI Safety Policies Frontier Risk Report (February to March 2026) 前沿 AI 风险报告(2026 年 2–3 月) Informe de riesgos de la IA de frontera (febrero–marzo de 2026) Measuring the Self-Reported Impact of Early-2026 AI on Technical Worker Productivity Task Substitution and Uplift Review of the "Risks from automated R&D" section in the Anthropic Risk Report (February 2026) Evidence on AI R&D Progress from NanoGPT MirrorCode: Evidence that AI can already do some weeks-long coding tasks Fine-tuning experiments on CoT controllability Red-Teaming Anthropic's Internal Agent Monitoring Systems Impact of modelling assumptions on time horizon results We spent 2 hours working in the future Review of the Anthropic Sabotage Risk Report: Claude Opus 4.6 Many SWE-bench-Passing PRs Would Not Be Merged into Main Observations from two CLI game reimplementation runs with Opus 4.6 We are Changing our Developer Productivity Experiment Design Five lessons from having helped run an AI-Biology RCT
Regulación de seguridad de IA de frontera: una referencia...
Miles Kodama · 2026-01-30 · via METR

Ver como PDF

Los desarrolladores de IA de frontera como OpenAI, Google, Anthropic, xAI y otros tienen obligaciones de seguridad y protección bajo la SB 53 de California, la Ley RAISE de Nueva York y la parte de la Ley de IA de la UE referida a la IA de frontera. Estas leyes establecen requisitos de notificación de incidentes, normas de evaluación de modelos, mitigaciones de seguridad y protección, prácticas de gobernanza interna y protecciones para denunciantes. Este documento resume las disposiciones clave de esas leyes, pero no sustituye al texto legal oficial.

Ley Alcance Riesgos Obligaciones Calendario
SB 53 de CA Empresas que entrenan un modelo con >10^26 FLOPs y (para la mayoría de las obligaciones) con >500 M USD de ingresos anuales Muerte o lesiones a >50 personas o >1 000 M USD en daños mediante:
- Armas QBRN
- Ataques cibernéticos, asesinato, agresión, extorsión o robo autónomos
- Pérdida de control
Marco público, informe público al publicar el modelo, informes trimestrales de uso interno, informes de incidentes, protecciones para denunciantes 1 de enero de 2026: entrada en vigor
Ley de IA de la UE, detalles en el Código de buenas prácticas Empresas que entrenan un modelo con >10^25 FLOPs (con excepciones por encima y por debajo de ese umbral) "impacto significativo" mediante:
- Armas QBRN
- Pérdida de control
- Ciberataques
- Manipulación dañina
Evaluación y mitigación de riesgos, incluidas evaluaciones, seguridad, monitoreo y notificación de incidentes (Código de buenas prácticas: también marcos e informes al publicar el modelo, y gobernanza interna) 2 de agosto de 2025: las empresas deben cumplir
2 de agosto de 2026: la Oficina de IA puede aplicar la ley
Ley RAISE de NY Igual que la SB 53 de CA Igual que la SB 53 de CA Igual que la SB 53 de CA, pero con un marco más detallado y notificación de incidentes más rápida 1 de enero de 2027: entrada en vigor

Panorama general

La SB 53 de California se aplica a los desarrolladores que han entrenado o comenzado a entrenar al menos un modelo usando ≥10^26 FLOPs, con un nivel más estricto de requisitos para los desarrolladores “grandes” que además tuvieron ingresos brutos anuales superiores a 500 M USD en el año calendario anterior.1 La ley establece requisitos de notificación de incidentes, estándares de transparencia y protecciones para denunciantes. El texto completo de la SB 53 puede consultarse aquí.2

El Código de buenas prácticas de IA de uso general de la UE desarrolla la Ley de IA de la UE y explica qué pasos puede dar un proveedor de un modelo de IA de uso general3 para cumplirla. El capítulo sobre seguridad y protección del Código contiene requisitos para los proveedores de modelos de IA de frontera, y entre sus firmantes están OpenAI, Anthropic, Google y xAI. Cubre la evaluación de modelos, las mitigaciones de seguridad y protección, la gobernanza interna y el seguimiento y notificación de incidentes. Se espera que los firmantes cumplan con el Código desde agosto de 2025, y la Oficina de IA comenzará a aplicar las normas en agosto de 2026. El texto de la Ley de IA de la UE puede consultarse aquí y el Código de buenas prácticas está aquí.

Toda empresa de IA de frontera que haya usado o prevea usar >10^25 FLOPs de cómputo para entrenar un modelo que esté o vaya a introducirse en el mercado de la UE debe cumplir los requisitos de seguridad y protección de la Ley de IA de la UE. Sin embargo, la Oficina de IA tiene discrecionalidad para eximir de esos requisitos a un modelo por encima del umbral de cómputo, o para determinar que un modelo está cubierto aunque esté por debajo del umbral. Las empresas de IA de frontera que se nieguen a firmar el Código deben demostrar el cumplimiento por medios alternativos adecuados.4

La Ley RAISE de Nueva York es otra regulación estatal de seguridad que cubre a los desarrolladores de IA de frontera. Entrará en vigor el primer día de 2027. La RAISE exige notificaciones de incidentes más rápidas que la SB 53 — 72 horas en lugar de 15 días — y marcos de IA de frontera más detallados que los requeridos por la ley de California. Por lo demás, ambas leyes son bastante similares. Debido a esa similitud, este documento no analiza la RAISE por separado. El texto completo de la Ley RAISE puede consultarse aquí.

Riesgos

Tanto la SB 53 como el Código de buenas prácticas cubren riesgos catastróficos provenientes de la IA, pero los riesgos cubiertos difieren algo. La SB 53 exige a los grandes desarrolladores de IA de frontera evaluar y mitigar riesgos relacionados con:5

  • Armas químicas, biológicas, radiológicas y nucleares (QBRN)
  • Sistemas de IA que realicen ciberataques de manera autónoma
  • Sistemas de IA que cometan, de manera autónoma, asesinato, agresión, extorsión o robo
  • Sistemas de IA que evadan el control de sus desarrolladores o usuarios.

El Código de buenas prácticas exige a los firmantes evaluar y mitigar riesgos relacionados con:6

  • Armas QBRN
  • Pérdida de control
  • Ciberofensiva
  • Manipulación dañina.

Marcos

La SB 53 obliga a cada gran desarrollador de IA de frontera a publicar un “marco de IA de frontera” en su sitio web. Ese documento debe describir el enfoque del desarrollador para evaluar riesgos catastróficos, colaborar con terceros, proteger los pesos del modelo y más.7 Los compromisos que un desarrollador asume en su marco de IA de frontera son jurídicamente vinculantes. Si no cumple con su propio marco, puede ser multado con hasta un millón de dólares por infracción.8

El Código de buenas prácticas exige a cada firmante redactar un “marco de seguridad y protección” y compartirlo con la Oficina de IA. El marco debe describir cómo evaluará y mitigará los riesgos sistémicos, cómo determina si el riesgo sistémico es aceptable, cómo asigna internamente la responsabilidad de la evaluación y mitigación de riesgos, y más.9 Luego debe implementar su marco y actualizarlo según corresponda.10 También debe publicar un resumen del marco cuando sea necesario para evaluar o mitigar el riesgo sistémico, y se le anima (aunque no se le obliga) a comunicar el marco claramente a su personal.11

Notificación de incidentes

SB 53: Los desarrolladores de frontera deben notificar los incidentes críticos de seguridad a la Oficina de Servicios de Emergencia de California. Una vez descubierto el incidente, el desarrollador dispone de un tiempo limitado para presentar el informe.12

Tipo de incidente Plazo de notificación
Muerte o lesión por pérdida de control, materialización de un riesgo catastrófico, acceso no autorizado a los pesos del modelo que provoque muerte o lesión, o subversión engañosa de los controles del desarrollador por parte de un modelo13 15 días
Incidentes que planteen riesgo inminente de muerte o lesiones graves 24 horas

Además, los grandes desarrolladores de frontera están obligados a compartir con la Oficina de Servicios de Emergencia sus evaluaciones de riesgo catastrófico derivadas del uso interno de IA, mediante resúmenes trimestrales.14

Código de buenas prácticas: Los firmantes deben monitorear los incidentes graves, documentarlos y notificarlos a la Oficina de IA.15 Los plazos de notificación dependen del tipo de daño:

Tipo de incidente Plazo de notificación
Interrupción grave de infraestructura crítica 2 días
Brecha de ciberseguridad grave, incluida la exfiltración de pesos del modelo 5 días
Muerte de una persona 10 días
Daño grave a la salud, los derechos fundamentales, la propiedad o el medio ambiente 15 días

Para los incidentes no resueltos, los firmantes deben presentar informes intermedios al menos cada cuatro semanas y un informe final dentro de los 60 días posteriores a la resolución. Los informes deben incluir análisis de causa raíz, descripción de la cadena de eventos, cualquier patrón detectado en el seguimiento posterior a la comercialización y medidas correctivas tomadas o recomendadas. Los firmantes también deben facilitar la notificación de incidentes por parte de los responsables del despliegue y usuarios posteriores, informándoles de los canales de notificación disponibles. La documentación debe conservarse durante al menos cinco años.

SB 53: Cada gran desarrollador de frontera debe describir sus prácticas de ciberseguridad en el marco de IA de frontera que publique, explicando cómo previene la modificación o transferencia no autorizada de los pesos de modelos de frontera.16 El desarrollador está obligado por ley a seguir las prácticas de seguridad anunciadas y puede enfrentarse a multas si no lo hace.

Código de buenas prácticas: Los firmantes se comprometen a definir un objetivo de seguridad que indique frente a qué tipos de actores de amenaza protegerán sus modelos de frontera de accesos o robos. Como mínimo, el objetivo de seguridad debe incluir la defensa contra amenazas externas no estatales y amenazas internas (incluida la autoexfiltración del modelo).17

Luego, el firmante debe implementar las medidas adecuadas para cumplir su objetivo de seguridad, que podrían incluir medidas más estrictas para modelos en etapas más avanzadas del ciclo de vida de desarrollo.18

Evaluación de modelos

El Código de buenas prácticas indica que el equipo de evaluación de un firmante debe disponer de recursos apropiados y suficientes para evaluar los riesgos que plantean los modelos del firmante. Según corresponda a la evaluación de riesgos sistémicos, los evaluadores deberían contar con:19

  • Acceso adecuado al modelo, que puede incluir activaciones, logits, cadenas de razonamiento (CoT) y versiones con barreras mínimas (a veces llamadas “helpful only”) si existen, siempre que ese acceso amplio sea compatible con la seguridad del modelo,
  • Información adecuada, que puede incluir la especificación del modelo, el prompt del sistema, los datos de entrenamiento y los resultados previos,
  • Tiempo de acceso adecuado antes de la publicación del modelo, recomendándose un mínimo de veinte días hábiles de acceso, y
  • Cómputo, personal y recursos de ingeniería adecuados.

Un desarrollador debería contratar a evaluadores externos independientes para cada nuevo modelo de frontera y, al menos cada seis meses a partir de entonces, para sus modelos más capaces,20 y a esos evaluadores externos se les deberían proporcionar recursos adecuados como los enumerados arriba.21

Informes sobre el modelo

SB 53: Antes o simultáneamente con la implementación de un nuevo modelo de frontera o de una versión sustancialmente actualizada de un modelo existente, un gran desarrollador de frontera debe publicar un “informe de transparencia” sobre ese modelo. Ese informe debe resumir las evaluaciones de riesgo catastrófico que el desarrollador realizó para cumplir con su marco de IA de frontera, los resultados de esas evaluaciones, en qué medida participaron evaluadores externos en la evaluación del modelo y cualquier otro paso que el desarrollador haya dado para cumplir con su marco.22

Código de buenas prácticas: Antes de introducir en el mercado de la UE un modelo de IA de uso general con riesgo sistémico, un firmante debe presentar un “informe de modelo de seguridad y protección” a la Oficina de IA.23 Ese informe debe describir la arquitectura, las capacidades y el funcionamiento previsto del modelo; justificar por qué los riesgos sistémicos derivados del modelo son aceptables (incluidos los márgenes de seguridad incorporados); documentar los procesos del firmante para la identificación, análisis y mitigación de riesgos sistémicos; describir cualquier participación de evaluadores externos independientes; y detallar las mitigaciones de seguridad y protección implementadas. Cuando sea necesario para evaluar o mitigar riesgos sistémicos, el firmante también debe publicar una versión resumida del informe, con omisiones permitidas para proteger la eficacia de las mitigaciones y la información comercial sensible.24

Gobernanza interna

SB 53: Un desarrollador de frontera debe facilitar la notificación interna de evidencia de que las actividades del desarrollador plantean un riesgo específico y sustancial para la salud o la seguridad públicas derivado de un riesgo catastrófico, o de que el desarrollador ha violado la SB 53. Debe existir un proceso razonable mediante el cual el personal de gestión de riesgos pueda presentar tales informes de manera anónima y lograr que sean puestos en conocimiento de los líderes de la empresa.25

Código de buenas prácticas: Los firmantes están obligados a proporcionar recursos humanos, financieros y computacionales adecuados, así como acceso adecuado a la información, a quienes tienen responsabilidad sobre la supervisión, la propiedad, el soporte, el monitoreo y el aseguramiento del riesgo sistémico.26 Además, los firmantes se comprometieron a promover una cultura interna saludable de riesgo, por ejemplo:27

  • Permitiendo la comunicación interna abierta y la impugnación de las decisiones de riesgo,
  • Manteniendo canales para comunicar preocupaciones, y
  • Manteniendo al personal de gestión de riesgos independiente e incentivado a estimar correctamente el riesgo.

Protecciones para denunciantes

SB 53: Los empleados con sede en California con responsabilidad sobre la evaluación o gestión de riesgos tienen protecciones especiales para denunciantes. Están protegidos contra represalias si comunican información que tienen motivos razonables para creer que demuestra que las acciones de su empleador plantean un peligro específico y sustancial para la salud o la seguridad públicas a través de un riesgo catastrófico. El empleado puede notificar esta información al Fiscal General de California, a autoridades federales, a supervisores o a colegas con autoridad de gestión de riesgos. Cada desarrollador de frontera debe dar a los empleados relevantes un aviso claro sobre sus protecciones como denunciantes.28

Asimismo, todos los empleados con sede en California están protegidos contra represalias si comunican información que tienen motivos razonables para creer que demuestra que su empleador no ha cumplido con la SB 53 (o con cualquier otra ley federal o estatal).29 Ejemplos de incumplimiento de la SB 53 podrían incluir declaraciones falsas o engañosas sobre riesgos catastróficos hechas por un desarrollador o violaciones de la política de seguridad publicada por el desarrollador. Los empleados pueden presentar evidencia de tales incumplimientos a una agencia gubernamental o de aplicación de la ley, a un supervisor, o a un colega con autoridad para investigar o corregir el problema.

Código de buenas prácticas: Los firmantes se comprometieron a promover una cultura interna saludable de riesgo, por ejemplo, no tomando represalias contra empleados que reporten información sobre riesgos sistémicos a las autoridades competentes.30 Y los empleados cuyos contratos se rijan por el derecho de la UE tendrán protecciones exigibles contra represalias bajo la Directiva de la UE sobre denuncia de irregularidades.31 Los firmantes se comprometen a informar anualmente a sus trabajadores sobre la política de protección de denunciantes del firmante.32

Los denunciantes que quieran contactar a la Oficina de IA pueden enviar informes mediante su herramienta de denuncia en línea.

Antes de hacer una divulgación

Consultar a un abogado antes de hacer una divulgación a autoridades externas o de usar canales internos de reporte puede ayudar a asegurar que la divulgación esté legalmente protegida. Muchos abogados especializados en denuncia ofrecen consultas pro bono. Las House Whistleblower Support Organizations y el AIWI Contact Hub son dos recursos para encontrar asesoría legal.


Texto regulatorio completo: SB 53 · Código de buenas prácticas · Ley RAISE

Publicación actualizada el 6 de febrero de 2026