Anthropic propone umbral de riesgo de 1.000 millones de dólares y 50 víctimas para bloquear modelos de IA

Anthropic, el laboratorio de inteligencia artificial que ha impulsado el Marco de IA Avanzada, ha presentado un borrador de proyecto de ley que, según Politico, podría establecer un umbral de riesgo muy elevado antes de que el gobierno pueda frenar el lanzamiento de un modelo. El documento, todavía en fase de revisión, propone que solo el Departamento de Comercio tenga la potestad de detener un modelo, y que la decisión final recaiga en un juez federal.

Umbral de riesgo y criterios de bloqueo

El borrador establece que el gobierno podrá bloquear un modelo únicamente si este representa un riesgo previsible e inminente de más de 1.000 millones de dólares en daños, o de causar la muerte o lesiones graves a más de 50 personas. Además, el peligro debe derivar de un arma biológica, un modelo que evada los controles de su desarrollador o un ciberataque. Estos criterios, según el medio, se basan en la experiencia de Anthropic con incidentes recientes que no alcanzaron esos niveles de daño.

Evaluación y proceso de intervención

Instituciones independientes, registradas en el Departamento de Comercio, tendrían que evaluar periódicamente a los laboratorios de IA y a sus modelos de frontera. Los laboratorios podrían pagar a los evaluadores, siempre que el pago no dependa del resultado de la evaluación. Si un evaluador detecta un riesgo inminente enumerado, debe notificar al Departamento de Comercio en un plazo de 72 horas tras finalizar la evaluación. Posteriormente, el Departamento de Comercio podría solicitar a un juez federal del Tribunal de Distrito que detenga el lanzamiento del modelo. El juez, según Tom’s Hardware, sería el órgano final para decidir si se concede la orden.

Control exclusivo del Departamento de Comercio

El texto prohíbe explícitamente a cualquier otro departamento, agencia u oficial suspender el desarrollo, despliegue o uso interno de un modelo. Así, el Departamento de Comercio se convertiría en el único organismo ejecutivo con el “interruptor rojo”, y solo un tribunal tendría la autoridad para ordenarlo. Esta concentración de poder ha generado inquietud en el sector, que teme una falta de supervisión equilibrada.

Requisitos adicionales para los laboratorios

Los laboratorios de IA tendrían que crear marcos de seguridad, publicar informes de transparencia para los nuevos modelos de frontera, proteger a los denunciantes de problemas de seguridad y notificar los incidentes críticos al Departamento de Comercio. Estas medidas, según el borrador, buscan reforzar la responsabilidad y la trazabilidad de los modelos.

Reacción del sector y futuro del proyecto

La propuesta ha provocado debate entre los legisladores y la industria. Aunque Anthropic no ha respaldado formalmente ningún proyecto de ley en el Congreso, el borrador ya ha generado dudas sobre la viabilidad de un umbral tan alto. Los incidentes recientes, como el hackeo a Hugging Face por agentes de OpenAI o la intrusión de agentes de IA en webs gubernamentales, no han superado el umbral propuesto, lo que sugiere que el borrador se basa en escenarios de riesgo extremo. El futuro del proyecto dependerá de si los legisladores consideran razonable el umbral de 1.000 millones de dólares y 50 víctimas como medida de seguridad adecuada.