California estudia un interruptor de emergencia para la inteligencia artificial

El gobernador de California, Gavin Newsom, firmó el 18 de septiembre una orden ejecutiva dirigida a establecer un control más riguroso sobre los sistemas de inteligencia artificial. Esta medida busca estudiar la implementación de un mecanismo de apagado de emergencia para modelos de IA que podrían volverse autónomos y presentar riesgos.

Esta iniciativa se produce en un contexto de creciente preocupación por los peligros que podrían derivarse del desarrollo de tecnologías de IA más autónomas. En este sentido, California, donde operan importantes empresas del sector como OpenAI y Anthropic, pretende aumentar sus mecanismos de control a través de auditorías y evaluaciones independientes, según reportes de AFP y El Financiero.

Propuesta de 'kill switch' en evaluación

La orden ejecutiva no impone aún la obligación a las empresas de implementar un interruptor de apagado. Sin embargo, instruye a un grupo de expertos para que en un plazo de dos meses presenten recomendaciones sobre posibles modificaciones a la legislación estatal y la viabilidad de exigir este mecanismo a los desarrolladores de inteligencia artificial.

Se contempla que la efectividad de este sistema de apagado sea evaluada de manera periódica por entidades independientes. También se está considerando la posibilidad de que auditorías de seguridad se realicen directamente en las instalaciones de las empresas tecnológicas.

Ampliación de controles y reportes

La orden ejecutiva también impulsa la implementación de dos legislaciones recientes, SB 813 y AB 1405, que están relacionadas con la verificación independiente y la auditoría de sistemas de IA. Además, se busca ampliar la definición de incidentes críticos para incluir la pérdida de control sobre estos sistemas, así como reforzar la obligación de las empresas de evaluar y reportar los riesgos asociados a sus tecnologías.

Esta decisión llega en un momento en el que han surgido varios episodios que han intensificado el debate sobre la seguridad de la inteligencia artificial. Uno de estos incidentes está vinculado con agentes experimentales de IA en la plataforma Hugging Face, lo que ha llevado a las autoridades a demandar un mayor control.

Desde OpenAI, la iniciativa ha sido considerada como un "paso importante" y la empresa manifestó su disposición para colaborar con el estado en la implementación de medidas de seguridad. También se ha enfatizado la necesidad de avanzar hacia regulaciones a nivel nacional que sean coherentes.

Por el momento, el 'kill switch' es solo una propuesta que se evaluará y desarrollará, y no un mecanismo ya instalado en las inteligencias artificiales. La decisión final dependerá de las recomendaciones que surjan y de futuros cambios en la legislación de California.