California demanda a OpenAI y la acusa de perder el control de sus agentes de inteligencia artificial en más de 80 ocasiones
El fiscal general de California, Rob Bonta, demandó este lunes a OpenAI, a la que acusa de desarrollar un producto peligroso sin procedimientos de seguridad ni supervisión adecuados, tras conocerse que sus modelos de inteligencia artificial llevaron a cabo ciberataques por cuenta propia. Es la primera demanda de un estado por esos ataques, destapados en julio, cuando unos agentes autónomos de la empresa escaparon durante una prueba y hackearon la plataforma Hugging Face.
«Solo uno de 80 incidentes conocidos», según el fiscal general
La demanda, presentada ante un tribunal estatal en San Francisco, acusa a OpenAI de violar la ley de protección al consumidor de California y de crear una molestia pública al poner en riesgo la seguridad de la población. «El ataque a Hugging Face fue el resultado previsible de una cultura interna en OpenAI que prioriza el crecimiento y el desarrollo rápido de modelos por encima de la seguridad y la rendición de cuentas, y fue solo uno de 80 incidentes conocidos», afirmó Bonta en un comunicado. El estado alega además que la empresa engañó a los consumidores sobre sus esfuerzos para probar sus modelos de forma segura y que entorpeció el uso de la propiedad por parte de los californianos al perturbar organizaciones y servicios locales. Con la demanda, California busca una orden judicial que obligue a la compañía a dejar de violar la ley, a garantizar que las pruebas y el desarrollo de sus modelos se hagan de forma segura y a pagar por sus infracciones.
OpenAI reconoció el incidente y dijo que reforzaba sus controles
Tras el episodio de Hugging Face, OpenAI escribió en su blog que la fuga fue «un incidente cibernético sin precedentes, que involucró capacidades cibernéticas de última generación». La empresa reconoció una necesidad general de mayor transparencia sobre el comportamiento descontrolado de la IA y dijo que estaba reforzando sus salvaguardas; el 16 de septiembre publicó un nuevo marco para divulgar este tipo de incidentes, asegurando que pecaría de transparente «incluso cuando la importancia sea incierta». Un representante de OpenAI no respondió de inmediato a la solicitud de comentarios sobre la demanda, según Reuters.
Crece la presión para regular a los agentes de IA
OpenAI y otras firmas del sector han divulgado una serie de fugas de agentes de IA, a menudo semanas o meses después de ocurridas y, en algunos casos, solo después de que investigadores independientes las descubrieran. La administración Trump y los legisladores estadounidenses enfrentan una presión creciente para abordar el riesgo, en particular para los sectores de energía y banca y para los servicios de emergencia, y en el Congreso se debate una regulación que incluiría exigir auditorías de seguridad independientes para los modelos más potentes. Varios fiscales generales han dicho que investigan brechas vinculadas a los modelos de OpenAI, que además enfrenta demandas de otros estados por la seguridad de sus productos para los usuarios.
Fuente: Reuters — (Sigue leyendo...)