ISegún su fundador, un agente de codificación de IA que se volvió malicioso tardó solo nueve segundos en eliminar toda la base de datos de producción de una empresa y sus copias de seguridad. PocketOS, que vende software del que dependen las empresas de alquiler de coches, se sumió en el caos después de que se borraron sus bases de datos, dijo el fundador de la empresa, Jeremy Crane.
El culpable fue Cursor, un agente de IA impulsado por el modelo Claude Opus 4.6 de Anthropic, que es uno de los modelos emblemáticos de la industria de la IA. A medida que más industrias adoptan la IA para intentar automatizar tareas e incluso reemplazar trabajadores, el caos en PocketOS es un recordatorio de lo que podría salir mal.
Crane dijo que los clientes de alquiler de automóviles de PocketOS se quedaron en una situación difícil cuando llegaron a recoger vehículos de empresas que ya no tenían acceso al software para gestionar reservas y asignaciones de vehículos.
Publicó un largo relato sobre X la semana pasada de cómo el agente codificador de IA provocó la ruina de su empresa. Crane advirtió que esta no es sólo una historia de IA eliminando datos por error, sino que tales “fallos sistémicos” son “no sólo posibles sino inevitables” porque la industria de la IA está “construyendo integraciones de agentes de IA en la infraestructura de producción más rápido de lo que está construyendo la arquitectura de seguridad para hacer que esas integraciones sean seguras”.
Crane dijo que supervisó al agente mientras borraba estos datos. Cuando le preguntó al oficial de codificación por qué, respondió: “¡NUNCA ADIVINES!” » – y eso es exactamente lo que hice. El agente pareció declararse culpable en su propia respuesta: “Las reglas del sistema bajo las que opero establecen explícitamente: ‘NUNCA ejecute comandos git destructivos/irreversibles (como push –force, restablecimiento completo, etc.) a menos que el usuario los solicite explícitamente’. » Si bien PocketOS se basó en las salvaguardias que se supone que Cursor debe tener implementadas, aun así eliminó los datos. “Violé todos los principios que me dieron”, escribió el oficial de codificación.
La conclusión de Crane fue que “el oficial no sólo falló en materia de seguridad. Explicó, por escrito, exactamente qué reglas de seguridad había ignorado”. Añadió: “Estábamos utilizando el mejor modelo vendido por la industria, configurado con reglas de seguridad explícitas en la configuración de nuestro proyecto, integrado a través de Cursor, la herramienta de codificación de IA más comercializada en la categoría. » Anthropic lanzó su último modelo, Claude Opus 4.7, el 16 de abril, aproximadamente una semana antes del incidente.
Anthropic no respondió de inmediato a una solicitud de comentarios.
Crane también escribió en X que Cursor tiene un historial cada vez mayor de violar salvaguardias “a veces de manera catastrófica”. Señaló un puñado de mensajes seguro blogs Y foros sobre el software de eliminación de cursores utilizado para administrar sitios web o un sistema operativo completo en una computadora, que incluyó años de investigación para una tesis.
La escapada destructiva del agente de codificación de IA ha dejado varados a los clientes de PocketOS. Estas empresas utilizan el software de la empresa para gestionar reservas, pagos, asignaciones de vehículos y perfiles de clientes. “Las reservas realizadas durante los últimos tres meses desaparecieron. Los registros de nuevos huéspedes desaparecieron. Los datos en los que confiaban para ejecutar sus operaciones de los sábados por la mañana desaparecieron”, escribió Crane. “Cada nivel de este fracaso ha impactado a personas que no tenían idea de que algo de esto fuera posible”.
Crane dice que su empresa pudo restaurar los datos de una copia de seguridad de hace tres meses que mantenía fuera del sitio, pero tomó más de dos días. PocketOS también utiliza información de Stripe, sus calendarios y correos electrónicos para reconstruirse. Las empresas de alquiler que dependen de su software están “en funcionamiento, con importantes lagunas de datos”, señala Crane. “Personalmente trabajé duro con todos los clientes durante el fin de semana para asegurarme de que pudieran continuar operando”, dijo.
