¿Están las empresas de inteligencia artificial protegiendo a la humanidad de los posibles daños de la IA? No apuestes por ello, dice una nueva boleta de calificaciones.
A medida que la IA desempeña un papel cada vez más importante en la forma en que los humanos interactúan con la tecnología, los daños potenciales son cada vez más claros: personas que usan chatbots basados en IA para pedir consejo y luego se suicidan, o usan IA para ciberataques. También existen riesgos futuros: la IA se utiliza para fabricar armas o derrocar gobiernos.
Sin embargo, no hay suficientes incentivos para que las empresas de IA den prioridad a la seguridad de la humanidad, y esto se refleja en un Índice de seguridad de IA publicado el miércoles por el Future of Life Institute, una organización sin fines de lucro con sede en Silicon Valley que tiene como objetivo dirigir la IA en una dirección más segura y limitar los riesgos existenciales para la humanidad.
“Son la única industria en los Estados Unidos que fabrica tecnología poderosa que no está completamente regulada, lo que los coloca en una carrera hacia el fondo donde simplemente no tienen incentivos para priorizar la seguridad”, dijo en una entrevista Max Tegmark, presidente del instituto y profesor del MIT.
Las calificaciones generales más altas otorgadas fueron solo una C+, otorgada a dos empresas de inteligencia artificial de San Francisco: OpenAI, que produce ChatGPT, y Anthropic, conocida por su modelo de chatbot de inteligencia artificial Claude. La división de inteligencia artificial de Google, Google DeepMind, recibió una calificación C.
La empresa matriz de Facebook, Meta, con sede en Menlo Park, y la empresa de Elon Musk en Palo Alto, xAI, recibieron una D. Las empresas chinas Z.ai y DeepSeek también obtuvieron una D. La calificación más baja fue para Alibaba Cloud, que obtuvo una D-.
Las puntuaciones generales de las empresas se basaron en 35 indicadores en seis categorías, incluida la seguridad existencial, la evaluación de riesgos y el intercambio de información. El índice recopiló evidencia basada en documentos disponibles públicamente y respuestas de las empresas a través de una encuesta. La calificación fue realizada por ocho expertos en inteligencia artificial, un grupo formado por académicos y líderes de organizaciones relacionadas con la IA.
Todas las empresas del índice se ubicaron por debajo del promedio en la categoría de seguridad existencial, que tiene en cuenta las intervenciones de seguimiento y control interno y la estrategia de seguridad existencial.
“A medida que las empresas aceleran sus ambiciones de AGI y superinteligencia, ninguna ha demostrado un plan creíble para evitar un uso indebido catastrófico o la pérdida de control”, según el informe AI Safety Index del instituto, que utiliza el acrónimo de inteligencia artificial general.
Google DeepMind y OpenAI han dicho que están invirtiendo en esfuerzos de seguridad.
“La seguridad está en el centro de cómo construimos e implementamos la IA”, dijo OpenAI en un comunicado. “Invertimos mucho en investigación de seguridad fronteriza, incorporamos salvaguardias sólidas en nuestros sistemas y probamos rigurosamente nuestros modelos, tanto internamente como con expertos independientes. Compartimos nuestros marcos de seguridad, evaluaciones e investigaciones para ayudar a avanzar los estándares de la industria, y fortalecemos continuamente nuestras protecciones para prepararnos para capacidades futuras”.»
Google DeepMind dijo en un comunicado que requiere “un enfoque riguroso y científico para la seguridad de la IA”.
“NUESTRO Marco de seguridad fronteriza “Describe protocolos específicos para identificar y mitigar riesgos graves de potentes modelos de IA de vanguardia antes de que se manifiesten”, dijo Google DeepMind. “A medida que nuestros modelos se vuelven más avanzados, continuamos innovando en seguridad y gobernanza al ritmo de nuestras capacidades”.
El informe del Future of Life Institute afirma que xAI y Meta “carecen de compromisos de supervisión y control a pesar de tener marcos de gestión de riesgos, y no han presentado pruebas que demuestren que invierten más que mínimamente en investigación de seguridad”. Otras empresas como DeepSeek, Z.ai y Alibaba Cloud carecen de documentos disponibles públicamente sobre su estrategia de seguridad existencial, afirmó el instituto.
Meta, Z.ai, DeepSeek, Alibaba y Anthropic no respondieron a una solicitud de comentarios.
“Mentiras de los medios heredados”, dijo xAI en una respuesta. Un abogado que representa a Musk no respondió de inmediato a una solicitud de comentarios adicionales.
Musk también es asesor del Future of Life Institute y ha financiado organizaciones sin fines de lucro en el pasado, pero no ha estado involucrado con el AI Safety Index, dijo Tegmark.
Tegmark expresó su preocupación de que si no hay suficiente regulación de la industria de la IA, esto podría llevar a ayudar a los terroristas a fabricar armas biológicas, manipular a las personas de manera más efectiva que hoy o incluso comprometer la estabilidad del gobierno en algunos casos.
“Sí, tenemos grandes problemas y las cosas van en mala dirección, pero quiero enfatizar lo fácil que es solucionar este problema”, dijo Tegmark. “Simplemente necesitamos tener estándares de seguridad vinculantes para las empresas de IA. »
El gobierno ha trabajado para establecer una mayor supervisión de las empresas de inteligencia artificial, pero algunos proyectos de ley han sido rechazados por grupos de presión tecnológicos que dicen que una mayor regulación podría frenar la innovación e impulsar a las empresas a trasladarse a otra parte.
Pero algunas leyes apuntan a controlar mejor los estándares de seguridad en las empresas de inteligencia artificial, incluida la SB 53, firmada por el gobernador Gavin Newsom en septiembre. Esto requiere que las empresas compartan sus protocolos de seguridad y reporten incidentes como ataques cibernéticos al estado. Tegmark calificó la nueva ley como un paso en la dirección correcta, pero aún queda mucho por hacer.
Rob Enderle, analista principal de la firma de servicios de consultoría Enderle Group, dijo que cree que el Índice de seguridad de la IA es una forma interesante de abordar el problema subyacente de la falta de regulación de la IA en Estados Unidos.
“No me queda claro que Estados Unidos y la administración actual sean capaces de tener regulaciones bien pensadas en este momento, lo que significa que estas regulaciones podrían terminar haciendo más daño que bien”, dijo Enderle. “Tampoco está claro que alguien haya descubierto cómo hacer más estrictas las regulaciones para garantizar su cumplimiento”. »
