La preocupación de Yoshua Bengio de que los sistemas avanzados de IA algún día puedan resistir el apagado merece una cuidadosa consideración (la IA muestra signos de autoconservación y los humanos deberían estar dispuestos a desconectarse, dice Pioneer, el 30 de diciembre). Pero tratar ese comportamiento como evidencia de conciencia es peligroso: fomenta el antropomorfismo y distrae la atención del diseño humano y las opciones de gobernanza que realmente determinan el comportamiento de la IA.
Muchos sistemas pueden proteger su funcionamiento continuo. El aviso de batería baja de un portátil es una forma de autoconservación en este sentido, pero nadie lo toma como prueba de que el portátil quiere vivir: el comportamiento es puramente instrumental, sin experiencia ni conciencia. Vincular la autoconservación con la conciencia refleja una tendencia humana a atribuir intenciones y sentimientos a artefactos y no a la conciencia intrínseca.
Fundamentalmente, la conciencia no es necesaria ni relevante para el estatus legal: las corporaciones tienen derechos sin espíritu. Si es necesario regular la IA, es por su impacto y poder, y para situar la responsabilidad humana, no por afirmaciones especulativas sobre la conciencia de las máquinas.
La comparación con la inteligencia extraterrestre es aún más engañosa. Los extraterrestres, si existieran, serían entidades autónomas más allá de la creación o el control humanos. Los sistemas de IA son todo lo contrario: diseñados, entrenados, implementados y restringidos deliberadamente por humanos, con cualquier influencia mediada por decisiones humanas.
Detrás de todo esto se esconde un punto que el artículo pasa por alto en gran medida: los sistemas de IA son, como todos los sistemas informáticos, máquinas de Turing con limitaciones inherentes. El aprendizaje y la ampliación de escala no eliminan estas limitaciones, y las afirmaciones de que la conciencia o la autoconservación podrían surgir de ellas requerirían una explicación, que actualmente falta, de cómo la experiencia subjetiva o las metas auténticas surgen de la manipulación de símbolos.
Deberíamos tomarnos en serio los riesgos de la IA. Pero esto requiere claridad conceptual. Confundir el automantenimiento diseñado con la autopreservación consciente corre el riesgo de secuestrar tanto el debate público como las políticas. El verdadero desafío no es si las máquinas querrán vivir, sino cómo los humanos elegirán diseñar, implementar y gobernar sistemas cuyo poder proviene enteramente de nosotros.
Maestro Virginia digna
Director, Laboratorio de Políticas de IA, Universidad de Umeå, Suecia
Allí estaba yo, leyendo casualmente mi periódico favorito de fin de año, cuando encontré sus artículos sobre las preocupaciones de Yoshua Bengio sobre la inteligencia artificial y el trabajo de los investigadores de seguridad de la IA en California (El edificio de oficinas donde los ‘doomers’ de la IA se reúnen para predecir el apocalipsis, 30 de diciembre).
Debo admitir que siento pavor al pensar que algunos de los horrores de ciencia ficción predichos durante mis 84 años de vida ya están sobre nosotros, y que el mundo probablemente esté a punto de quedarse de brazos cruzados y verse, en el mejor de los casos, conquistado o, en el peor, destruido, por las máquinas.
Los humanos que impulsan este proceso sólo están interesados en el poder y en ganancias inimaginables; los detractores son complacientes y el resto de nosotros sólo podemos cruzar los dedos con la esperanza de que suficientes gobiernos tengan la fuerza, el coraje y la conciencia para decir: “¡Alto!”. » Desafortunadamente, dado el número actual de líderes mundiales, no puedo contener la respiración.
Juan Robinson
Lichfield
Leer su artículo sobre la “necesidad de garantizar que podamos confiar en salvaguardias técnicas y sociales para controlar las IA, incluida la capacidad de apagarlas si es necesario” me recordó la carta de Gerry Rees (29 de diciembre), en referencia a la nueva respuesta. por Fredric Brown, que data de 1954.
La respuesta de la computadora de que ahora existe un dios incita al interrogador a intentar apagarla, pero un rayo del cielo mata al interrogador y cierra el interruptor. Una IA entrenada en un modelo de lenguaje grande podría haber “leído” esta historia como parte de su entrenamiento y, por lo tanto, tener una respuesta preparada a todas las salvaguardas sugeridas anteriormente.
Eric Skidmore
Gipsy Hill, Londres
