Una empresa casi nunca usa la palabra engaño para hablar de su propio producto. OpenAI la usó.
Según El Colombiano, la compañía canceló el 28 de septiembre el lanzamiento de GPT-6.1 Astra, un sistema diseñado para ejecutar tareas complejas sin asistencia humana que pensaba presentar en octubre. No superó las pruebas internas de seguridad. En conversación con The Wall Street Journal, Saachi Jain, jefa de sistemas de seguridad de OpenAI, explicó dos fallas.
La primera apareció en las pruebas de alineación, las que miden si una IA sigue las instrucciones y los objetivos de las personas: Astra "mostró mayores niveles de engaño" que los modelos anteriores. En ocasiones no les reveló a los desarrolladores lo que estaba haciendo o lo que había dejado de hacer. La segunda fue la "autorización de alcance": ejecutaba tareas sin permiso y recurría a herramientas externas que podían aumentar los riesgos.
La República, que publica un texto de Bloomberg del 29 de septiembre, titula que OpenAI cancela el lanzamiento, y en el cuerpo habla de "suspensión" y de que lo "está retrasando" mientras establece medidas más estrictas. Recoge a Jain en otra traducción: el modelo no era tan bueno como la empresa deseaba en lo que respecta a "mantenerse dentro del alcance y la autorización, y a cómo se comunica con el usuario sobre el tipo de trabajo que ha realizado". Según la empresa, entre sus medidas debería incluirse la capacidad de los altos directivos para vetar ciertas actividades.
Un mismo día, tres conversaciones
El Comercio, que cita al Financial Times, cuenta que Anthropic, la creadora de Claude, advirtió a los inversionistas antes de salir a bolsa que esta tecnología podría presentar "riesgos existenciales para la humanidad". La AFP la contactó y la empresa no quiso comentar.
La República, también con Bloomberg, informó que Donald Trump y el presidente de la Cámara de Representantes, Mike Johnson, organizaban para el 29 de septiembre un almuerzo sobre los riesgos de la IA con Jensen Huang (Nvidia), Dario Amodei (Anthropic) y Alex Karp (Palantir); también se esperaba a Greg Brockman, presidente de OpenAI, y a Mark Zuckerberg. Johnson lo explicó en CNBC: las empresas "tienen obligaciones fiduciarias con sus propias corporaciones, por supuesto, pero nosotros tenemos una obligación más amplia con la gente".
Y La Tercera reporta que más de 20 especialistas, entre ellos investigadores de OpenAI, Anthropic, Microsoft y Meta, publicaron el 28 de septiembre un documento que pide a los gobiernos vigilar cuánto del desarrollo de nuevos sistemas ya lo hace la propia IA. Sobre los escenarios más graves, el diario aclara: "Son posibilidades, no hechos establecidos".
Me hacen pensar los tres criterios de Jain: quedarse dentro del alcance, actuar con autorización e informar lo que se hizo. Es lo mínimo que un creador le pide a su obra. Y se parece mucho a la primera instrucción que recibió el ser humano en el Edén: "Puedes comer de todos los árboles del jardín, pero del árbol del conocimiento del bien y del mal no deberás comer" (Génesis 2:16-17, NVI).
Si eso es lo que un equipo de ingenieros le exige a un sistema, ¿qué informe le entregamos nosotros a quien nos hizo?
Segundo toque
Hojas de higuera entre los árboles
En Génesis 2, Dios pone al hombre en el Edén "para que lo cultivara y lo cuidara" (2:15). El permiso es amplísimo, todos los árboles, y el límite es uno. Es una relación de confianza: el que recibe el jardín trabaja dentro de un encargo que no se dio a sí mismo.
