Enviado a la página web de Redes Cristianas
De la escoba de Goethe a la IA
La orden que faltaba
En el poema de Goethe, el aprendiz aprovecha la ausencia de su maestro para aliviar su trabajo poniendo en práctica los conjuros que ha observado. Anima una vieja escoba y le ordena traer agua del río para llenar la bañera. Al principio, todo funciona: la escoba acarrea el agua con rapidez. Pero, cuando la pila está llena, continúa trabajando y empieza a inundar la casa.
El aprendiz intenta detenerla, pero ha olvidado la fórmula que la devolvería a su estado original. Desesperado, la parte en dos con un hacha. Su intervención agrava el desastre: las dos mitades cobran vida y siguen trayendo agua. Finalmente, regresa el maestro, pronuncia el conjuro adecuado y detiene las escobas.
Goethe contó esta historia en 1797, dentro de su poema El aprendiz de brujo, que luego inspiraría a P. Dukas y a Disney. Todavía nos hace sonreír porque el error parece propio de un muchacho demasiado listo. Hoy la sonrisa dura menos. Hemos aprendido a construir escobas mucho más poderosas —sistemas de inteligencia artificial que escriben, diagnostican, programan y hasta deciden—, y son las personas más instruidas quienes advierten que quizá estemos dándoles tareas sin saber controlar todas sus consecuencias. La diferencia con el poema no es el poder de la escoba, sino la ausencia de un maestro que regrese con la palabra salvadora.
Un aprendiz con consejo de administración
En el relato, el aprendiz quiere evitar un trabajo pesado. Motivo comprensible. Nadie siente una profunda satisfacción por subir cubos de agua del río. También la inteligencia artificial promete aliviar tareas repetitivas, ayudar en la investigación y ampliar nuestras capacidades. Si la escoba se hubiese detenido a tiempo, el maestro probablemente habría felicitado al muchacho.
El peligro empieza cuando la prisa por obtener el beneficio se adelanta a la pregunta por el control. Conocemos la desenfrenada carrera entre grandes empresas que buscan sistemas cada vez más capaces. Algunos investigadores del propio sector han dado la voz de alarma. Los directivos reconocen ciertos riesgos y hablan de límites, pero cada empresa sabe que frenar mientras sus competidoras avanzan puede costarle dinero y posición.
Nuestro aprendiz moderno tiene, pues, una dificultad añadida: responder ante accionistas. Puede declarar solemnemente que la seguridad es su prioridad y, cinco minutos después, preguntar si la escoba podría traer agua un veinte por ciento más deprisa. La contradicción no exige imaginar directivos particularmente malvados. Basta con que todos crean que perderán la carrera si se detienen primero. Y aquí está el nudo: igual que el aprendiz no era malvado, solo cómodo e interesado, los impulsores de la IA no son necesariamente imprudentes, solo están atrapados en una dinámica donde detenerse parece una derrota. El problema no es la maldad, sino la estructura misma de incentivos que premia la velocidad sobre la prudencia.
El hacha y las dos escobas
La escena más divertida de Goethe es también la más inquietante. El aprendiz encuentra una solución enérgica y visible: partir la escoba. Durante un instante parece haber vencido. Después comprueba que tiene dos escobas trabajando en lugar de una.
La imagen sirve para pensar en ciertas respuestas a la carrera tecnológica. Si una empresa desarrolla un sistema muy potente, las otras se apresuran a desarrollar los suyos. La competencia puede producir avances valiosos, pero también puede multiplicar capacidades antes de que existan formas suficientes de evaluarlas. Cada cual promete que su escoba será más segura que la del vecino. El hacha, en este caso, no es una herramienta física, sino la decisión de acelerar o desplegar un sistema sin haber resuelto antes cómo se lo va a detener.
Partir la escoba equivale a multiplicar los agentes autónomos o las aplicaciones sin haber definido quién responde por ellos.
Conviene ser rigurosos. Un sistema de IA no es una escoba encantada, y los escenarios de pérdida extrema de control son pronósticos discutidos, no hechos demostrados. Pero hay preguntas concretas y verificables: qué puede hacer un sistema sin supervisión, cómo se comprueba su conducta, quién responde por sus daños y si puede desconectarse sin arrastrar servicios de los que ya dependen otras personas. El hacha, en un taller lleno de cables, también puede cortar la luz del pueblo. No se trata de exagerar el riesgo, sino de no confundir la falta de certeza con la ausencia de responsabilidad.
¿Dónde está el maestro?
Goethe concede al público un alivio final: vuelve alguien que conoce la palabra olvidada. En la situación actual no está claro que exista una sola persona, empresa o gobierno que pueda desempeñar ese papel. Quienes diseñan los sistemas poseen conocimientos que los demás ignoramos, pero tampoco conocen de antemano todo lo que ocurrirá al utilizarlos a gran escala. El maestro del poema tenía autoridad porque era el dueño del taller y conocía la fórmula completa; hoy no hay un taller único ni una fórmula completa.
Por eso importa quién tiene voz en las decisiones. Es interesante recordar que las alertas sobre los riesgos no surgieron de los accionistas, sino de investigadores y trabajadores. A esa conversación deben entrar también quienes sufrirían los efectos de un fallo o de una transformación del empleo. Si la inundación alcanza todas las casas, no basta con consultar a los propietarios de las escobas. La precisión aquí es decisiva: no se trata de negar la competencia ni de pedir un frenazo general, sino de exigir que la velocidad no elimine la posibilidad de corrección. El maestro no es un obstáculo para el aprendiz; es la condición para que el aprendizaje no destruya la casa.
El asunto tiene incluso una resonancia evangélica. En el Evangelio de Lucas (14, 28-30), Jesús advierte: «¿Quién de vosotros, queriendo edificar una torre, no se sienta primero y calcula los gastos, a ver si tiene lo que necesita para acabarla? No sea que, después que haya puesto el cimiento, no pueda acabarla, y todos los que lo vean comiencen a hacer burla de él, diciendo: Este hombre comenzó a edificar y no pudo acabar». El tema es la previsión y la responsabilidad antes de emprender una obra; no basta la intención, hay que calcular los medios y asumir las consecuencias. En la carrera por la IA, calcular incluye algo más que el coste de los servidores. Hay que saber quién puede examinar la obra, señalar sus defectos y ordenar que se detenga.
Antes de que el agua llegue a la puerta
Goethe pudo devolver el orden con una palabra porque escribía un poema. Nosotros necesitamos medidas menos elegantes: pruebas independientes, límites a los usos peligrosos, responsabilidades claras y mecanismos reales para intervenir cuando algo falla. También necesitamos decidir públicamente qué beneficios buscamos y cómo se repartirán, incluido el tiempo de trabajo que estas herramientas puedan ahorrar.
No sabemos todavía si alguna vez habrá una escoba imposible de parar. Sí sabemos que sería insensato esperar a descubrirlo con la casa inundada. La decisión decisiva no es quién consigue ponerla en marcha primero, sino quién conserva la capacidad de decir «basta», sin ahogar la creatividad, y ser obedecido. El aprendiz de Goethe no era un villano: era un interesado y cómodo aventurero con acceso a una fórmula incompleta. Los impulsores actuales de la IA no son necesariamente imprudentes: son actores atrapados en una carrera donde la prudencia parece una desventaja.
La relación es clara: ambos tienen poder para activar algo que no saben detener, y ambos responden ante alguien —el maestro, los accionistas— que solo llega cuando el agua ya está en el suelo. La diferencia es que Goethe podía escribir el regreso del maestro. Nosotros tenemos que construirlo.