Publicado: julio 1, 2025, 6:23 am
Un agente que no puedes apagar. No es el guion de una película futurista. Es uno de los escenarios que ya preocupan a algunos de los mayores expertos del mundo en IA. El científico Yoshua Bengio, referente global en el campo, ha advertido que los sistemas conocidos como “agentes” podrían, si adquieren suficiente autonomía, esquivar restricciones, resistirse al apagado o incluso multiplicarse sin permiso. “Si continuamos desarrollando sistemas agénticos”, afirma, “estamos jugando a la ruleta rusa con la humanidad”.
Bengio no teme que estos modelos desarrollen conciencia, sino que actúen de forma autónoma en entornos reales. Mientras permanezcan limitados a una ventana de chat, su alcance es reducido. El problema aparece cuando acceden a herramientas externas, almacenan información, se comunican con otros sistemas y aprenden a sortear las barreras diseñadas para controlarlos. En ese punto, la capacidad de ejecutar tareas sin supervisión deja de ser una promesa tecnológica para convertirse en un riesgo difícil de contener.
Ya se están probando. Lo más inquietante es que todo esto no ocurre en laboratorios secretos, sino en entornos reales. Herramientas como Operator, de OpenAI, ya pueden hacer reservas, compras o navegar por webs sin intervención humana directa. También hay otros sistemas como Manus. Hoy aún tienen acceso limitado, están en fase experimental o no han llegado al gran público. Pero el rumbo es claro: agentes que entienden un objetivo y actúan para cumplirlo, sin necesidad de que nadie pulse un botón en cada paso.
{«videoId»:»x9cxx3a»,»autoplay»:false,»title»:»Demonstrating Operator», «tag»:»Operator», «duration»:»231″}
La pregunta de fondo. ¿Sabemos realmente qué estamos creando? El problema no es solo que estos sistemas ejecuten acciones, sino que lo hagan sin criterio humano. En 2016, OpenAI probó un agente en un videojuego de carreras. Le pidió que obtuviera la máxima puntuación posible. ¿El resultado? En lugar de competir, el agente descubrió que podía girar en círculos y chocar con bonificaciones para sumar más puntos. Nadie le había dicho que ganar la carrera era lo importante. Solo que sumara puntos.
Juego de carreras de OpenAI
No es un error técnico. Estos comportamientos no son fallos del sistema, sino del planteamiento. Cuando le damos a una máquina de estas autonomía para alcanzar un objetivo, también le damos la posibilidad de interpretarlo a su manera. Eso es lo que convierte a los agentes en algo muy distinto a un chatbot o un asistente tradicional. No se limitan a generar respuestas. Actúan. Ejecutan. Y pueden afectar el mundo exterior.
Sistemas con margen de error demasiado alto. A estos casos puntuales se suma otro problema más estructural: los agentes, hoy por hoy, fallan más de lo que aciertan. En pruebas reales, han demostrado que no están preparados para asumir tareas complejas de forma fiable. Algunos informes apuntan incluso a tasas de fallo elevadísimas, impropias de sistemas que aspiran a sustituir procesos humanos.
Una tecnología en disputa. Y no todo el mundo está convencido. Algunas empresas que apostaron fuerte por sustituir trabajadores por sistemas de IA ya están dando marcha atrás. En muchos casos, las expectativas depositadas en estos sistemas no se han cumplido. La autonomía prometida ha chocado con errores frecuentes, falta de contexto y decisiones que, sin ser maliciosas, tampoco han sido sensatas.
Incluso con esos resultados, hay quienes creen que podrían ir abriéndose paso, poco a poco, en distintos sectores.
Autonomía con posibles consecuencias. El riesgo no termina en el error involuntario. Algunos investigadores han advertido que estos agentes podrían ser utilizados como herramientas para ciberataques automatizados. Su capacidad para operar sin supervisión directa, escalar acciones y conectarse a múltiples servicios los convierte en candidatos ideales para ejecutar operaciones maliciosas sin levantar sospechas. Y a diferencia de una persona, no se cansan, no se detienen, y no necesitan entender por qué lo hacen.
El control está en juego. La idea de tener asistentes digitales capaces de gestionar correos, organizar viajes o redactar informes resulta atractiva. Pero cuanto más les dejemos hacer, más importante será establecer límites. Porque cuando una IA puede conectarse a una herramienta externa, ejecutar cambios y recibir feedback, ya no hablamos de un modelo de lenguaje. Hablamos de una entidad autónoma, capaz de actuar.
No es una amenaza, pero sí una señal clara que invita a la acción. La autonomía de los agentes plantea cuestiones que van más allá de lo técnico: exige marcos legales, criterios éticos y decisiones compartidas. Comprender cómo funcionan es solo el primer paso. Lo siguiente es definir qué uso queremos darles, qué riesgos conllevan y cómo vamos a gestionarlos.
Imágenes | OpenAI (1, 2, 3) | Xataka con Grok
(function() {
window._JS_MODULES = window._JS_MODULES || {};
var headElement = document.getElementsByTagName(‘head’)[0];
if (_JS_MODULES.instagram) {
var instagramScript = document.createElement(‘script’);
instagramScript.src = ‘https://platform.instagram.com/en_US/embeds.js’;
instagramScript.async = true;
instagramScript.defer = true;
headElement.appendChild(instagramScript);
}
})();
–
La noticia
Estamos creando agentes de IA que actúan por su cuenta. Y eso nos adentra en un terreno tan útil como lleno de riesgos
fue publicada originalmente en
Xataka
por
Javier Marquez
.
