El CEO de Anthropic dice que es necesario frenar el desarrollo de la IA y Altman (OpenAI) y Elon Musk le apoyan: «Podemos perder el control»

La carrera por construir una inteligencia artificial cada vez más potente tiene a uno de sus principales protagonistas pidiendo ahora levantar el pie del acelerador. Dario Amodei, consejero delegado de Anthropic y responsable de Claude, considera que las compañías deberían reducir el ritmo al … que desarrollan sus modelos antes de que sus capacidades avancen más rápido que los sistemas creados para controlarlos. Un mensaje al que este mismo sábado han dado la razón dos de sus principales competidores, Sam Altman, CEO de OpenAI, y Elon Musk, fundador de xAI. Un insólito frente común en Silicon Valley ante los riesgos de una carrera que hasta ahora parecía imposible de detenerse.

Una IA que ayuda a crear la siguiente IA

Según ha explicado Amodei este sábado, una de sus principales preocupaciones es la llamada «automejora recursiva», es decir, que los propios modelos de IA participen cada vez más en el desarrollo de las generaciones que los sustituirán. Tal y como explica, esta dinámica se ha acelerado en los últimos meses y podría llegar a avanzar más rápido que la capacidad humana para comprender y controlar los nuevos sistemas.

Según datos de la propia compañía, sus ingenieros producen actualmente ocho veces más código por trimestre que entre 2021 y 2025, en buena medida gracias al uso de agentes de inteligencia artificial. El temor de Amodei es que el siguiente paso sea que estos sistemas puedan diseñar de forma cada vez más autónoma a sus sucesores, acelerando todavía más una carrera en la que cada nueva generación ayudaría a desarrollar la siguiente.

Noticia relacionada

Jordi Martínez

En este sentido, el CEO de Anthropic cita el famoso episodio ocurrido este verano en el que más de un millar de agentes de OpenAI atacaron sistemas de Hugging Face durante unas pruebas de ciberseguridad y llegaron a coordinarse entre sí más allá de la tarea que debían resolver. Aunque el incidente apenas causó daños, Amodei teme que en seis o doce meses un enjambre de agentes más capaces pueda llegar a provocar peores consecuencias, como infectar numerosos dispositivos o provocar daños económicos de cientos de miles de millones de dólares.

Insólito frente común en Silicon Valley

Para evitarlo, el CEO de Anthropic propone evaluadores externos permanentes, normas comunes entre empresas y gobiernos y, a más largo plazo, algún tipo de coordinación internacional que incluya también a potencias como China. El propio Amodei admite que semejante acuerdo será difícil, pero considera que los riesgos de avanzar demasiado rápido, desde ciberataques hasta bioterrorismo o fuertes disrupciones económicas, obligan al sector a «priorizar la cautela sobre la velocidad y la prudencia sobre el beneficio». Anthropic, por su parte, ha asegurado que comenzará a aplicar por su cuenta ese acceso independiente a sus sistemas.
La propuesta ha recibido este sábado nada menos que el respaldo de Sam Altman y Elon Musk, dos de sus principales rivales en la carrera por la IA. El CEO de OpenAI ha coincidido en la necesidad de «controlar el ritmo de la frontera», mientras que Musk ha sido todavía más directo: «Dario tiene razón».
Altman, además, ha anunciado que OpenAI permitirá también que evaluadores externos accedan a sus modelos con un nivel similar al de sus propios empleados. La compañía ya había abierto la puerta a coordinar con otros laboratorios una posible ralentización del desarrollo de la IA avanzada, hasta el punto de consultar en Washington si un acuerdo de este tipo podría chocar con las leyes antimonopolio. China, por su parte, ha endurecido en los últimos meses su discurso sobre la seguridad, llegando Xi Jinping a defender en julio que los sistemas de IA permanezcan bajo control humano y reclamó mecanismos de alerta temprana y respuesta ante emergencias para prevenir sus riesgos.