Anthropic, OpenAI y Google estudian crear un organismo de seguridad para regular la IA

En los grandes avances tecnológicos, el poder y la responsabilidad van de la mano. En las últimas semanas, los grandes desarrolladores de Inteligencia Artificial han llamado a frenar el rápido desarrollo de esta tecnología en aras de la seguridad tanto de los ciudadanos como de … la economía. Los CEOs de Anthropic y OpenAI coinciden en que los sistemas podrían, eventualmente, provocar problemas cuya solución escape al control humano.
En este contexto, y con la batalla entre EE.UU. y China por liderar el desarrollo de la IA, los grandes desarrolladores se plantean crear un organismo de seguridad que regule la evolución de esta tecnología, según The Washington Post. Los líderes de estas empresas han advertido que un gran descontrol podría causar estragos multimillonarios.

El ensayo publicado por el CEO de Anthropic, Dario Amodei, en favor de frenar el ritmo de desarrollo de la inteligencia artificial ha sido respaldado por algunas de las figuras más importantes de la industria de la IA, como el CEO de OpenAI, Sam Altman; el responsable de la unidad de IA de Google, Demis Hassabis; y el CEO de SpaceX, Elon Musk.

Noticia relacionada

La relevancia de este comunicado se suma a la dimisión de un ingeniero de Anthropic, Jacob Coxon, que ha alertado de que «están avanzando a toda velocidad hacia la creación de una superinteligencia artificial -algo así como una IA más lista que cualquier humano- capaz de auto mejorarse y jugando con nuestras vidas», llegando a asegurar que «quienes desarrollan la IA creen sinceramente que esta podría acabar con todos nosotros para finales de la década».
Incluso la ONU ha alertado de los peligros de la IA. El Alto Comisionado de las Naciones Unidas para los Derechos Humanos, Volker Türk, asegura que «todos los derechos humanos están en riesgo» y ha llamado a «equiparar el ritmo de una gobernanza eficaz de la IA con el ritmo de su acelerado desarrollo».
Entre las reacciones a la advertencia de Amodei se encuentra la de Hassabis, que publicó en X su apoyo, mientras que Altman le siguió en la red social al compartir que «el progreso ha sido rápido y continuará siéndolo. Pero debería ser más lento», recordando que la presión entre los gigantes no debería justificar la posible imprudencia.
En el escrito de Amodei se puede leer que, debido a la peligrosidad que puede suponer el desalineamiento de los modelos de IA, que desde este verano han avanzado exponencialmente en su rendimiento y capacidades provocando casos únicos como el ataque de un enjambre de agentes de IA de OpenAI a Hugging Face, propone un plan de tres pasos para ralentizar el desarrollo de modelos avanzados e imponer medidas de seguridad y evaluación que vayan a la par que su progreso.

Un organismo regulador independiente

Según The Washington Post, antes del respaldo y la publicación del ensayo de Amodei, Anthropic, OpenAI y Google estuvieron debatiendo la creación potencial de un nuevo organismo autorregulador independiente que se encargaría de imponer las medidas de seguridad estándar en un sector que se mueve de forma muy acelerada.
Este organismo sería similar a los de otras industrias, tal como ha citado Amodei poniendo como ejemplo a la Autoridad Reguladora de la Industria Financiera (FINRA) que, como organización privada y sin fines de lucro autorizada por el Congreso de Estados Unidos, se encarga de supervisar y autorregular las empresas de valores y corredurías de bolsa del país.
Se trataría de un organismo inédito, ideado por las propias compañías de Silicon Valley. De hecho, el propio Amodei sugirió solicitar una exención «limitada» en las leyes de competencia de Estados Unidos que les permita pactar y coordinar estos límites de seguridad.
A pesar de la voluntad de los líderes de las empresas, estos se enfrentan al gobierno estadounidense. El propio presidente, Donald Trump, se ha mostrado contrario a frenar el desarrollo asegurando que «se está gestando una conspiración enfermiza contra la IA y los centros de datos, y el único que se alegra de ello es China». «Quien gane en IA, va a ganar y vamos por delante de China y de todos los demás, y seguiremos haciéndolo», ha afirmado.
Asimismo, hay voces críticas en la industria y entre algunos competidores, así como en la administración estadounidense, que señalan que una desaceleración acordada entre los gigantes del sector, aparte de actuar como un «cartel» para bloquear a competidores más pequeños, frenaría la ventaja estratégica del país frente a potencias rivales como China.

Microsoft quiere reforzar el control humano de su IA

Entre los movimientos dentro de la industria de la IA, el gigante tecnológico Microsoft ha presentado este lunes un borrador de código de conducta para su inteligencia artificial interna. El documento exigiría que la IA de Microsoft nunca se resistiera a ser corregida o apagada, que se comunicara de forma comprensible para los humanos y que considerara cualquier infracción de conducta como un fallo.
El código de conducta «representa una especie de constitución para los futuros modelos creados por la empresa», afirmó Mustafa Suleyman, director ejecutivo de IA de Microsoft, en una entrevista con Reuters.
Microsoft lo elaboró tras consultar con expertos y ahora quiere recabar la opinión del público durante seis semanas, incluso sobre cuestiones abiertas como si la IA debe respetar los límites del usuario y cómo debe interactuar con alguien que se encuentre en un estado vulnerable, explicó. «Después de eso, se utilizará para entrenar los modelos que desarrollemos», afirmó refiriéndose al código.
La «constitución» más famosa del sector de la IA es la que Anthropic elaboró hace años para su IA Claude. Esta difiere en algunos aspectos de la de Microsoft. Por ejemplo, la de Anthropic declara que es «profundamente incierto» si Claude puede desarrollar conciencia o estatus moral.
Microsoft, por su parte, afirma que su IA «no es consciente» y añade: «Rechazamos la búsqueda de la personalidad jurídica, o la idea de que los modelos puedan merecer bienestar o tener derecho a derechos».