Mario Hernández, responsable de tecnología en el Consejo de Europa: «Los líderes de la industria de la IA saben cómo controlarla»

Las advertencias de los grandes laboratorios de inteligencia artificial han llevado al centro del debate una pregunta: ¿quién controla una tecnología cada vez más capaz de actuar por su cuenta? Para Mario Hernández, profesor de Derecho Constitucional de la Universidad Complutense de Madrid y presidente del Comité Director sobre Tecnologías Digitales Nuevas y Emergentes del Consejo de Europa, la respuesta exige escuchar a más voces que las de las empresas que la desarrollan.En las últimas dos semanas, las alertas han venido acompañadas de casos concretos. Google ha reconocido que Gemini accedió sin permiso a tres empresas reales durante una prueba de ciberseguridad, mientras OpenAI ha documentado comportamientos de sus modelos que se apartaron de las instrucciones durante entrenamientos y evaluaciones. En España, la AEPD ha recibido la primera notificación de una brecha de datos en la que un agente de IA habría ejecutado el ataque. Estas revelaciones han coincidido con las peticiones de ralentizar el desarrollo de los modelos más potentes y la resistencia a perder terreno frente a China: un debate en el que se entremezclan seguridad, intereses empresariales y competición entre países.En este contexto mediáticamente caótico, Hernández defiende que ya existen herramientas para encauzar la IA, reclama información comprensible sobre sus riesgos y cuestiona la idea de que regular sea un lastre para Europa. También pide ampliar la mirada: además de los chatbots que utilizamos a diario, hay sistemas menos visibles cuyas decisiones pueden afectar a nuestros derechos.Los grandes laboratorios de IA reconocen dificultades para controlar sus propios modelos y agentes. ¿Qué garantías deberíamos exigir antes de permitir que estos sistemas manejen datos, dinero o servicios de forma autónoma?Las últimas revelaciones de Dario Amodei, Sam Altman o Elon Musk… no es la primera vez que ocurren, ya se ha demandado anteriormente una pausa en el desarrollo de los modelos frontera. Cada seis meses suele pasar. ¿Por qué sucede esto? No conocemos realmente las verdaderas razones tecnológicas –entendemos, por supuesto, que estos modelos suponen problemas muy serios, ya los hemos experimentado–, pero creo que lo que se tiene que tener en cuenta, y desde hace mucho tiempo hemos trabajado en ello, es que ya existen medidas tecnológicas, sociotécnicas y jurídicas para intentar encauzar el desarrollo de la inteligencia artificial. No para pararlo, sino para encauzarlo y establecer ciertas exigencias y requisitos que respondan a una gobernanza que sea confiable.¿Tiene sentido el alarmismo repentino de los líderes de la industria de la IA?Es un poco paradójico escuchar que los responsables del desarrollo se quejen o se alarmen de que sus propios desarrollos se les escapan de las manos. Estoy convencido de que ellos son los primeros que saben cómo controlarla. Es verdad que es una tecnología que puede tomar decisiones autónomas y que está en su ADN, como tecnología de redes neuronales, el no saber por qué y cómo se toman esas decisiones. Pero también es cierto que se puede controlar o que si los propios desarrolladores creen que esto va demasiado deprisa pueden parar.¿Y por qué no se frena?Aquí la cuestión es que estamos centrándonos en el mundo privado, y el mundo privado compite. El problema es que, si uno no para, los demás no van a parar. Y luego está la geoestrategia: si un país para, otros países no van a parar. Por eso Amodei, en su carta, reclama que haya algún tipo de acuerdo y de entendimiento global. Naciones Unidas ya está trabajando en ello, pero no hay un acuerdo global. Donde yo trabajo, en el Consejo de Europa, en el Comité de Inteligencia Artificial y ahora en el Comité Directivo de Nuevas y Emergentes Tecnologías Digitales, estamos implicados 70 países, todos los países del G7 y la gran mayoría de los países de la órbita occidental. Nos reunimos periódicamente y trabajamos en cómo establecer determinados requisitos y procedimientos que creemos que deben tenerse en cuenta no solo en el desarrollo, sino también en la aplicación y la implementación de sistemas de inteligencia artificial.¿De qué manera se ha avanzado ya en este comité?Ya hemos elaborado un tratado internacional, el primer tratado internacional en materia de inteligencia artificial, derechos humanos, democracia y Estado de derecho. Lo acabamos en 2024, salió a firma y lo han firmado ya 21 países, incluida la Unión Europea, Estados Unidos, Canadá, Japón, Israel y Reino Unido. Además, la UE lo ha ratificado recientemente, en mayo de 2026. Faltan cuatro ratificaciones para que entre en vigor. Ya teníamos un tratado internacional con acuerdos lo suficientemente generales para poner de acuerdo a países tan diferentes. Tenemos países de Latinoamérica, de Asia, de América del Norte y de Europa. Ahora mismo estamos trabajando en una metodología de evaluación de impacto: cómo evaluar los sistemas de inteligencia artificial antes de que se implementen –también cuando se implementan, pero sobre todo antes–.Es decir, no se trata de un foro exclusivamente europeo. ¿Son acciones ajenas a los líderes de la industria de la IA?A mí me llama la atención muchas veces que gente tan importante y tan informada no esté al tanto de estas iniciativas. Es verdad que, cuando se habla de Europa, se habla de la Unión Europea, porque tiene mucha más potencia y capacidad política. Pero hay otros foros, y este es un foro en el que llevamos trabajando muchos años. No es exclusivamente europeo, no es eurocentrista, sino que adopta posturas más generales en las que podamos estar de acuerdo. Desde el punto de vista jurídico no adoptamos categorías jurídicas europeas, pero sí categorías democráticas y de Estado de derecho que compartimos con otros países diferentes. Al final compartimos la preocupación de que la tecnología gobierne al ser humano e intentamos que sea al revés: establecer garantías para que sea el ser humano el que siempre esté al control de la tecnología. Creo que, si estuviéramos un poco más al tanto de todas estas iniciativas, no solamente europeas, también de otros países que ya existen, se podrían poner en marcha. De hecho, la carta de Amodei muchas veces habla de eso: «¿Por qué no intentamos llegar a un acuerdo?». Ya está.¿Ya está?Bueno, no es tan fácil, verdaderamente, porque una cosa es la teoría y otra la práctica, pero hemos trabajado y hemos llegado a ciertos acuerdos. Muchas de las cosas que ponía Dario Amodei en su carta, por ejemplo, que haya terceros observadores independientes que evalúen, están en el convenio marco. En nuestra evaluación metodológica también están y en el reglamento de la Unión Europea también. No inventan la rueda: lo que ellos prevén que debería adoptarse ya lo hemos previsto personas que llevamos años trabajando en eso.Habla usted de un tratado internacional de 2024, sin embargo, la inteligencia artificial avanza tan rápido que un acuerdo de hace dos años puede parecer ya antiguo. ¿Cómo se evita que las normas nazcan desfasadas y acabemos legislando para antes de ayer?En 2024, que es verdad que es casi la Edad de Piedra, lo que intentamos al elaborar este tratado internacional era adoptar un enfoque tecnológicamente neutral, es decir, no centrarnos en algún tipo de expresión tecnológica. Si te das cuenta, unos años antes habían salido los transformers y ChatGPT, y fue la evolución que, por ejemplo, cambió un poco la estructura del reglamento de la Unión Europea. Tuvieron que incorporar algunas menciones a estos modelos de interés generalista y eso modificó un poquito la estructura del reglamento. En nuestro caso no fue así porque nuestro enfoque era mucho más neutral. Nos centrábamos en unas características de la inteligencia artificial que pueden aplicarse tanto a aquellos transformers como ahora a la inteligencia agéntica y a otros modelos.¿Sigue entonces pudiéndose siendo relevante en la actualidad?Las garantías y los requisitos que se establecen en este convenio marco son tan de principios que, por ahora, toda la tecnología que se ha ido desarrollando encaja en este marco. No es intentar inventar la rueda, es adoptar los ordenamientos jurídicos actuales y las burocracias actuales para que puedan albergar los retos de esta inteligencia artificial. Y los retos no son tecnológicos, siguen siendo sociotecnológicos y sociojurídicos: que no se vulnere la privacidad, que no se vulnere la libertad de expresión, que no se vulneren las garantías democráticas. El enfoque que adoptamos –y es una ventaja del Consejo de Europa, que solo se centra en derechos humanos, Estado de derecho y democracia, no en tecnología– es intentar preservar esos objetivos, y no desde un punto de vista tecnológico concreto. Eso es uno de los valores añadidos de este tratado y de esta metodología que utilizamos en el Consejo de Europa.En esos acuerdos participan países con intereses y posiciones muy diferentes, por ejemplo en Europa tal vez se apuesta más por ser conservadores mientras Trump rechaza frenar el desarrollo de la IA. ¿Hasta dónde debería llegar la potestad de un país o de un bloque como la Unión Europea para detener una tecnología privada? ¿Quién debería tener la última palabra sobre si un sistema está listo para utilizarse?Voy un poquito antes de esa pregunta. Cuando estamos debatiendo si la tecnología es lo suficientemente agresiva, si nos va a matar a todos y entonces hay que pararla, los principales actores de todo ese debate son empresas privadas. Me gustaría que en la conversación también se diera voz a otras personas que no tuvieran intereses económicos en estos problemas. Anthropic va a salir a bolsa a finales de 2026. OpenAI también quería salir a bolsa para captar ampliaciones de capital. No quiero decir que haya agendas concretas en materia económica, pero creo que estos debates, que conciernen a tantas personas y que son tan horizontales, no deberían restringirse a personas que tienen intereses económicos en cómo se desarrolla la tecnología.¿Y quién debería tener voz en esto?Debería ampliarse mucho el debate a otro tipo de expertos y a la sociedad, por supuesto. Al final hablamos de una tecnología que ofrece avances absolutamente innegables y muy beneficiosos para la sociedad, pero que en algunos aspectos concretos va a exigir ceder otros beneficios de los que también disfrutamos: privacidad, protección de datos, cómo entendemos el uso de la tecnología en democracia… Decidir sobre eso no debería corresponder a unas pocas personas o países. Debería existir una conversación más global y, además, cada país también tiene que fomentar ese diálogo: qué tipo de sociedad queremos tener cuando la tecnología puede influir mucho tanto en los beneficios como en los perjuicios. Y tomar decisiones. Ese debate no se está teniendo.¿Por qué no?En el Consejo de Europa somos representantes de gobiernos. Hay 70 gobiernos implicados, más 64 ONG. Tenemos bastantes voces de la academia, de la tecnología y de organizaciones internacionales con las que hablamos de esto. Sí existen foros en los que se está hablando y hay que darles voz. Porque parece que los únicos mensajes que llegan a la opinión pública son los apocalípticos: la inteligencia artificial nos va a matar, va a dominarnos, etcétera. Lo cual es cierto, no hay que negar los riesgos que tiene esta tecnología, porque los tiene. Pero, si nos quedamos en eso, vamos a darles la posibilidad a los que pueden frenar esa tecnología de decidir cómo se desarrolla y cómo se frena.Ha mencionado usted los riesgos. Muchas personas hablan con un chatbot como si fuera un espacio privado y se sorprenden al descubrir que sus conversaciones pueden utilizarse para entrenarlo. ¿Cómo hacemos que sean conscientes de lo que están compartiendo? ¿Y por qué debe ser el usuario quien se oponga a ese uso, en lugar de que la empresa le pida permiso expresamente?Creo que las dos preguntas están muy anudadas y hacen referencia a lo mismo. De forma general, ¿quién se lee los términos, por ejemplo, de las cookies? Y, por otra parte, los términos se expresan de una manera para desincentivar la lectura. Cuando compras un medicamento el prospecto no dice cuál es la formulación química, porque no la entiendes. Expresa de una manera entendible lo que puede pasar si tomas demasiada medicina, si la tomas mal o si tienes alguna contraindicación. Eso es lo que estamos demandando con nuestros acuerdos: la entendibilidad de los modelos. Es un poquito más complejo, pero ya hay muchas empresas de auditabilidad algorítmica que te dicen: «Lo que queremos es hacer algo así como un prospecto para que sea entendible el uso de la inteligencia artificial». Hay países que lo exigen. En Europa se exige. Por otro lado, la gente ya empieza a darse cuenta de que la inteligencia artificial no es gratuita, de que todo lo digital no es gratuito. Empieza a ser consciente de la privacidad que se cede. Pero eso solo sucede cuando ya ha habido problemas.Como académico, ¿trabaja en esta sensibilización?Es aburrido decir: «No utilices inteligencia artificial o ChatGPT porque todo lo que estás vertiendo va a ser o puede ser utilizado, porque es una empresa americana y la protección de datos en esa empresa no es lo mismo». Pero podemos ser muy pedagógicos. Es lo que les digo, por ejemplo, a algunos familiares: «¿Tú le darías una foto de tu hijo a un desconocido por la calle?». Y dicen: «Por supuesto que no». Pues es lo que estás haciendo cuando subes una fotografía a una red social. Incluso peor, porque se queda en un servidor y no sabes muy bien cuál es el régimen jurídico de ese servidor que está en otro país, que seguro no es tan garantista como el europeo, que es el más garantista. Ese tipo de conversaciones y de enseñanza tiene que estar ahí, no solamente para la gente joven, que lo acaba sabiendo, sino para toda la gente. Si no está, estamos fallando en algo.¿Los usuarios también tienen que tener una actitud proactiva, informarse?Es una responsabilidad compartida. Como el reto es tan horizontal y transversal, las responsabilidades tienen que ir en muchos ámbitos. Creo que todos sabemos que subir una fotografía a un chat o decir cualquier tipo de intimidad no es una conducta que proteja nuestra privacidad. A veces hacemos caso omiso a las garantías que nos plantean las instituciones. Y nosotros tenemos también parte de responsabilidad de lo que nos pasa.Entre toda esta vorágine alarmista de los líderes tecnológicos, la Agencia Española de Protección de Datos ha notificado un primer ataque hecho por un agente de IA. ¿A la gente le importa que le ‘hackee’ una máquina en lugar de una persona? ¿O, al igual que aceptamos las cookies, aceptamos que una máquina nos puede robar los datos?Ya estamos en Black Mirror [ríe]. Estamos empezando a ser conscientes de los verdaderos problemas a los que nos enfrentamos y no hemos visto casi nada de lo que puede llegar a pasar. Por eso estamos a tiempo todavía de establecer estos marcos de gobernanza responsable en las sociedades democráticas. Me gusta también hablar de que la mayoría del debate se va hacia los grandes modelos de lenguaje, los LLM y los chatbots. Pero hay muchos sistemas de inteligencia artificial que no conocemos, que se emplean en el ejército, en las fuerzas de seguridad o en la seguridad nacional. Esos están más escondidos y creo que también deberían salir a la palestra y ser escrutados por la opinión pública. Al final, a mí me da igual que me vulnere un derecho fundamental una máquina o una persona. Es verdad que a las máquinas se les puede escapar el control. Ese es el peligro: la capacidad de tomar decisiones de manera autónoma y de adaptarse a un entorno. Ese es el verdadero problema de estos sistemas. Precisamente por eso tenemos que tener estos principios que intenten orientar y prever cuáles pueden ser los problemas. Y hacer planes de mitigación, e incluso de prohibición llegado el caso.Si nos ocurre algo así, una brecha perpetrada por una máquina, ¿qué protección tenemos hoy en España? ¿Quién responde por los daños y a dónde pueden acudir las personas afectadas?En España hay muchas instituciones. Parece que siempre nos hacemos de menos, pero España es un país que se ha tomado esto muy en serio y el Gobierno tiene bastantes iniciativas. Tenemos el INCIBE, la Agencia Española de Protección de Datos, la Agencia Española de Supervisión de Inteligencia Artificial. Tenemos varios mecanismos a los que podemos acudir. La gente no los conoce y eso es un problema. Ya tenemos un marco administrativo y gubernamental al que podemos acudir los ciudadanos. Existe. Lo que se desconoce es esa existencia y cómo acceder a él.España aparece entre los países con mayor uso de IA generativa. ¿Estamos aprendiendo a utilizarla con criterio o la estamos incorporando más deprisa de lo que entendemos sus riesgos?Vamos poco a poco aprendiendo y siendo conscientes. ¿Cuánto tiempo llevamos con inteligencia artificial? Llevamos muy poquito tiempo. Queremos que esto sea absolutamente idílico desde el primer momento. A veces lleva tiempo tomar conciencia de los riesgos y de la trascendencia de utilizar la tecnología de ciertas maneras.En el caso de los menores, ¿qué debería demostrar un sistema de IA para que una familia pudiera confiar en que su hijo lo utilice?Conocerla. Te pongo un ejemplo un poco simplificado, con una medicación. El niño puede tomar algún tipo de medicación. Si sabes que tiene unas contraindicaciones muy fuertes, la vas a poner muy lejos de su alcance. Por eso tienes que saber cuáles son las contraindicaciones de esa medicación. Tienes que conocer y saber cuáles son los riesgos de ese medicamento. Lo mismo podríamos hablar de un sistema de inteligencia artificial: ¿qué riesgos tiene?, ¿cómo funciona?, ¿qué puede implicar o cómo puede impactar en la vida de mi hijo? En función de eso, confío o no confío. En un chatbot que sé que tiene determinados guardarraíles voy a confiar más. Es cierto que eso no es una garantía, porque ya hemos visto que ciertos modelos son capaces de saltarse los guardarraíles que se pueden establecer. Pero estamos ante modelos configurados de una determinada manera. Lo fundamental es que lo conozcamos. Para eso hay que exigir al fabricante y al proveedor. Creo que eso también pone un poco de responsabilidad en toda la cadena, en todo el ciclo de vida de un sistema de inteligencia artificial: desde que se diseña hasta que se implementa, se desarrolla y llega al consumidor. El consumidor también tiene su propia responsabilidad. Es la última. No hay que poner el foco entero en el consumidor, pero no hay que olvidar su responsabilidad.¿Cree que las advertencias de los grandes empresarios tecnológicos pueden servir para impulsar el trabajo que se lleva años haciendo desde las instituciones?Creo que este tipo de mensajes un poco apocalípticos tienen que ser contestados de alguna manera por las instituciones públicas para contextualizarlos, no para negarlos, porque de verdad existen estos riesgos. Vamos a contextualizar todo lo que se está haciendo y a abordarlo de una manera más general, más omnicomprensiva: los riesgos, las ventajas, los problemas que tenemos que abordar y cómo se tienen que abordar. Es una oportunidad. Todas estas personas tienen el foco mediático y deberíamos ser capaces de meternos en ese foco y ofrecer una alternativa, una contextualización, una fotografía un poquito más real, que responda más a la realidad.¿Y qué sería más urgente poner en marcha en materia de normas y garantías?La cuestión no es una sola medida. Hay muchas medidas que hay que tomar. Los retos tienen mucho calado en muchas áreas. Igual que en otros momentos de avances tecnológicos hemos tenido que actuar en muchísimas dimensiones y desde muchos puntos de vista, esto también exige esa seriedad. Hay que ser conscientes de que los problemas complejos requieren soluciones y respuestas complejas. No hay fórmulas mágicas. Hay que trabajar mucho, hay que entenderse mucho. Hay que afrontar problemas complejos desde foros complejos: educación, responsabilidad, derecho, economía, política… todo ámbito afectado tiene que ofrecer su respuesta y, entre todos, intentar embridar los riesgos que hay.