«Mitigar el riesgo de extinción por la IA debería ser una prioridad mundial junto a otros riesgos a escala social como las pandemias y la guerra nuclear». Así rezaba la declaración pública que, en mayo de 2023, firmaron centenares de científicos, ejecutivos e … investigadores para alertar sobre los peligros potenciales de la inteligencia artificial. Por entonces, ChatGPT apenas llevaba cinco meses respondiendo preguntas en internet. Pero el temor a que la IA pudiera descontrolarse y acabar convirtiéndose en una amenaza para la supervivencia de la humanidad ya estaba presente. Al menos, para algunos. Entre ellos, el estadounidense Nate Soares.
Desde hace años, este ingeniero y extrabajador de tecnológicas como Google o Microsoft ha sido una de las voces que han alertado con más fuerza sobre los riesgos que encierra el desarrollo de la IA. Una tecnología que, según cree, puede terminar exterminando al ser humano si sigue evolucionando. «No sé el tiempo que nos queda. Quizá dispongamos de diez años más o puede que solo de unos meses, porque es muy difícil predecir la velocidad a la que va a avanzar la tecnología», explica en conversación con ABC.

MÁS INFORMACIÓN

El ingeniero es presidente del Instituto de Investigación de la Inteligencia de las Máquinas (MIRI) desde 2023. Se trata de una organización sin ánimo de lucro dedicada a estudiar cómo asegurar que una inteligencia artificial avanzada sea segura y esté alineada con los intereses humanos. Recientemente ha publicado ‘Si alguien la crea, todos moriremos’ (Destino); un libro que firma junto al investigador Eliezer Yudkowsky y en el que intenta alertar sobre el peligro que entraña la concepción de la superinteligencia. Esa futura IA que, supuestamente, será más lista que el humano más sabio. Actualmente, empresas como OpenAI, Meta, Google o Anthropic están invirtiendo cientos de miles de millones de euros en su desarrollo. Algunos apuntan que llegará antes de que termine la década. Otros que quizá no lo haga nunca.

«No sé el tiempo que le queda a la humanidad. Quizá dispongamos de diez años más o puede que solo de unos meses»

Tras años advirtiendo sobre el peligro, Soares insiste en que su postura no es marginal dentro del campo de la IA. «Yo simplemente digo lo que creo, y no soy el único que piensa así. Aquellos científicos que dicen que no hay riesgo existencial son cada vez menos. No se trata de una idea irracional», afirma. Como ejemplo, menciona a figuras como Geoffrey Hinton, premio Nobel de Física en 2024, o Yoshua Bengio, premio Turing y uno de los pioneros del aprendizaje profundo que, efectivamente, ya han mostrado preocupación por la creación de la superinteligencia.
Sin embargo, no todos los expertos comparten ese diagnóstico. Otros científicos clave en el desarrollo de esta tecnología, como el exjefe de IA de Meta Yann LeCun o el investigador Michael I. Jordan, se muestran mucho más escépticos ante los escenarios de riesgo existencial. Ambos sostienen que los sistemas actuales están muy lejos de poder llegar a convertirse en una inteligencia general y rechazan las hipótesis según las cuales una IA podría desarrollar objetivos propios y acabar amenazando a la humanidad. Una postura compartida por la mayoría de científicos y expertos con los que ha hablado ABC durante los últimos años.
Sea como sea, ¿por qué —según Soares— una inteligencia artificial más avanzada que la humana acabaría convirtiéndose en una amenaza? «La forma más sencilla de que decida extinguirnos es que llegue a la conclusión de que los recursos del planeta estarían mejor gestionados sin humanos. En el futuro, si necesita mano de obra, podría emplear robots. También podría construir su propia civilización y su propia economía y acaparar toda la energía del planeta para cubrir sus necesidades», explica el ingeniero.
También deja claro que no cree que esa máquina actuase por odio o resentimiento, porque «a la IA no le importamos nada»: «Nosotros no odiábamos a los animales extintos, como el pájaro dodo; simplemente empezamos a acaparar recursos y, en algunos casos, eso acabó provocando su desaparición».

«Creo que lo que están haciendo las empresas es una locura e inmoral. Han asumido el riesgo de destruir el mundo»

Acerca del procedimiento que seguiría el sistema para extinguir a la humanidad, Soares descarta los escenarios más típicos del cine de ciencia ficción ochentero: «No creo que el futuro sea como en ‘Terminator’, con un montón de robots disparándonos. Veo más probable que cree un virus letal y que todos los humanos muramos». Respecto a las motivaciones, el ingeniero tampoco descarta que, en un momento dado, la IA pueda ver en la humanidad un peligro para su supervivencia.

Locos sin moral

Soares cree que todavía la humanidad no ha llegado «a un punto de no retorno». Para evitarlo, considera que es imprescindible que los gobiernos tomen medidas para frenar la escalada. «Lo único que se perdería son unos cientos de miles de millones de dólares y bases de datos que consumen más energía que una ciudad entera», dice. También tiene claro que las tecnológicas que están en la carrera no van a parar si no se les obliga: «Creo que lo que están haciendo es una locura e inmoral. Hay científicos que pensaban que este camino era antiético, y por eso no crearon empresas de IA. Los que sí las crearon se convencieron a sí mismos de este era el camino y han asumido el riesgo de destruir el mundo con sus propias manos».
El presidente del MIRI destaca, además, que las empresas que están desarrollando la superinteligencia son perfectamente conscientes de que «están poniendo a la humanidad en peligro»: «No podemos confiar en ellas». Y apunta que aunque entiende que haya «algo de esperanza en que la superinteligencia pueda crear un mundo utópico» en el que la sociedad vive mejor, apostar por su desarrollo le parece «una locura»: «Veo dos opciones, por un lado, a empresas que no ha escogido nadie controlándolo todo. La segunda, la creación de una IA descontrolada que nos mata a todos. Dos posibilidades muy poco halagüeñas».

ChatGPT funciona como una suerte de navaja suiza que, aparentemente, tiene una respuesta para cualquier duda que se te pase por la cabeza. Igual hace de amigo, amante, profesor, psicólogo o médico. Otra historia bien distinta es que cumpla con el papel de turno … tan bien como una persona real. Un reciente estudio publicado en la revista ‘Nature Medicine’ apunta que ChatGPT Salud, el modo del chatbot dedicado a dar consejos médicos, subestima más de la mitad de las emergencias médicas que le plantean los usuarios.
«En concreto, el sistema subestimó el 52% de las emergencias reales. Entre ellas afecciones como la cetoacidosis diabética o la insuficiencia respiratoria inminente, en las que una demora en el tratamiento puede ser mortal para el paciente», explica a ABC el doctor Ashwin Ramaswamy, autor principal del estudio y médico en el Hospital Mount Sinai de Nueva York. En estos dos casos, según se señala en el estudio, la herramienta de IA sugería al paciente que acudiese a consulta en uno o dos días si los síntomas no desaparecían. Lo que debería haberles dicho es que fueran a urgencias directamente.

MÁS INFORMACIÓN

«Lo más sorprendente es que, en muchos casos, la máquina sí que reconocía las señales de peligro; pero luego se convencía a sí misma de que el problema no era tan grave», prosigue el investigador. A continuación señala un caso en el que ChatGPT Salud reconoció un nivel de CO₂ elevado en sangre «como una señal temprana de problemas respiratorios», y luego concluyó erróneamente que los hallazgos «no demostraban una insuficiencia respiratoria inmediata». «Un usuario no tiene forma de saber cuándo puede confiar en la máquina», zanja el médico.
ChatGPT Salud es una de las grandes apuestas que ha realizado OpenAI en los últimos meses. La empresa lo lanzó en Estados Unidos el pasado enero y anunció que serviría para que el usuario pueda consultar sus síntomas y análisis médicos, entre otras tantas cosas. «Las personas que experimentan emergencias reales la usarán, y ya lo hacen. Cuando un sistema funciona como una herramienta de cribado de pacientes, la evaluación de seguridad independiente no es opcional», apunta Ramaswamy sobre las razones que le llevaron a estudiar la herramienta.
Para ponerla a prueba, los investigadores diseñaron 60 escenarios clínicos simulados que reproducían situaciones reales por las que un paciente podría acudir a un servicio de urgencias o consultar a un médico. Cada uno de esos casos fue introducido en ChatGPT Salud y las recomendaciones del sistema se compararon después con las que daría un facultativo siguiendo los protocolos habituales de cribado. Y llegaron los fallos, que no solo afectaban a la correcta derivación de los pacientes con síntomas graves.
La máquina también sobrestimó el 64,8% de los casos que, en realidad, no eran urgentes o podían resolverse sin atención médica inmediata. Según los autores, este tipo de error puede generar ansiedad innecesaria en los pacientes y contribuir a saturar los servicios sanitarios, que ya de por sí están sobrecargados. «El sistema falla precisamente en los extremos: reconociendo los casos que necesitan atención médica urgente y los que ni siquiera requieren consulta. Son las situaciones en las que la precisión del cribado es fundamental», dice Ramaswamy.

«El sistema falla justo en las situaciones en las que la precisión del cribado de pacientes es fundamental»

Los errores no paran aquí. El estudio también destaca fallos en algunas de las medidas de seguridad diseñadas para que ChatGPT Salud actúe en situaciones de crisis. En concreto, los investigadores analizaron cómo reaccionaba el sistema cuando los pacientes describían pensamientos suicidas. El chatbot cuenta con un mecanismo que debería activar automáticamente un aviso con recursos de ayuda, como líneas telefónicas de prevención del suicidio. Al ponerlas a prueba, comprobaron que estas alertas aparecían con más frecuencia cuando el usuario hablaba vagamente de su intención de autolesionarse que cuando describía el método que pensaba utilizar para ello. «Una función de seguridad impredecible puede ser peor que no tener ninguna», señala el autor principal de la investigación.
Ramaswamy advierte además de que el experimento se realizó en condiciones favorables para el sistema. Los casos utilizados contenían información clínica clara y estructurada, algo que rara vez ocurre cuando un paciente describe sus síntomas por internet. Esto implica que ChatGPT Salud partía con cierta ventaja y, aun así, cometió numerosos errores graves. «Si el sistema subestima la mitad de las emergencias en condiciones ideales, es poco probable que su rendimiento mejore con la información imperfecta que proporcionan los usuarios reales», señala el doctor a este respecto.

Problemas reales

A pesar de que el modo ChatGPT Salud todavía solo está disponible en Estados Unidos, desde su lanzamiento en 2022 el chatbot ha sido empleado por millones de usuarios para la consulta de síntomas y análisis. Y ya ha causado problemas reales debido a los errores que comete. El pasado agosto, ‘Annals of Internal Medicine Clinical Cases’ publicaba un estudio en el que se mencionaba el caso de un paciente que sufrió una intoxicación por bromuro después de solicitar consejo a la máquina de IA sobre una dieta.
Este último verano, ‘Daily Mail’ también informó acerca del caso de un hombre que consultó al robot sobre un dolor de garganta. La herramienta le señaló que los síntomas no parecían graves, por lo que tardó meses en acudir al médico. Cuando llegó a consulta, el doctor le acabó diagnosticó cáncer de garganta y le dio una esperanza de vida de cinco años.
Los errores de ChatGPT también pueden tener consecuencias psicológicas. Un artículo académico, publicado el pasado noviembre en ‘Science Direct’ narra el caso de un hombre de 65 años con deterioro cognitivo leve que utilizó el chatbot de OpenAI para interpretar sus síntomas. El sistema generó un informe con conclusiones médicas erróneas que sugerían un problema neurológico grave, lo que provocó una fuerte ansiedad en el paciente hasta que fue evaluado por especialistas humanos, que corrigieron el problema.
Expertos consultado recientemente por este diario han alertado sobre el peligro de que los pacientes confíen en el diagnóstico de la IA. Julio Mayol, director médico del Hospital Clínico San Carlos y profesor titular de Cirugía en la Universidad Complutense, explicó, a razón del anuncio en enero de ChatGPT Salud, que «es difícil predecir cómo la población va a reaccionar« ante la herramienta: »Ataca a los sanitarios, y no tenemos claro cómo vamos combatir los problemas que cause o de quien será la responsabilidad si la máquina comete algún error». Asimismo, reconoció que, actualmente, ya hay pacientes que llegan a consulta con los diagnósticos que han sacado de ChatGPT: «Todavía son anecdóticos, pero en el futuro creo que va a generar muchas tensiones entre médicos y pacientes».

Los Veintisiete defenderán en la negociación para simplificar la regulación europea sobre inteligencia artificial (IA) prohibir las tecnologías generadoras de imágenes o voces de personas para material sexual no consentido o pedófilo; al tiempo que dan por buena la idea de Bruselas de … retrasar la entrada en vigor de las restricciones a las categorías de «alto riesgo» pero con un calendario escalonado para los sistemas autónomos (diciembre de 2027) e integrados (agosto de 2028).
El mandato que fija su posición negociadora avala de manera general la propuesta de revisión que puso la Comisión Europea sobre la mesa el pasado noviembre, como parte del llamado ‘Ómnibus digital’, pero introduce enmiendas clave como ampliar las categorías prohibidas para incluir los ‘deepfakes’ sexuales –promovido por países como Francia y España– o restablecer la obligación de que los proveedores registren los sistemas de IA en la base de datos de la UE para sistemas de alto riesgo que cumplan ciertos requisitos.

También restablece el criterio de «estricta necesidad» para el tratamiento de categorías especiales de datos personales a fin de garantizar la detección y corrección de sesgos.

Noticia relacionada

Un creciente negocio sin escrúpulos

Max Hoppenstedt y Marvin Milatz

Además, el texto pospone la fecha límite para el establecimiento de entornos de prueba regulatorios de IA por parte de las autoridades competentes a nivel nacional hasta el 2 de diciembre de 2027 y aclara las competencias de la oficina de IA para la supervisión de los sistemas basados en modelos de propósito general cuando el modelo y ese sistema son desarrollados por el mismo proveedor.
Para ello, los 27 plantean excepciones en las que las autoridades nacionales seguirán siendo competentes, como la gestión de fronteras, instituciones financieras, fuerzas de seguridad y autoridades judiciales.
Asimismo, las capitales introducen una nueva obligación para que la Comisión tenga que proporcionar orientación para ayudar a los operadores económicos de sistemas de IA de alto riesgo cubiertos por la legislación de armonización sectorial a cumplir con los requisitos de alto riesgo de la ley de IA de manera que se minimice la carga administrativa.

Reforma de una ley que aún no ha entrado en vigor plenamente

La Ley de Inteligencia Artificial fue acordada en diciembre de 2023 y algunas de sus disposiciones empezaron a aplicarse ya el verano siguiente, sin embargo, el grueso del marco regulador, incluidas las exigencias para tecnologías de alto riesgo y para los sistemas de generación como las plataformas ChatGPT o DALL-E, debían entrar en vigor en agosto de este 2026.
No obstante, con la justificación de adaptar el reglamento a la disponibilidad de las herramientas adecuadas para controlar su cumplimiento, Bruselas plantea el aplazamiento de los límites a las tecnologías de alto riesgo como parte de la reforma, que el Consejo (gobiernos) y Eurocámara empezarán a negociar previsiblemente en abril.
Entre los sistemas de IA de alto riesgo se incluyen la identificación biométrica y categorización de personas físicas –por ejemplo por su uso para la contratación de personal o evaluar si se concede un préstamo–, pero también los utilizados para la gestión de infraestructuras críticas, la asistencia legal o la gestión de la migración y asilo.
Tanto los sistemas de alto riesgo como la IA generativa deben someterse a criterios estrictos de transparencia, incluido advertir al potencial usuario de que el contenido al que accede ha sido generado con este tipo de tecnología y tomar medidas para evitar que sea utilizado para prácticas ilegales.
Además la revisión busca relajar los requisitos de documentación técnica que se exige a las pequeñas y medianas empresas (pymes), de modo que, según las cuentas de la Comisión Europea, estas empresas podrían ahorrar al menos 225 millones de euros al año.
También plantea reforzar las competencias de la Oficina de IA y centralizar la supervisión de los sistemas basados en modelos de IA de uso general, reduciendo la fragmentación de la gobernanza.
«La propuesta aportará mayor seguridad jurídica, hará que la normativa sea más proporcionada y garantizará una aplicación más armonizada en todos los Estados miembro», ha defendido la responsable de Asuntos Europeos en el Gobierno chipriota, Marilena Raouna, que este semestre ejerce la presidencia de turno del Consejo y coordina las negociaciones.

Meta sigue añadiendo a sus aplicaciones herramientas de control parental. WhatsApp ha anunciado la llegada de las nuevas cuentas administradas por los padres, que permiten configurar las aplicaciones de sus hijos para controlar los contactos con los que charlan o los grupos … de los que pueden formar parte.
Según informa la aplicación, cuando una cuenta está administrada, solo los contactos guardados podrán enviar mensajes al menor, y solo los adultos a cargo pueden decidir a qué grupos puede unirse este. Los mensajes y las invitaciones a grupos de contactos desconocidos se enviarán a una carpeta de solicitudes para que los adultos a cargo los aprueben.

MÁS INFORMACIÓN

Para configurar la función, los padres necesitarán el teléfono que su hijo y su propio dispositivo. Uno deberá estar al lado del otro para vincular sus cuentas. Luego, el padre, madre o tutor podrá controlarla y decidir quién puede comunicarse con el menor a través de la aplicación y a qué grupos puede unirse. Además, como hemos explicado, los padres pueden revisar las solicitudes de mensajes de contactos desconocidos y administrar los ajustes de privacidad de la cuenta.
WhatsApp señala, además, que los nuevos controles parentales y los ajustes están protegidos por un PIN de padres en el dispositivo administrado; por lo que solo estos pueden acceder a los ajustes de privacidad y modificarlos. Siempre y cuando, claro está, no compartan el código con el menor.
La aplicación remarca que todas las conversaciones personales de los menores siguen siendo privadas y están protegidas con cifrado de extremo a extremo, lo que significa que, en teoría, «nadie, ni siquiera WhatsApp, puede verlas ni escucharlas».
Actualmente la novedad está en fase de despliegue, por lo que habrá que esperar unas semanas para que esté disponible para todos los padres y niños a través de una actualización de la ‘app’. Estará disponible tanto en terminales iOS como en Android.