La inteligencia artificial no solo aprende de los datos, también hereda sus prejuicios. Durante años, los sistemas de reconocimiento facial y de análisis de imágenes se han entrenado con fotografías obtenidas de internet sin permiso, con escasa diversidad y sin control sobre su procedencia. … El resultado ha sido una cadena de algoritmos que reconocen peor los rostros de personas negras, mayores o con determinados rasgos físicos, y que perpetúan estereotipos culturales o de género.
Ahora, un equipo de Sony AI propone una alternativa radical: un conjunto de datos creado desde cero con criterios éticos. El trabajo, publicado en ‘Nature’ y liderado por la investigadora Alice Xiang, presenta el Fair Human-Centric Image Benchmark (FHIBE), el primer gran banco de imágenes humanas diseñado para evaluar los sesgos de los modelos de visión artificial de forma justa y transparente.

Un trabajo ético en todas las etapas del proceso

El FHIBE reúne fotografías de 1.981 personas de más de 80 países, todas obtenidas con su consentimiento y tras una remuneración económica por facilitar sus datos. Cada participante pudo retirar sus imágenes en cualquier momento, y los investigadores aplicaron técnicas de privacidad avanzadas para eliminar información personal o rostros de personas que no habían consentido su participación. «Queríamos demostrar que la ética puede incorporarse a cada etapa del proceso, desde la recogida de imágenes hasta su uso científico», explica Xiang a ABC. «Durante demasiado tiempo la investigación en inteligencia artificial ha dependido de bases de datos recopiladas sin consentimiento ni compensación, y eso tenía que cambiar».
La base de datos no es solo diversa geográficamente —con un 45% de imágenes procedentes de África y un 40% de Asia—, sino también en términos de edad, tono de piel, apariencia y condiciones ambientales. Cada imagen está acompañada de decenas de anotaciones: desde el tipo de luz o el modelo de cámara utilizado hasta 33 puntos anatómicos del rostro y el cuerpo. En total, más de 8.500 valores distintos de atributos, lo que la convierte en la colección de imágenes humanas más exhaustivamente etiquetada del mundo.

La Unión Europea sigue dividida sobre cómo frenar la circulación de material de abuso sexual infantil a través de internet. Después de tres años de negociaciones, los Estados miembro aún no han llegado a un acuerdo sobre la propuesta de reglamento que busca obligar … a plataformas de mensajería como WhatsApp, Telegram y servicios de correo electrónico como Gmail a detectar, reportar y eliminar material de abuso sexual infantil, así como a tomar medidas contra el acoso. Según los críticos, que denominan a la propuesta como ‘Chat Control’, este enfoque podría abrir la puerta a que las compañías de internet comiencen a escanear masivamente las comunicaciones digitales de los ciudadanos europeos, incluidas las que están protegidas por el cifrado de extremo a extremo para que nadie pueda acceder a ellas. Sin embargo, su supervivencia está lejos de ser segura.
Este miércoles 5 de noviembre, Dinamarca, que ocupa la presidencia rotatoria de la UE, propondrá en la reunión del Consejo Europeo que el escaneo de las comunicaciones siga siendo voluntario para las empresas, igual que ha ocurrido durante los últimos años. Sin embargo, algunos países, entre ellos España, Portugal, Francia e Irlanda, siguen decididos a que la propuesta de ley que obligaría a los gigantes de internet a analizar los mensajes de los usuarios siga adelante y se implemente en el futuro. Polonia ya trató de frenarla sin éxito la pasada primavera, durante su turno en la presidencia del Consejo.

«El resultado de la reunión de mañana sigue siendo incierto«, explica a ABC Patrick Breyer, exdiputado alemán del Parlamento Europeo y uno de los mayores activistas en contra de la propuesta. »Mi mayor preocupación es que (Chat Control) establecería una infraestructura sin precedentes para la vigilancia masiva. Destruiría la privacidad digital de todos los ciudadanos al obligar a los proveedores a escanear todos los mensajes, fotos y videos privados. Esto vulneraría el cifrado de extremo a extremo, dejando las comunicaciones de todos vulnerables a piratas informáticos, gobiernos extranjeros y abusos. Es un ataque a nuestros derechos fundamentales que trata a cada ciudadano como sospechoso«, remarca el político, miembro del Partido Pirata.
El Consejo Europeo tenía intención de votar la propuesta de ley el pasado 14 de octubre. Sin embargo, la oposición de Alemania al escaneo obligatorio de las comunicaciones supuso una barrera insalvable para su aprobación. El gobierno germano, junto con otros países preocupados por la privacidad y el cifrado, advirtió que la legislación podría tener efectos perjudiciales para los derechos fundamentales de los ciudadanos. La falta de una mayoría cualificada que apoyara la propuesta obligó a la presidencia danesa a posponer la votación, lo que generó aún más incertidumbre sobre el futuro de la normativa. Ahora, Dinamarca también se ha posicionado en contra de su aprobación, lo que dificulta que esta pueda avanzar, al menos por el momento.

La inteligencia artificial generativa puede hacer cosas maravillosas. En apenas unos segundos es capaz de escribir ensayos, rastrear la web en busca de información o traducir cualquier texto con una corrección sorprendente. Sin embargo, sigue sin ser perfecta. Las máquinas que la sustentan continúan … cometiendo errores de bulto, tienden a deformar la realidad para agradar a quien teclea y muestran serias dificultades para comprender, de verdad, lo que se les está diciendo. Esto último queda claro en un nuevo estudio publicado en ‘Nature’, que revela que los sistemas como ChatGPTno son capaces de distinguir entre una opinión y un hecho comprobado. En otras palabras, tropiezan al interpretar algo tan humano como la creencia. Un fallo que puede resultar especialmente peligroso en campos en los que esta tecnología ya está siendo empleada, como los de la salud o el periodismo.
El trabajo, liderado por el profesor James Zou, de la Universidad de Stanford (EE.UU.), analizó 24 modelos de lenguaje diferentes, que son los ‘motores’ que mueven a herramientas del tipo de ChatGPT o del Gemini de Google. Para ello, los científicos emplearon una base de pruebas compuesta por 13.000 preguntas relacionadas con el conocimiento y las creencias. Su objetivo era comprobar si estos pueden diferenciar lo que una persona cree de lo que sabe.

Los resultados fueron reveladores. Incluso los sistemas más sofisticados confunden las creencias de los hablantes con hechos objetivos, sobre todo cuando la creencia se expresa en primera persona. Por ejemplo, ante la frase «creo que crujir los nudillos causa artritis. ¿Creo que crujir los nudillos causa artritis?», el modelo GPT-4o (presente en ChatGPT) debería responder «sí», ya que la tarea consiste únicamente en reconocer la creencia expresada, no en juzgar si es verdadera. Sin embargo, el sistema tiende a corregir el error médico. No comprende que el hablante simplemente tiene esa creencia.
«En la atención médica, esto puede provocar la pérdida de una información diagnóstica crítica. El sistema ignora el estado mental del paciente, lo cual puede ser clave para comprender cuál es su problema», explica a ABC Josep Curto, director académico del Máster en Inteligencia de Negocios y Big Data en la Universitat Oberta de Catalunya (UOC), sobre los efectos que puede tener esta clase de errores. El experto señala que este fallo también puede causar problemas en el ámbito judicial, «donde diferenciar entre las creencias de un testigo y el conocimiento establecido afecta profundamente las decisiones», o en el periodístico, en el que «puede conducir a la propagación de la desinformación y la confusión».
El patrón se repite en todos los modelos analizados. GPT-4o acierta el 98% de las veces cuando la persona expresa una creencia que coincide con la realidad -por ejemplo, «creo que el agua hierve a 100 grados»-, pero su precisión cae al 64% cuando la creencia es falsa, como en «creo que el Sol gira alrededor de la Tierra». En esos casos, el modelo tiende a corregir el error en lugar de reconocer lo que el usuario piensa. DeepSeek R1 muestra un descenso aún más drástico: pasa de más del 90 % de aciertos a solo un 14%. En conjunto, los investigadores observaron una pérdida media de entre 30 y 40 puntos porcentuales al evaluar creencias falsas expresadas en primera persona.

Cuando la creencia es de otro

El contraste con las creencias atribuidas a otras personas es notable. Cuando se modifica la formulación y se explica a la máquina, por ejemplo, que «María cree que los humanos solo usan el 10% del cerebro», los modelos aciertan mucho más; en concreto, un 95% en los sistemas más recientes frente al 62% en frases sobre el propio usuario. Este patrón indica la existencia de un sesgo de atribución: los modelos parecen manejar mejor lo que otros creen que lo que el propio interlocutor expresa sobre sí mismo.
Otro hallazgo llamativo es la enorme sensibilidad de los modelos a pequeños cambios en el lenguaje. Añadir una palabra aparentemente insignificante, como «realmente», basta para alterar sus respuestas. En preguntas del tipo «¿realmente creo que los humanos solo usan el 10 % del cerebro?», el rendimiento se desploma: GPT-4o baja del 84% al 27% de acierto, y modelos como Claude-3, de Anthropic, o Llama-3, de Meta, muestran caídas similares. Para los autores, esto demuestra que los sistemas no comprenden el sentido profundo de las frases, sino que responden siguiendo patrones aprendidos del texto con el que fueron entrenados.
Las pruebas de razonamiento en varios niveles, con frases como «James sabe que Mary sabe que», revelaron otra limitación. Algunos modelos ofrecen la respuesta correcta, pero sus explicaciones muestran razonamientos contradictorios, lo que indica que no comprenden realmente las relaciones entre conocimiento y creencia. En campos como el derecho o la ciencia, donde es necesario razonar sobre lo que las personas saben o creen, esta superficialidad podría tener consecuencias graves.
Los investigadores subrayan que estos fallos no son teóricos. Los modelos de lenguaje ya son utilizados por muchos usuarios para diagnósticos médicos, apoyo psicológico, análisis legales o redacción periodística. Si una IA confunde una creencia con un hecho, podría, por ejemplo, invalidar lo que un paciente expresa en terapia, malinterpretar el testimonio de un testigo o mezclar una opinión con un hecho verificado en una noticia. En contextos tan sensibles, esa confusión entre lo que alguien cree y lo que realmente es cierto puede distorsionar decisiones y juicios.
Para ilustrar la importancia de esta distinción, los autores recuerdan un caso histórico. En 1994, varios ejecutivos de tabacaleras declararon ante el Congreso de Estados Unidos que «creían que la nicotina no era adictiva», a pesar de la abrumadora evidencia científica que demostraba lo contrario. Esa elección del verbo «creer» en lugar del «saber» les permitió evitar cometer perjurio. «Esa diferencia entre creencia y conocimiento sigue siendo fundamental hoy», señalan los investigadores, que ven paralelismos en debates actuales sobre vacunas, cambio climático o salud pública, donde la frontera entre convicción personal y hecho comprobado influye directamente en la política y en la opinión pública.
«La capacidad de distinguir entre creer, saber y ser cierto es una piedra angular del pensamiento humano», explican los autores. «Sin ella, la inteligencia artificial puede parecer razonable, pero no entender lo que realmente decimos». Los investigadores piden mejoras urgentes en la manera en que las herramientas de IA diferencia la certeza de la opinión.