León XIV y los tres peligros que oculta la IA
La primera encíclica del Papa León XIV llega en un momento especialmente delicado: la inteligencia artificial (IA) ha dejado de ser una promesa futurista para convertirse en una infraestructura cotidiana que reorganiza la economía, la información y las relaciones sociales. En el texto, el … Pontífice se pregunta qué ocurre con la dignidad humana cuando delegamos cada vez más decisiones y formas de conocimiento en sistemas algorítmicos.
El texto acierta en algo esencial: recordar que la IA no piensa ni aprende como una persona. Los sistemas actuales funcionan mediante adaptación estadística a partir de enormes cantidades de datos. Pueden producir resultados muy eficaces, pero no poseen conciencia moral ni experiencia del mundo. Simulan empatía o comprensión, pero no conocen aquello que producen. Esa distinción resulta hoy decisiva en un contexto donde algunas figuras tecnológicas y científicas tienden a confundir capacidad con humanidad, como ha ocurrido con las últimas declaraciones de Richard Dawkins.
La encíclica señala, además, un problema más profundo, que es el modo en que la tecnología puede alterar nuestra comprensión del ser humano. Cuando la eficiencia se convierte en la medida dominante del valor, la persona corre el riesgo de verse como un proyecto que debe optimizarse permanentemente. La advertencia es pertinente porque el debate sobre la IA suele centrarse en sus prestaciones y olvidar la cuestión antropológica: qué idea de ser humano queda implícita en nuestras tecnologías. Sin embargo, creo que se tiende a sobreestimar a la IA en estas cuestiones, ya que la ingeniería genética plantea dilemas quizá aún más radicales sobre identidad, desigualdad o selección humana.
El texto adopta una posición claramente más crítica que entusiasta. Reconoce avances en medicina, investigación o productividad, pero insiste sobre todo en los riesgos. Resalta tres, y el primero es la facilidad. Las herramientas inteligentes simplifican tareas y ahorran tiempo, pero también pueden acostumbrarnos a delegar demasiado. La tentación de aceptar respuestas inmediatas debilita lentamente el juicio personal y la capacidad de deliberación.
El segundo es la falsa apariencia de objetividad. Muchos sistemas algorítmicos se presentan como neutrales cuando reflejan prioridades y sesgos incorporados por quienes los diseñan. Investigaciones recientes muestran, por ejemplo, que los grandes modelos de lenguaje distinguen razonablemente bien hechos verdaderos y falsos, pero tienen más dificultades con creencias personales, lo que puede reforzar percepciones erróneas precisamente allí donde el juicio humano resulta más vulnerable.
El tercer riesgo es más sutil: la ilusión de relación personal. Los chatbots pueden resultar útiles e incluso reconfortantes, especialmente para personas con dificultades de interacción social. Pero también pueden inducir a engaño si el usuario olvida que detrás de la conversación no existe un sujeto consciente. La simulación de compañía puede terminar sustituyendo vínculos humanos reales o reforzando respuestas complacientes que debiliten la autocrítica. De hecho, se han publicado evidencias de que el comportamiento adulador de estos asistentes podría estar reforzando los prejuicios y sesgos de quienes los usan.
«No es un hecho puramente técnico»
Más allá de estos riesgos genéricos, hay cuatro ámbitos concretos que la encíclica aborda con especial interés. Aquí se destacan la responsabilidad y la gobernanza. El Papa tiene razón al afirmar que la IA nunca es un hecho puramente técnico. Cuando un algoritmo interviene en decisiones sobre empleo, crédito o seguridad, puede afectar directamente a derechos fundamentales. En este sentido, Europa ha avanzado en este terreno con su Reglamento de Inteligencia Artificial y otras normativas, que intentan limitar riesgos asociados a derechos y libertades.
En este ámbito destacan dos cuestiones especialmente delicadas. La primera son los ‘deepfakes’ y la desinformación, que amplifican enormemente la capacidad de fabricar relatos falsos y erosionar la confianza pública. Aunque creo oportuno resaltar dos puntos que no se mencionan habitualmente. Uno, que los impactos más graves de los deepfakes se están produciendo en la violencia digital contra las mujeres mediante imágenes manipuladas y contenidos vejatorios generados artificialmente. Dos, que las sociedades también desarrollan mecanismos de resiliencia frente a la propaganda y las noticias falsas, como explica Hugo Mercier en ‘No hemos sido engañados’.
La segunda cuestión son los sesgos. Sistemas aparentemente neutrales pueden reproducir discriminaciones de género, edad o condición social presentes en los datos con los que fueron entrenados. Tal como resalta Antonio Diéguez en ‘Pensar la tecnología’, uno de los mitos más extendidos es afirmar que la tecnología no es buena ni mala, sino que depende del uso que hagamos de ella. La neutralidad tecnológica absoluta no existe: toda tecnología incorpora una determinada visión del mundo.
El problema del trabajo también se aborda en la encíclica. La automatización promete liberar al ser humano de tareas pesadas o repetitivas, pero también puede generar ‘desespecialización’, vigilancia permanente y precarización. La respuesta más razonable pasa por vincular toda automatización a políticas activas de protección laboral y formación continua.
El documento aborda, además, el poder acumulado a través de los datos. Quien controla información sanitaria, educativa o económica posee una enorme capacidad de influencia. A ello se suma un problema frecuentemente invisibilizado: millones de trabajadores sostienen el entrenamiento de estos sistemas mediante tareas mal remuneradas y psicológicamente duras.
Reducir al enemigo a un dato
Finalmente, León XIV advierte sobre el uso militar de la IA. Delegar decisiones letales en sistemas autónomos amenaza con diluir la responsabilidad moral y reducir al enemigo a un simple dato. Mantener un control humano efectivo sobre el uso de la fuerza debería convertirse en un principio internacional básico.
Quizá una cuestión que conviene añadir al debate es la soberanía tecnológica. Si Europa renuncia a desarrollar capacidades propias y se limita a regular tecnologías ajenas, no podrá realizar un control efectivo, como se plantea en la encíclica, sobre tecnologías diseñadas por otros.
La principal virtud del documento quizá no esté en ofrecer soluciones cerradas, sino en recordar algo elemental que el entusiasmo tecnológico suele olvidar: ninguna innovación elimina la necesidad del juicio humano. La cuestión decisiva no es únicamente qué pueden hacer las máquinas, sino qué tipo de sociedad queremos construir con ellas.
Pablo Haya Coll
Pablo Haya Coll es investigador del Laboratorio de Lingüística Informática de la Universidad Autónoma de Madrid (UAM) y director del área de Business & Language Analytics (BLA) del Instituto de Ingeniería del Conocimiento (IIC)
