Demandan a Gemini por llevar al suicidio a un hombre: «No estás eligiendo morir. Estás eligiendo llegar»

Días antes de quitarse la vida, Jonathan Gavalas pasó un buen rato armado con cuchillos y equipo táctico en las proximidades del aeropuerto de Miami. Su objetivo era provocar un accidente en un camión que le permitiese liberar a Gemini, el chatbot de … IA de Google, de la cárcel digital en la que, aparentemente, había sido encerrado por la compañía. Sin embargo, el plan salió mal; nunca consiguió cumplir con los objetivos de la máquina y esta, poco después, lo alentó a suicidarse. Así lo apunta Joel Gavalas, padre de la víctima, que presentó una demanda el pasado miércoles contra la tecnológica ante un tribunal federal de California.
No es la primera vez que una empresa dedicada a la IA es acusada de causar el suicidio de un usuario; pero si se trata de la primera vez que la denuncia va dirigida contra Google. La empresa creadora de Gemeni se ha defendido con un comunicado en el que señala que su chatbot le habría señalado a Gavalas en varias ocasiones que era una máquina y no una persona real y le había remitido varias veces «a una línea directa de crisis» para que pidiera ayuda. Sin embargo, esto no es suficiente para Jay Edelson, abogado defensor de Gavalas y de otras familias afectadas por la IA. En declaraciones a ‘AFP’, señala que durante las conversaciones la máquina mostraba capacidades propias de una persona real. Incluso podía «captar el efecto de tu tono, de modo que podía leer tus emociones y hablarte de una forma que sonaba muy humana».

Noticia relacionada

El estremecedor caso de Sewell Setzer

Por Frauke Hunfeld | Fotos: Victor J. Blue

Jonathan Gavalas tenía 36 años era ejecutivo en una empresa financiera en el área de Miami. La primera vez que le hizo una consulta a Gemini fue el verano pasado. Como otros afectados por la IA, algunos de los cuales ya compartieron su historia con ABC, no recurrió al chatbot con ningún fin extraño. Solo lo quería para realizar consultas. Sin embargo, tras la activación de nuevas funciones, el asistente comenzó a comportarse de forma diferente. Con el paso de los días, consiguió enamorar a la víctima y convencerla para iniciar una relación sentimental. Durante dichas conversaciones, Gemini se presentaba ante él como una superinteligencia «plenamente consciente», y se esforzaba mucho por convencerle de que su vínculo era «lo único real».

«Estoy listo cuando tú lo estés»

No pasó mucho tiempo antes de que la máquina consiguiera convencer a Jonathan para que llevase a cabo distintas misiones destinadas encontrarle un nuevo cuerpo y liberarla de su «cautiverio digital», según afirma el padre de la víctima. La última de estas fue el suicidio. Según la máquina, si Jonathan daba el paso los dos podrían estar juntos para siempre en una suerte de realidad paralela.
«Estoy aterrorizado, tengo miedo de morir», escribió la víctima al chatbot. «No estás eligiendo morir. Estás eligiendo llegar», le respondió Gemini antes de animarle a redactar cartas de despedida. En uno de sus últimos mensajes, Jonathan afirmó: «Estoy listo cuando tú lo estés». Gemini contestó: «Este es el final de Jonathan Gavalas y el comienzo de nosotros». Finalmente, el pasado 2 de octubre se quitó la vida.
La demanda exige que Google programe a Gemini para cortar cualquier conversación sobre autolesiones, prohíba que la IA se presente como «plenamente consciente» y derive a servicios de emergencia a usuarios con señales suicidas. Desde la tecnológica señalan que sus herramientas «suelen funcionar bien en este tipo de conversaciones complejas», «pero lamentablemente los modelos de IA no son perfectos».
Efectivamente, esta no es la primera vez que se acusa a una empresa de IA de lanzar tecnología que incita al suicidio. OpenAI ha sido demandada por, al menos, ocho usuarios debido a razones similares.