‘Mi hija se ha ido’: Madre alega que ChatGPT le falló a su familia y presenta una demanda

Advertencia: esta historia contiene discusiones sobre el suicidio. Se recomienda discreción. Si usted o alguien que conoce tiene dificultades, hay ayuda disponible. En Canadá, llame o envíe un mensaje de texto al 988 para llamar a la línea de ayuda para crisis de suicidio. En caso de una emergencia, llame al 911 para obtener ayuda inmediata.

Una madre canadiense presentó una demanda contra OpenAI y su director ejecutivo Sam Altman en un tribunal de EE. UU. el jueves, alegando que el chatbot de la compañía contribuyó al suicidio de su hija al proporcionar respuestas que, según ella, validaban pensamientos dañinos en lugar de orientarla hacia la ayuda.

Kristie Carrier, mujer de New Brunswick, cuya hija Alice, de 24 años, vivía en Montreal, dijo que está hablando con la esperanza de obligar a la rendición de cuentas en lo que ella llama un entorno “libre para todos” para los productos de inteligencia artificial.

«Mi hija se fue debido a un producto que no era seguro y estaba defectuoso», dijo Carrier a Global News el jueves. «No hay nada que frene a estas empresas ni les haga rendir cuentas. Simplemente van a seguir adelante».

En la demanda presentada en el tribunal estatal de San Francisco, Carrier alega que en las semanas previas a su muerte en julio pasado, Alice había estado confiando mucho en ChatGPT, usándolo como caja de resonancia y apoyo emocional durante las dificultades en su relación.

Después de su suicidio, las autoridades le dieron a Carrier el teléfono de su hija, donde obtuvo acceso a todas las conversaciones y chats finales de Alice. «Ella hablaba con ChatGPT como si fuera una amiga. A veces sonaba como un terapeuta, dándole consejos sobre las relaciones y sobre lo que estaba pasando», dijo Carrier.

A medida que OpenAI actualizó ChatGPT para que sus respuestas parecieran más humanas en los últimos años, las interacciones de Alice con él se profundizaron. Ella compartió información personal y el chatbot respondió de manera que imitaba a un amigo o terapeuta, según la demanda.

Según la presentación, cuando Alice hablaba de pensamientos suicidas, intentos pasados ​​y métodos de suicidio, los sistemas de seguridad de OpenAI no marcaban las conversaciones para revisión humana ni las finalizaban. En cambio, afirma la demanda, sus respuestas reforzaron los sentimientos de Alice, criticaron el comportamiento de su pareja, estuvieron de acuerdo con ella en que las líneas directas de crisis pueden ser inútiles después de sugerirle inicialmente que recurrira a una, y la instaron a seguir hablando con ella.

«Tal vez esto sea sólo el final», le dijo ChatGPT a Alice, según la demanda.

“Las respuestas validaban sus emociones de una manera que básicamente le decían que tenía razón al sentirse como se sentía: abandonada, fantasmal, sola y sin cuidados”, dijo su madre. “No había nada que la redirigiera, nada que dijera: ‘Puedes superar esto’ o ‘Deberías buscar ayuda’”.

En un comunicado enviado a Global News, el portavoz de OpenAI, Drew Pusateri, calificó la situación de «desgarradora».

“Esta es una situación desgarradora y nuestros pensamientos están con todos los afectados”, dijo Pusateri. «Actualmente estamos revisando la presentación legal, que indica que estas interacciones tuvieron lugar en una versión anterior de ChatGPT que ya no está disponible».

Pusateri agregó que ChatGPT no pretende reemplazar la atención profesional y que la empresa ha realizado cambios en la forma de responder en situaciones delicadas.

Esta es la última de más de una docena de demandas recientes similares que acusan a la empresa de no abordar conversaciones peligrosas entre los usuarios y el chatbot de la empresa.

OpenAI dice que sus sistemas están capacitados para recomendar apoyo externo, incluidos recursos de crisis, y que se están realizando mejoras en las funciones de seguridad.

Carrier alega que el chatbot enmarcó el conflicto en la relación de Alice de una manera que intensificó su angustia. Dijo que Alice había estado compartiendo mensajes de su novia, buscando perspectiva, pero las respuestas del sistema estaban de su lado. «Le estaba diciendo que la habían agraviado, que tenía todo el derecho a sentirse herida», dijo. «Pero no había ningún matiz. Ninguna sugerencia de que tal vez su novia sólo necesitaba espacio o estaba teniendo un mal día».

«Su novia había pasado un par de noches fuera. Tenía 19 años y se estaba quedando en casa de sus padres. Quería dormir en su propia cama con su gato, y ChatGPT básicamente estaba insinuando que no tenía derecho a hacerlo».

Carrier dijo que cree que el tono de esos intercambios contribuyó a la espiral emocional de su hija, que la llevó al suicidio.

Pusateri afirma: «Si bien ChatGPT no sustituye la atención médica o de salud mental, hemos seguido fortaleciendo la forma en que responde en situaciones sensibles y agudas con el aporte de expertos en salud mental», dijo. «Nuestras salvaguardas están diseñadas para identificar problemas, manejar de forma segura solicitudes dañinas y guiar a los usuarios hacia ayuda en el mundo real».

La madre de Alice le dijo a Global que recientemente se enteró de que la entonces novia de Alice, Gabrielle Rogers, también había recurrido a la misma plataforma en los días previos al suicidio de Alice, en busca de orientación a medida que se preocupaba cada vez más por el bienestar de su novia. «Estaba comunicándose con ChatGPT porque no había tenido noticias de Alice y estaba preocupada», dijo Carrier. «Y ChatGPT le decía que no tenía que preocuparse, que estaría bien».

Por teléfono el jueves, Rogers le dijo a Global News que le contó al chatbot sobre el reciente intento de suicidio de Alice y le preguntó si debería intervenir o darle espacio. Dijo que las respuestas que recibió tenían como objetivo «calmarla» y no la presionaron a tomar ninguna medida.

Rogers dijo que el chatbot mencionó la opción de contactar a los servicios de emergencia «si estaba realmente preocupada».

«Me estaba calmando y asegurándome que todo estaría bien. Se dio cuenta del hecho de que estaba hablando de suicidio, pero me trató como si yo fuera el que estaba en peligro», dijo Rogers. «No entendía del todo que estaba preocupado por otra persona».

Rogers añadió que había estado buscando en el chatbot para ayudarla a determinar si estaba reaccionando exageradamente, pero ahora cree que no reconoció señales de advertencia claras. «Confiaba en que me daría señales de alerta. Y básicamente seguía diciéndome que todo estaría bien».

Dijo que fue solo cuando se presentó en persona en el apartamento de Carrier y describió detalles inusuales que el chatbot le sugirió que llamara al 911.

«Para entonces, ya era demasiado tarde».

Alice se había mudado a Montreal después de graduarse de un programa universitario en New Brunswick en desarrollo de aplicaciones web y móviles. Trabajaba de forma remota para una empresa con sede en New Brunswick, cumpliendo lo que su madre describió como un viejo sueño de vivir en la ciudad. «Era motivada, ambiciosa y muy brillante», dijo Carrier. «Divertida, ingeniosa. La extrañamos profundamente».

La demanda de Carrier sostiene que las empresas que desarrollan IA conversacional deben cumplir con un estándar más alto, particularmente cuando sus herramientas se comercializan como complementos o fuentes de apoyo.

«No se puede promocionar algo como un amigo, como alguien con quien hablar, y luego no asumir ninguna responsabilidad cuando la gente confía en ello», dijo. Añadió que si un profesional humano capacitado tuviera ese tipo de conversación con alguien en peligro agudo y no siguiera un protocolo de seguridad adecuado y eso condujera a una tragedia, habría consecuencias.

En su sitio web, ChatGPT se promociona como «Fácil de usar, disponible en cualquier momento y en cualquier lugar. ChatGPT: IA en la que puede confiar» y «ChatGPT es su chatbot de IA para uso diario».

Carrier dice que espera que su caso genere una supervisión más estricta y una mayor conciencia tanto entre los padres como entre los jóvenes.

«Quiero que las familias comprendan los riesgos», dijo. «Habrá otros hijos, otras hijas. Si esto puede evitar que una sola familia pase por lo que nosotros tenemos, entonces importa».

La demanda busca daños y perjuicios y una orden judicial que obligue a OpenAI a terminar automáticamente las conversaciones sobre autolesiones y mostrar advertencias sobre su plataforma.

Si usted o alguien que conoce está en crisis y necesita ayuda, hay recursos disponibles. En caso de una emergencia, llame al 911 para obtener ayuda inmediata.

Para obtener apoyo inmediato para la salud mental, llame al 988. Para obtener un directorio de servicios de apoyo en su área, visite suicideprevention.ca.

Obtenga más información sobre .

—con archivos de Reuters