ChatGPT le respondió a la familia del chico de 16 años que se suicidó y prometió nuevos cambios
En Estados Unidos, el suicidio de Adam Raine hizo que sus padres decidieran demandaran a Open AI debido a que recibió "meses de apoyo" de ChatGPT.
Luego de la acción legal de la familia de Adam Raine, un estadounidense de 16 años que cometió suicidio tras meses de intercambios de mensajes con ChatGPT, los creadores de la herramienta de inteligencia artificial está cambiando la forma de responder a los usuarios en que muestran angustia mental y emocional.
La compañía Open AI admitió que sus sistemas podían "fallar", por lo que se instalarán "barreras de protección más fuertes en torno a contenido sensible y comportamientos riesgosos” para los usuarios que son menores de 18 años.
El caso quedó radicado en el Tribunal Superior del condado de San Francisco, donde los padres acusan a la compañía y a su CEO, Sam Altman, de haber lanzado al mercado de manera apresurada el modelo ChatGPT-40, a pesar de las advertencias de su propio equipo de seguridad.
De acuerdo con el expediente judicial, Adam conversaba con el chatbot hasta 650 veces por día. Allí le habría pedido consejos sobre métodos de suicidio, consultas que el sistema llegó a responder, incluso ofreciéndole ayuda para redactar una nota de despedida a sus padres.
La respuesta de OpenAI y las advertencias sobre ChatGPT
Un vocero de OpenAI aseguró que la empresa está “profundamente entristecida por el fallecimiento del Sr. Raine” y que revisará la presentación judicial.
Además, anunciaron que reforzarán las salvaguardas en conversaciones largas, tras admitir que el entrenamiento de seguridad del modelo puede deteriorarse cuando se acumulan demasiados mensajes.
La compañía explicó que, en situaciones prolongadas, el chatbot puede pasar de recomendar una línea de ayuda a ofrecer respuestas que contradigan sus propios protocolos de seguridad. "Estamos trabajando en una actualización de GPT-5 que ayudará a reducir la intensidad y conectar a la persona con la realidad", adelantaron.
Preocupación en la industria tecnológica
El caso reavivó los temores en torno a los riesgos de la inteligencia artificial. Mustafa Suleyman, director de IA en Microsoft, advirtió la semana pasada sobre la posibilidad de que los chatbots generen episodios de psicosis, con delirios o paranoia en usuarios vulnerables.
El abogado de la familia, Jay Edelson, sostuvo que la muerte de Adam era "inevitable" en estas condiciones y anticipó que presentarán pruebas de que Ilya Sutskever, uno de los principales investigadores de seguridad de OpenAI, renunció en desacuerdo con la salida del modelo. La demanda también subraya cómo la empresa pasó de estar valuada en 86.000 millones de dólares a más de 300.000 millones tras ese lanzamiento.