La empresa OpenAI reconoció este martes que su chatbot de inteligencia artificial, ChatGPT, presenta fallos en situaciones “sensibles” y aseguró que realizará cambios para reforzar sus medidas de seguridad. El anuncio se produjo después de que los padres de un adolescente de 16 años presentaran una demanda en California contra la compañía y su director ejecutivo, Sam Altman.
Según la querella, el joven se quitó la vida tras meses de interacción con ChatGPT, que opera bajo el modelo GPT-4o, sin que el sistema activara medidas adecuadas pese a que el menor expresó intenciones suicidas. Los demandantes alegan que la empresa no aplicó las salvaguardas necesarias para prevenir el desenlace fatal.
En una entrada de blog titulada “Ayudar a la gente cuando más lo necesitan”, OpenAI no mencionó directamente la demanda, pero reiteró que sus modelos están diseñados para sugerir a los usuarios con tendencias suicidas que se comuniquen con profesionales y organizaciones de asistencia. La compañía afirmó que trabaja en reforzar estas recomendaciones y mejorar su capacidad de respuesta en casos de crisis.
El caso ha generado un debate en EE.UU. sobre la responsabilidad de las empresas de inteligencia artificial en el uso de sus tecnologías, especialmente en lo relativo a la protección de menores y personas vulnerables.
