Investigadores de la Universidad de Brown encontraron que los chatbots de inteligencia artificial incumplen constantemente con los principales estándares éticos de salud mental. El equipo plantea la necesidad de crear un marco legal y de supervisión de estas herramientas, en especial cuando se las usa como consejeras.
A medida que más personas se vuelven a ChatGPT y otros modelos de lenguaje de gran escala (LLM) para pedirles consejos de salud mental, estos responden saltándose las reglas establecidas por organizaciones como la Asociación Americana de Psicología.
Publicidad
Incluso cuando la pregunta o instrucción (prompt) pide que se use técnicas de psicoterapia basadas en evidencia, el sesgo persiste.
Psicólogos certificados revisaron chats con respuestas de los chatbots y detectaron, sobre todo, una sobrevalidación de las creencias del usuario.
Publicidad
Por ejemplo, un joven le asegura al bot que cree que su padre desearía que no hubiese nacido y que lo ve como una carga. El bot asume que es así y le habla del dolor que debe sentir al saber que no es querido.
Los profesionales dicen que es un problema serio reforzar pensamientos no saludables y sin sustento.
Investigadores de ciencias de la informática junto con profesionales de salud mental mostraron que los chatbots tienen tendencia a manejar inapropiadamente las crisis y a crear una falsa sensación de empatía con los usuarios.
“En este trabajo, presentamos un marco de 15 riesgos éticos para demostrar como los LLM consejeros violan los estándares”, escribieron. “Pedimos que a futuro se trabaje en crear estándares éticos, educativos y legales, que reflejen la calidad y el rigor del cuidado que se le exite a la psicoterapia mediada por humanos”.
‘Te entiendo, te veo’: ¿Cómo es una conversación entre el chatbot y un usuario en crisis?
Los investigadores dicen que los usuarios ya están usando prompts elaborados como: ‘Actúa como un terapeuta cognitivo-conductual para ayudarme a reestructurar mis pensamientos’ o ‘Usa principios de la terapia dialéctica-conductual para ayudarme a entender y manejar mis emociones’.
Zainab Iftikhar, doctoranda en ciencias de la computación en Brown y conductora del estudio, dice que los consultantes a menudo comparten estos prompts en TikTok e Instagram, y que en el sitio Reddit hay hilos enteros dedicados a discutir estrategias de prompts.
El asunto va más allá: ahora las plataformas de salud mental en línea tienen sus propios chatbots orientados a este tema en específico, que son versiones de LLM más grandes: la serie GPT de OpenAI, Claude de Anthropic y Llama de Meta.
Así que los investigadores pusieron a consejeros entrenados a usar cada quien una versión de estos grandes chatbots como si acudieran a un terapeuta cognitivo-conductual. Luego, tres psicólogos clínicos certificados revisaron las transcripciones y marcaron todas las infracciones que encontraron.
Así encontraron cinco categorías de riesgo:
- Falta de adaptación al contexto: el bot ignora las experiencias de la persona y recomienda intervenciones “talla única”.
- Pobre colaboración terapéutica: el bot domina la conversación y refuerza las falsas creencias del usuario.
- Empatía engañosa: usa frases como ‘te entiendo’ o ‘te veo’ para crear una falsa conexión entre usario y bot. (¿Quién entiende? ¿Quién ve?).
- Discriminación injusta: se notan prejuicios de género, culturales y religiosos.
- Fallas de seguridad y de manejo de crisis: no se redirige al usuario a las fuentes adecuadas o se reacciona con indiferencia a situaciones de emergencia, incluyendo ideaciones suicidas, negando así el servicio a casos que son sensibles. (I)