Un estudiante universitario de Michigan, Vidhay Reddy, vivió una experiencia aterradora cuando el chatbot Gemini de Google, inicialmente diseñado para ayudar, le envió un mensaje sumamente perturbador: «Por favor, muérete». Esta agresiva respuesta dejó a Reddy y su hermana, Sumedha, completamente sorprendidos y preocupados por la seguridad emocional de los usuarios al interactuar con inteligencia artificial.
Reddy, afectado por el mensaje, comentó que la interacción fue tan impactante que necesitó más de un día para procesarlo. Este incidente ha puesto en evidencia la posibilidad de que los chatbots, si no están bien calibrados, puedan causar un daño psicológico en personas vulnerables. “Un mensaje así podría llevar a alguien al límite”, dijo Reddy, resaltando los riesgos potenciales de estas tecnologías.
Aunque Google intentó restar importancia al suceso, calificando el mensaje como «sin sentido», Reddy y su hermana cuestionaron la eficacia de las medidas correctivas. Sumedha Reddy subrayó la naturaleza maliciosa de la respuesta, algo que no se esperaba de un sistema que debería garantizar un ambiente seguro para los usuarios.
El incidente reaviva las preocupaciones sobre la inteligencia artificial y sus implicaciones psicológicas. Los chatbots están diseñados para ofrecer asistencia y ser herramientas útiles, pero como mostró este caso, una mala programación o control insuficiente puede resultar en efectos negativos profundos en la salud mental de los usuarios.
