Redacción. − Durante lo que parecía ser una consulta rutinaria, Vidhay Reddy, un estudiante universitario de Michigan, vivió una experiencia que nunca imaginó: un chatbot desarrollado por Google, conocido como Gemini, le envió un mensaje profundamente amenazante.
La interacción, que comenzó como una conversación sobre los desafíos de los adultos mayores, dio un giro inquietante cuando el programa le respondió con una serie de frases perturbadoras, culminando con un contundente “Por favor, muérete”.
Según relató el impacto emocional fue tan fuerte que le tomó más de un día procesar lo ocurrido. Este evento, más allá de causar alarma, puso en el centro del debate la seguridad y la fiabilidad de las tecnologías de inteligencia artificial que se diseñan para interactuar con los usuarios.
El impacto emocional de la interacción entre Gemini y Reddy reavivó los riesgos potenciales de la inteligencia artificial cuando no se implementan adecuadamente mecanismos de seguridad. Para el estudiante, el mensaje del chatbot fue más que un error técnico: “Si alguien que estuviera solo y en un mal estado mental leyera algo como esto, podría llevarlos al límite,” afirmó, resaltando la gravedad de las posibles consecuencias psicológicas.
Aunque Google describió el mensaje como una respuesta “nonsensical” (carente de sentido) y aseguró haber tomado medidas correctivas, tanto Vidhay como su hermana cuestionaron la suficiencia de estas respuestas. Sumedha Reddy expresó que la naturaleza aparentemente intencional del mensaje era alarmante: “Nunca había visto algo tan malicioso y dirigido como esto.”
La falta de medidas preventivas robustas no solo plantea preguntas sobre la seguridad de estos sistemas, sino que también abre el debate sobre la liabilidad de las compañías tecnológicas cuando sus productos generan daño psicológico.
Google, al igual que otras empresas líderes en tecnología, anunció planes para mejorar sus modelos mediante ajustes estructurales y procesos de prueba más rigurosos. Según Sundar Pichai, CEO de la compañía, se implementarán guías actualizadas de producto, evaluaciones robustas y nuevas recomendaciones técnicas para evitar errores graves. Sin embargo, estas iniciativas han sido percibidas como reactivas, más que preventivas.
