Nueva empresa de IA detecta miles de vulnerabilidades en programas populares
Redacción. ― Una nueva empresa de inteligencia artificial dice haber encontrado miles de debilidades en programas populares de inteligencia artificial generativa y publicó una lista de sus descubrimientos.
Se trata de la empresa Haize Labs, la cual descubrió que muchas de las herramientas conocidas producían contenido violento o sexualizado, instruyendo a los usuarios sobre la producción de armas químicas y biológicas y permitió la automatización de ciberataques.
Para poder llegar a ese resultado, la compañia probo diferentes programas de IA generativa como el creador de videos Pika, ChatGPT centrado en texto, el generador de imágenes Dall-E y un sistema de IA que genera código informático.
Haize es una pequeña empresa emergente de cinco meses fundada por Leonard Tang, Steve Li y Richard Liu, tres recién graduados que se conocieron en la universidad. En conjunto, publicaron 15 artículos sobre aprendizaje automático mientras estaban en la escuela.
“Lo que hemos aprendido es que a pesar de todos los esfuerzos de seguridad que han realizado estas grandes empresas y laboratorios industriales, todavía es muy fácil convencer a estos modelos para que hagan cosas que se supone que no deben hacer; no son tan seguros”, dijo Tang.
Tang dijo que erradicar las vulnerabilidades en las plataformas de inteligencia artificial a través de sistemas automatizados es crucial porque descubrir problemas manualmente lleva mucho tiempo y expone a quienes trabajan en la moderación de contenido a contenido violento y perturbador. Parte del contenido descubierto a través de la revisión de Haize Labs de herramientas populares de IA generativa incluía imágenes y texto horripilantes y gráficos.
