El proyecto Purple Llama tiene como objetivo ayudar a los desarrolladores a construir modelos de IA generativa de manera responsable.
Meta ha presentado Purple Llama, un proyecto dedicado a crear herramientas de código abierto para que los desarrolladores evalúen y aumenten la fiabilidad y la seguridad de los modelos de IA generativa antes de que se utilicen públicamente.
Meta hizo hincapié en la necesidad de realizar esfuerzos de colaboración para garantizar la seguridad de la IA, afirmando que los desafíos de la IA no pueden abordarse de forma aislada. La compañía dijo que el objetivo de Purple Llama es establecer una base compartida para desarrollar una inteligencia artificial genAI más segura a medida que aumentan las preocupaciones sobre los grandes modelos de lenguaje y otras tecnologías de IA.
"Las personas que construyen sistemas de IA no pueden abordar los desafíos de la IA en el vacío, por lo que queremos nivelar el campo de juego y crear un centro de masas para la confianza y la seguridad abiertas", escribió Meta en una publicación de blog.
Gareth Lindahl-Wise, director de seguridad de la información de la empresa de ciberseguridad Ontinue, calificó a Purple Llama como un paso "positivo y proactivo" hacia una IA más segura.
"Sin duda, habrá algunas afirmaciones de señalización de virtud o motivos ocultos para reunir el desarrollo en una plataforma, pero en realidad, una mejor protección 'lista para usar' a nivel del consumidor va a ser beneficiosa", agregó. "Las entidades con estrictas obligaciones internas, de clientes o regulatorias, por supuesto, aún deberán seguir evaluaciones sólidas, sin duda más allá de la oferta de Meta, pero cualquier cosa que pueda ayudar a reinar en el potencial Salvaje Oeste es buena para el ecosistema".
El proyecto implica asociaciones con desarrolladores de IA; servicios en la nube como AWS y Google Cloud; empresas de semiconductores como Intel, AMD y Nvidia; y empresas de software como Microsoft. La colaboración tiene como objetivo producir herramientas tanto para investigación como para uso comercial para probar las capacidades de los modelos de IA e identificar riesgos de seguridad.
El primer conjunto de herramientas lanzado a través de Purple Llama incluye CyberSecEval, que evalúa los riesgos de ciberseguridad en el software generado por IA. Cuenta con un modelo de lenguaje que identifica textos inapropiados o dañinos, incluidas discusiones sobre violencia o actividades ilegales. Los desarrolladores pueden usar CyberSecEval para probar si sus modelos de IA son propensos a crear código inseguro o ayudar a los ciberataques. La investigación de Meta ha descubierto que los grandes modelos de lenguaje a menudo sugieren código vulnerable, lo que destaca la importancia de las pruebas y mejoras continuas para la seguridad de la IA.
Llama Guard es otra herramienta de esta suite, un gran modelo de lenguaje entrenado para identificar lenguaje potencialmente dañino u ofensivo. Los desarrolladores pueden usar Llama Guard para probar si sus modelos producen o aceptan contenido no seguro, lo que ayuda a filtrar los mensajes que podrían conducir a resultados inapropiados.
Fuente:
https://www.infoworld.com/article/3711284/meta-releases-open-source-tools-for-ai-safety.html
