Meta lanza 'Purple Llama' para impulsar la seguridad en IA Generativa
En un emocionante paso hacia el futuro de la inteligencia artificial generativa (IA), Meta ha anunciado el lanzamiento de Purple Llama, un proyecto paraguas destinado a reunir herramientas y evaluaciones para construir de manera responsable con modelos abiertos de IA generativa. Con más de 100 millones de descargas de modelos Llama hasta la fecha, esta iniciativa pretende ser un punto de referencia para la seguridad y confianza en el desarrollo de IA generativa.
La colaboración en seguridad se erige como piedra angular de este proyecto, con un llamamiento a la comunidad a participar en investigaciones adicionales y contribuciones en el ámbito de la IA responsable. Purple Llama busca abordar los desafíos actuales al nivelar el campo de juego y crear un centro de confianza y seguridad abierta.
La ciberseguridad y la seguridad en las indicaciones de LLM (modelos de lenguaje de máquinas) se perfilan como áreas cruciales para la seguridad de la IA generativa. Meta ha compartido lo que considera el primer conjunto de evaluaciones de seguridad cibernética a nivel de la industria para modelos LLM, basado en estándares como CWE y MITRE ATT&CK. Estas herramientas incluyen métricas para cuantificar riesgos, evaluación de frecuencia de sugerencias de código inseguro y herramientas para dificultar la generación de código malicioso.
Además, en consonancia con las recomendaciones de la ‘Guía de Uso Responsable de Llama 2’, Meta está lanzando Llama Guard, un modelo disponible públicamente que se desempeña de manera competitiva en benchmarks abiertos y ofrece a los desarrolladores un modelo ‘preentrenado’ para defenderse contra salidas potencialmente riesgosas.
La visión detrás de Purple Llama se basa en la necesidad de adoptar tanto posturas de ataque (equipo rojo) como defensivas (equipo azul) para mitigar verdaderamente los desafíos de la IA generativa. La inversión en este enfoque integral busca abordar los riesgos potenciales de manera colaborativa.
En un esfuerzo por fomentar un ecosistema abierto, Meta ha colaborado con más de 100 socios, incluyendo nombres destacados como AI Alliance, AMD, AWS, Google Cloud, Microsoft y muchos más. La apertura y la transparencia son clave en este proyecto, con Meta compartiendo metodologías y discusiones detalladas sobre el rendimiento del modelo.
Para llevar la colaboración al siguiente nivel, Meta está organizando un taller en NeurIPS 2023, donde compartirá estas herramientas y proporcionará una inmersión técnica. La empresa espera que las pautas de seguridad y las mejores prácticas se conviertan en una conversación continua en el campo, invitando a la comunidad a contribuir y participar en el desarrollo de este emocionante ecosistema de IA generativa responsable.
Fuente: Meta
