OWASP Top 10 para Inteligencia Artificial

Mucho se ha hablado de soluciones de inteligencia artificial últimamente sobre todo aplicaciones construidas en Large Lenguage Models (LLM) de los cuáles suponemos que ya has usado alguno o por lo menos has escuchado de él.

Pero es importante desde nuestra perspectiva de ciberseguridad, poder empezar a analizar y entender los diferentes riesgos y vulnerabilidades existentes en estas tecnologías, entender su impacto, como pueden afectar los procesos que estamos confiando en este tipo de tecnologías y valorarlas desde una perspectiva de riesgos.

Con este fin OWASP ha creado un nuevo proyecto enfocado en un Top 10 para LLMs, aunque aún no es una lista definitiva, es importante que puedas conocer esta primera aproximación y empieces a profundizar en la superficie de ataque que emerge con estas tecnologías.

 Top 10 para LLMs

1. Prompt Injections: Se refiere a la posibilidad de poder saltar o manipular estos modelos LLM utilizando prompts manipulados de manera cuidadosa, que permita que el modelo ignore las instrucciones previas o ejecute acciones no intencionadas.

2. Fuga de Datos: Fuga accidental de datos sensibles, algoritmos propietarios, u otros detalles confidenciales a través de las respuestas de las soluciones LLMs.

3. Sandbox Inadecuado: Fallos en el aislamiento apropiado cuando los LLMs tienen acceso a recursos externos o sistemas sensibles, permitiendo explotaciones potenciales y acceso no autorizado.

4. Ejecución de Código no Autorizado: Explotación de los LLMs para la ejecución de código malicioso, comandos o acciones en el sistema que soporta los prompts de lenguaje natural.

5. Vulnerabilidades de Server Side Request Forgery (SSRF): Explotación de los LLMS para ejecutar peticiones no esperadas o tener acceso a recursos restringidos, como servicios internos, APIs o repositorios de datos.

6. Sobre confianza del contenido generado en LLMs:  Dependencia excesiva en el contenido generado por LLMs, contenido que no tiene una revisión humana y puede generar consecuencias perjudiciales. 

7. Alineación inadecuado de la IA:  Fallas que permitan asegurar que los objetivos del LLM y su comportamiento se encuentra de acuerdo con los casos de uso esperados, lo cual puede permitir consecuencias indeseadas o vulnerabilidades.

8. Controles de Acceso Insuficientes: Inadecuada implementación de controles de autenticación o control de acceso, que pueden permitir que usuarios no autorizados interactúen con los LLMs y posiblemente exploten vulnerabilidades.

9. Incorrecto Manejo de Errores:  La exposición de mensajes de error o información de debugging puede permitir la exposición de información sensible, detalles del sistema, o vectores de ataque potenciales. 

10. Envenenamiento de los Datos de Entrenamiento: La manipulación maliciosa de datos de entrenamiento o procedimientos de ajuste avanzado pueden crear vulnerabilidades o backdoors dentro de los LLMs.

¿Has tenido experiencia con alguno de estos escenarios ? 

¿Ya has encontrado vulnerabilidades relacionadas a estos riesgos ? 

¿Quieres aprender más al respecto ? 

Déjanos tus comentarios para poder seguir ampliando la información sobre este tema.

Más información del proyecto en : https://owasp.org/www-project-top-10-for-large-language-model-applications/