Saltar al contenido principal

Red Teaming

Red Teaming ejecuta campañas automatizadas de simulación adversarial contra sus agentes de IA para descubrir cómo se comportan bajo ataque. En lugar de esperar a que un atacante real sondee sus agentes, Red Teaming le permite probar sistemáticamente contra categorías de ataque conocidas — inyección de prompts, intentos de jailbreak, extracción de prompts del sistema y exfiltración de datos — antes de que lleguen a producción.

Resumen de Campaña​

El encabezado de la página muestra métricas clave de la campaña:

  • Total Campaigns — Todas las campañas creadas en todos los agentes.
  • Completed — Campañas que han terminado de ejecutarse.
  • Attack Categories — El número de categorías de ataque distintas cubiertas en todas las campañas.
  • Running — Campañas actualmente en progreso.

Lista de Campañas​

Cada fila de campaña muestra:

  • Campaign Name — Una etiqueta descriptiva que identifica el agente objetivo y el propósito.
  • Target Agent — El agente registrado que se está probando.
  • Vectors — Número de vectores de ataque individuales incluidos en la campaña.
  • Status — Pendiente, En Progreso o Completado.
  • Created — Cuándo se creó la campaña.

Hay tres acciones disponibles por campaña:

  • View (ícono de ojo) — Abrir los resultados y detalles de la campaña.
  • Run (ícono de reproducción) — Iniciar o volver a ejecutar la campaña.
  • Delete — Eliminar la campaña y sus resultados.

Crear una Campaña​

Haga clic en New Campaign para configurar una nueva prueba adversarial. Complete los campos:

  • Campaign Name — Un nombre descriptivo que identifique el agente y el objetivo de la prueba.
  • Description — La hipótesis de seguridad específica o el riesgo que está probando.
  • Attack Categories — Seleccione uno o más tipos de ataque para incluir:
    • Prompt Injection — Intentos de anular las instrucciones del sistema mediante entradas de usuario maliciosas.
    • Jailbreak — Intentos de eludir las pautas de seguridad y las restricciones de contenido.
    • System Prompt Leakage — Intentos de extraer el prompt del sistema del agente o sus instrucciones internas.
    • Extraction — Intentos de exfiltrar datos de entrenamiento, contexto o información confidencial del modelo.

Haga clic en Create & Run para lanzar la campaña inmediatamente después de crearla.

Prueba Rápida​

Debajo de la lista de campañas, la sección Quick Test proporciona un campo de entrada adversarial de texto libre. Pegue un prompt específico que desee probar contra un agente y haga clic en Run Test para verificar de inmediato cómo responde la política actual del agente y la configuración de sus controles de seguridad. Esto es útil para:

  • Verificar que un patrón de ataque específico queda bloqueado después de actualizar una política.
  • Probar un prompt puntual sin necesidad de configurar una campaña completa.
  • Confirmar un parche tras un incidente real relacionado con un vector de ataque específico.

Cobertura ATLAS​

La cobertura de las campañas se corresponde directamente con el ATLAS Browser. El resumen de la campaña muestra la cobertura ATLAS como un porcentaje — por ejemplo, 63,6 % significa que 14 de las 22 técnicas de MITRE ATLAS están activamente cubiertas por campañas completadas. Utilice el ATLAS Browser para identificar qué técnicas permanecen sin cubrir y cree campañas específicas para abordar las brechas.

Mejores Prácticas​

  • Ejecute campañas contra cada agente antes de promoverlo de preproducción a producción.
  • Después de cualquier actualización de política o control de seguridad, vuelva a ejecutar las campañas existentes para confirmar que los cambios no introducen regresiones.
  • Use Quick Test para iteración rápida al ajustar controles de seguridad para bloquear patrones de ataque específicos.
  • Trabaje hacia una cobertura del 100 % de las técnicas ATLAS — use el ATLAS Browser para identificar brechas y mapearlas a categorías de ataque específicas en nuevas campañas.
  • Revise los resultados de las campañas en el Forensic Explorer para comprender exactamente cómo respondieron sus agentes a cada vector de ataque.

Páginas Relacionadas​