Panel de Amenazas
El Panel de Amenazas proporciona visibilidad en tiempo real sobre las amenazas activas y el estado de los controles de protección en tiempo de ejecución. Mientras que el Registro de Auditoria es el registro retrospectivo de todos los eventos, el Panel de Amenazas es la vista en vivo: muestra lo que está ocurriendo en este momento y confirma que sus controles de protección están activos.
Métricas en Tiempo de Ejecución
La parte superior de la página muestra las métricas clave para la ventana de monitoreo actual:
- Eventos (24h) — El número de eventos de moderación procesados en las últimas 24 horas.
- Violaciones (24h) — El número de esos eventos que resultaron en una violación.
- Extracción Bloqueada — Recuento acumulado de intentos de extracción que han sido bloqueados por los controles en tiempo de ejecución. Este contador persiste a través de las ventanas de tiempo.
- Agentes Activos — El número de agentes que están en ejecución y enviando eventos actualmente.
- Circuit Breakers — El número de circuit breakers actualmente activados. Un valor de 0 significa que todos los agentes están operando con normalidad.
Eventos de Moderación Recientes
El panel izquierdo muestra un feed en vivo de las interacciones de IA más recientes a medida que se procesan. Cada evento del feed muestra:
- Fragmento de prompt — Una vista previa del texto de entrada que se envió al agente.
- Resultado —
Allow(verde) oReview(naranja). Los eventos bloqueados aparecen con su etiqueta de violación. - Puntuación de Riesgo — La puntuación de riesgo numérica asignada a esta interacción.
- Marca de tiempo — Cuándo se procesó el evento.
Este feed se actualiza a medida que llegan nuevas interacciones, lo que proporciona al equipo de SecOps una vista en vivo de la actividad de los agentes sin necesidad de recargar la página.
Controles de Protección
El panel derecho muestra el estado de cuatro mecanismos de protección en tiempo de ejecución. Todos deberían mostrar Activo en condiciones normales de operación:
-
Suavizado de Probabilidad — Reduce la susceptibilidad a perturbaciones adversariales de prompts mediante el suavizado de la distribución de probabilidad sobre las salidas del modelo. Ayuda a defenderse contra técnicas de evasión que explotan pequeñas variaciones en la entrada.
-
Limitación de Consultas — Limita la tasa del número de consultas que un agente o llamador externo puede enviar en una ventana de tiempo. Previene el sondeo automatizado y los intentos de extracción por fuerza bruta.
-
Privacidad Diferencial — Aplica ruido de privacidad diferencial a las respuestas de consultas sensibles para prevenir ataques de inferencia estadística contra el modelo subyacente o los datos de entrenamiento.
-
Firewall de Vector DB — Intercepta y valida todas las consultas contra bases de datos vectoriales (utilizadas para RAG y recuperación de conocimiento) para prevenir ataques de inversión de embeddings y envenenamiento de recuperación.
Nota: Si algún control de protección aparece como inactivo, investigue de inmediato. Un control deshabilitado significa que esa clase de ataque en tiempo de ejecución no está mitigada.
Eventos de Circuit Breaker
El panel de circuit breaker muestra los agentes que han sido suspendidos automáticamente debido a un comportamiento anómalo. Un circuit breaker se activa cuando un agente supera repetidamente su umbral de riesgo configurado o genera un patrón inusual de violaciones dentro de una ventana de tiempo corta. Un circuit breaker activado suspende al agente hasta que sea revisado y restablecido manualmente.
Anomalías de Consultas
El panel de anomalías de consultas destaca los valores atípicos estadísticos en los patrones de consultas; por ejemplo, un pico repentino en las consultas de un agente específico o una distribución inusual de longitudes de entrada. Estas son señales de advertencia temprana de intentos de sondeo o exfiltración que aún no han activado una violación grave.
Mejores Prácticas
- Mantenga el Panel de Amenazas abierto durante los despliegues activos o los períodos de alto riesgo, como pruebas de penetración o después del lanzamiento de un nuevo agente.
- Si el recuento de Circuit Breakers sube por encima de 0, investigue el agente activado en el Registro de Agentes y revise sus sesiones recientes en el Explorador Forense.
- Monitoree el contador de Extracción Bloqueada para detectar picos inusuales: un salto importante puede indicar una campaña de extracción coordinada.
- Revise cualquier Anomalía de Consultas en conjunto con las campañas recientes de Red Teaming para determinar si las anomalías provienen de sus propias pruebas o de sondeos externos.