Saltar al contenido principal

Detección de Deriva

La Detección de Deriva vigila los cambios de distribución en las entradas y salidas que fluyen a través de sus agentes. Calcula embeddings para las trazas recientes, las proyecta a 2D con PCA y muestra la ventana de línea base junto a la ventana actual, de modo que pueda ver de un vistazo si los usuarios están formulando preguntas distintas o si los agentes están respondiendo de manera diferente a como lo hacían ayer.

La página compara una línea base móvil de 7 días con las últimas 24 horas. Tiene una única acción principal — Compute Embeddings — en la parte superior derecha.

Qué Significa la Deriva Aquí​

La Detección de Deriva no señala regresiones individuales; eso lo hacen las evaluaciones y las alertas de anomalías. En cambio, indica cuándo la población de trazas ha cambiado:

  • Deriva en la entrada del usuario — Está llegando una combinación diferente de preguntas o tipos de tareas. Generalmente es inofensiva, pero sirve de señal para revisar la cobertura de los evaluadores.
  • Deriva en la salida del agente — El agente está formulando, estructurando o razonando las respuestas de manera diferente. Vale la pena investigar cuando no ha cambiado nada más en el agente.
  • Deriva en las llamadas a herramientas — La distribución de las habilidades que selecciona el agente está cambiando. Suele ser la señal más temprana de que un cambio en el prompt o en el modelo alteró el comportamiento del agente.

Cualquiera de estas situaciones puede explicar una puntuación rezagada en Evaluaciones o un aumento en el costo que no corresponde a una única traza problemática.

Proyección de Embeddings (PCA 2D)​

Al ejecutar Compute Embeddings, se ingieren la línea base de 7 días actual y las últimas 24 horas, se genera un embedding de cada traza (o subconjunto de tramos configurado) y el resultado se reduce a dos dimensiones mediante PCA. El resultado son dos nubes de puntos superpuestas:

  • Línea base — Un color, que representa la ventana de 7 días.
  • Actual — Otro color, que representa las últimas 24 horas.

Cuando las dos nubes se superponen de manera ajustada, la distribución es estable. Cuando la nube actual se desplaza hacia un lado de la línea base o forma un clúster separado, la flota ha derivado.

Nota: La Detección de Deriva requiere que EMBEDDING_API_URL y EMBEDDING_API_KEY estén configurados en el backend. Sin ellos, la acción Compute Embeddings devuelve el estado vacío que se muestra arriba. Trabaje con su equipo de plataforma para establecer las variables de entorno.

Interpretación de la Proyección​

  • Superposición ajustada — La distribución es estable. No se requiere ninguna acción.
  • La nube actual se desplaza en una dirección — Deriva gradual. Planifique una reevaluación de los agentes que dependen de la población desplazada.
  • La nube actual se separa en un nuevo clúster — Deriva repentina. Generalmente corresponde a un cambio en el producto (una nueva funcionalidad que genera nuevos tipos de preguntas), un cambio de integración (una fuente distinta que alimenta las trazas) o un cambio de modelo que alteró la forma de la salida.

Combine la Detección de Deriva con el filtro de Trazas para ampliar el nuevo clúster: filtre por el agente y las últimas 24 horas, y lea un conjunto representativo de trazas.

Mejores Prácticas​

  • Ejecute Compute Embeddings después de cada despliegue en producción. Esto pone de manifiesto cambios no intencionados que Evaluaciones puede seguir puntuando favorablemente.
  • No espere a que la deriva sea visible para el usuario. Un cambio de dos días es más fácil de atribuir a una causa raíz que uno de dos semanas.
  • Tenga en cuenta el PCA: comprime el espacio de embeddings de alta dimensión. Pequeños desplazamientos de clústeres en 2D pueden representar movimientos significativos en el espacio original; una interpretación conservadora es preferible a leer en exceso los datos.

Páginas Relacionadas​