Funcionalidades Principales
Beak AI Observability es la capa de diagnóstico para cada ejecución de agente en la plataforma. Ingiere trazas del AI Runtime y del AI Gateway, las indexa por agente, modelo y estado, y expone cuatro niveles de información — métricas de volumen y costo en el Dashboard, inspección de tramos de extremo a extremo en Traces, puntuación de calidad automatizada en Evaluations y Model Comparison, y diagnóstico de fallos en Drift Detection, Root Cause y Anomaly Alerts.
Disposición del Espacio de Trabajo
La navegación izquierda agrupa cada pantalla en cinco secciones:
- Overview —
Dashboard. Métricas consolidadas y actividad reciente para el rango de tiempo seleccionado. - Tracing —
Traces,Agents. Los datos de tramos sin procesar y su agregación por agente. - Quality —
Evaluations,Model Comparison. Puntuación de calidad automatizada y comparación entre modelos. - Analysis —
Drift Detection,Root Cause,Anomaly Alerts. Extracción de señales sobre las trazas — qué cambió, por qué ocurrió un lote de errores y cuándo una métrica supera un umbral. - System —
Settings. Controles de retención, muestreo y exportación.
Todas las vistas de lista comparten las mismas convenciones: filtros en la parte superior (agente, modelo, estado, rango de tiempo), un botón de acción principal cuando corresponde, y acceso detallado por fila al detalle completo.
Dashboard
El Dashboard es el punto de partida. Muestra Total Traces, Error Rate, P95 Latency, Total Cost y Active Agents para la ventana seleccionada (1h, 6h, 24h, 7d, 30d), un gráfico de área Trace Volume y dos tablas de profundización — Top Agents by Volume y Recent Errors. Consulte Dashboard.
Traces
Una traza es el registro completo de un turno de agente — cada generación LLM, llamada a herramienta, consulta a fuente de datos e invocación de sub-agente, capturados como tramos en un árbol padre-hijo. La página Traces lista cada traza con su estado, duración, tokens y costo; al hacer clic en una traza se abre el árbol de tramos con pestañas de entrada, salida, metadatos y línea de tiempo por tramo. Consulte Understanding a Trace.
Agents
Agents consolida los datos de trazas por identidad de agente. La tarjeta de cada agente muestra el volumen, la tasa de errores, el costo promedio y el ranking de las últimas 24 horas, de modo que un agente con regresión se destaca frente al conjunto sin necesidad de buscar en trazas individuales. Consulte Agents.
Evaluations
Evaluations son canalizaciones de calidad automatizadas que puntúan las trazas en dimensiones como fundamentación, fidelidad y relevancia de respuesta. Se admiten tres familias de evaluadores de forma predeterminada: RAGAS, LLM-as-a-judge y evaluadores personalizados. Consulte Evaluations y Adding Datasets.
Model Comparison
Model Comparison se ubica junto a Evaluations y responde una pregunta diferente: para la misma carga de trabajo, ¿cómo se comparan los modelos en uso en términos de calidad, costo y latencia? Una vez que se han ingerido trazas de múltiples modelos, la vista muestra un desglose comparativo en paralelo. Consulte Model Comparison.
Drift Detection
Drift Detection calcula proyecciones PCA de los embeddings de trazas y compara una línea base móvil de 7 días con las últimas 24 horas. El desplazamiento de distribución — usuarios haciendo preguntas diferentes, un agente devolviendo respuestas sutilmente distintas — aparece como movimiento de clústeres en la proyección 2D. Consulte Drift Detection.
Root Cause
Root Cause es un informe bajo demanda que toma las trazas de error recientes, las agrupa por patrón y solicita a un LLM que resuma las causas probables y las correcciones recomendadas. Es el camino más rápido desde "tenemos un pico de errores" hasta "este es el tramo y argumento específico que los explica." Consulte Root Cause.
Anomaly Alerts
Anomaly Alerts es un sistema de umbrales basado en puntuación z sobre las mismas métricas que muestra el Dashboard — Error Rate, P95 Latency, Cost, Throughput. Cada configuración de alerta vincula una métrica, una condición (Above / Below) y un umbral. El feed Recent Alerts muestra las alertas disparadas con severidad (critical / warning) y el agente que superó el límite. Consulte Anomaly Alerts.
Settings
Settings expone el TTL de retención de datos, el muestreo de trazas, la configuración de la API de embeddings y los controles de exportación para el espacio de trabajo. Consulte Settings.