Integración con Beak AI Gateway
Beak AI Observability puede integrarse con Beak AI Gateway para proporcionar trazabilidad, monitoreo y evaluación unificados de todas las llamadas LLM entre proveedores.
¿Por qué integrar con Gateway?
- Trazabilidad Unificada: Realice el seguimiento de las llamadas LLM desde Studio, Gateway y aplicaciones externas en un solo lugar.
- Análisis entre Proveedores: Compare el rendimiento, la latencia y el costo entre proveedores de LLM.
- Monitoreo Centralizado: Detecte problemas, cuellos de botella y anomalías en tiempo real.
Cómo Integrar
-
Habilitar Observabilidad en Gateway
- En la configuración de Gateway, habilite la observabilidad y especifique el endpoint de Observabilidad.
-
Configurar Claves de API y Permisos
- Asegúrese de que Gateway tenga las credenciales necesarias para enviar datos de trazas a Observabilidad.
-
Mapear Proyectos y Endpoints
- Vincule los proyectos de Gateway a los proyectos de Observabilidad para una organización coherente de las trazas.
-
Probar la Integración
- Realice una llamada LLM de prueba a través de Gateway y verifique que la traza aparezca en Observabilidad.
Ejemplo de Configuración
observability:
enabled: true
endpoint: https://observability.beakops.com/api/traces
api_key: YOUR_OBSERVABILITY_API_KEY
Buenas Prácticas
- Revise periódicamente los análisis entre proveedores para optimizar el enrutamiento y los costos.
- Configure alertas para tasas de error o picos de latencia.
- Utilice los paneles de Observabilidad para monitorear el uso y el cumplimiento.
Para configurar un nuevo proyecto, consulte Configuración de un Nuevo Proyecto. Para más detalles sobre trazabilidad, consulte Comprender una Traza.