Comparación de Modelos
La Comparación de Modelos se sitúa junto a Evaluaciones y responde una sola pregunta: para las cargas de trabajo que se ejecutan actualmente en la flota, ¿cómo se comparan los modelos en uso? Una vez que se han ingestado trazas de múltiples modelos, la vista muestra un desglose lado a lado para que pueda cambiar de modelos con datos en lugar de suposiciones.
La ventana está fijada en las últimas 24 horas. Si solo un modelo ha producido trazas en esa ventana, la página muestra un estado vacío — la comparación requiere al menos dos cohortes de modelos.
Dimensiones
Cada celda de modelo en la página expone tres categorías de señal:
- Calidad — Puntuaciones agregadas de cualquier pipeline de Evaluación que se haya ejecutado contra las trazas del modelo. Se representan por métrica (fidelidad, relevancia de respuesta, puntuaciones personalizadas).
- Costo — Total en USD, media por traza y tasas por cada 1.000 tokens. Extraídos del precio por modelo del Gateway.
- Rendimiento — Latencia P50 / P95, tokens totales y tasa de error.
Dado que las tres categorías provienen de las mismas trazas subyacentes, la Comparación de Modelos le permite tomar decisiones de compromiso en igualdad de condiciones — por ejemplo, "El Modelo A es un 4% peor en fidelidad, pero un 30% más económico y 2× más rápido; el compromiso es válido para el corpus RAG."
Comparación Justa
Los agregados solo son justos cuando las entradas coinciden. Hay dos patrones que funcionan:
- Mismo conjunto de datos entre modelos — Ejecute una Evaluación contra un Dataset guardado con cada modelo candidato intercambiado. La Comparación de Modelos lee entonces las puntuaciones del evaluador junto con las métricas en vivo.
- Mismo agente, modelos segmentados por tiempo — Ejecute el Modelo A durante un período, cambie el modelo del agente al Modelo B y compare las dos ventanas. Requiere menos preparación que los datasets, pero está sujeto a desviación de entradas.
Mejores Prácticas
- Combine la Comparación de Modelos con Alertas de Anomalías en Costo y Latencia P95. Un cambio de modelo que mejore en calidad pero supere un umbral de costo debería detectarse de inmediato.
- Ignore la Comparación de Modelos cuando el agente esté en pleno desarrollo. Los cambios de prompt y los cambios de modelo juntos generan ruido; congele el prompt antes de comparar.
- Mantenga al menos una semana de solapamiento al cambiar el tráfico de producción entre modelos. La comparación en la misma ventana temporal siempre es más fiable que la comparación en serie.