Saltar al contenido principal

Datasets

Un dataset es un segmento guardado de trazas contra el cual ejecuta un pipeline de evaluación. Guardar un dataset hace que una evaluación sea reproducible — puede volver a puntuar las mismas entradas después de un cambio de modelo o de prompt y comparar los resultados directamente, en lugar de puntuar diferentes lotes de tráfico en vivo cada vez.

Qué Puede Contener un Dataset​

Un dataset siempre se define como un filtro sobre trazas existentes. El filtro se compone de cualquier combinación de:

  • Agente — Uno o más agentes cuyas trazas deben incluirse.
  • Modelo — Restringe a las trazas que utilizaron un modelo específico (p. ej. gpt-4o, claude-3.5-sonnet).
  • Estado — OK, ERROR o ambos.
  • Ventana de tiempo — Inicio/fin absolutos, o una ventana deslizante (last 7 days).
  • Coincidencia de atributo — Cualquier atributo personalizado de OpenTelemetry registrado en la traza (p. ej. tenant-id, session-id).

Un dataset guardado almacena el filtro, no las trazas subyacentes. Cada vez que un pipeline se ejecuta contra el dataset, resuelve de nuevo el filtro sobre el almacén de trazas actual. Utilice una ventana de tiempo fija en el filtro para congelar el conjunto de trazas en pruebas de regresión.

Creación de un Dataset​

Los datasets se crean desde el formulario de creación de Evaluaciones — cuando el pipeline solicita qué trazas puntuar, el menú desplegable Dataset permite seleccionar un dataset existente o crear uno nuevo en línea. El formulario de nuevo dataset solicita un nombre, una descripción y el filtro indicado anteriormente.

Los datasets reutilizables tienen sentido cuando:

  • Se ejecutará la misma evaluación de forma repetida (p. ej. en cada versión).
  • Se desea que distintos evaluadores trabajen contra las mismas entradas (p. ej. RAGAS + LLM-as-a-judge sobre el mismo corpus).
  • Se desea comparar modelos de forma justa en Comparación de Modelos.

Buenas Prácticas​

  • Para pruebas de regresión, fije una ventana de tiempo fija y un filtro de agente fijo. Los filtros cambiantes hacen que la comparación entre ejecuciones carezca de sentido.
  • Mantenga los tamaños de los datasets manejables (cientos a pocos miles de trazas). Tanto los jueces como RAGAS escalan con el tamaño y el coste.
  • Nombre los datasets con el escenario que representan, no con la fecha en que se crearon (rag-faithfulness-gold-set es mejor que dataset-apr-09).

Páginas Relacionadas​