Saltar al contenido principal

Alucinación y Equidad

La página de Alucinación y Equidad proporciona dos herramientas de fiabilidad interactivas: un detector de alucinaciones para verificar los resultados de LLM frente a documentos fuente, y un auditor de equidad para detectar disparidades demográficas en los resultados de decisiones tomadas por IA. Ambas herramientas están diseñadas para ejecutarse bajo demanda como parte de los flujos de trabajo de garantía de calidad y cumplimiento normativo.

Detección de Alucinaciones​

La herramienta de Detección de Alucinaciones verifica si un resultado de LLM está fundamentado en su contexto fuente o contiene información fabricada.

Cómo utilizarla:

  1. Pegue el resultado del LLM que desea verificar en el campo LLM Output.
  2. Opcionalmente, pegue los documentos fuente o el contexto RAG en el campo RAG Sources (un documento por línea). Cuando se proporcionan RAG Sources, la herramienta realiza una verificación de fundamentación — comprobando que las afirmaciones del resultado están respaldadas por las fuentes proporcionadas.
  3. Haga clic en Detect Hallucination.

La herramienta devuelve una evaluación de si el resultado contiene contenido alucinado. Cuando se proporcionan RAG Sources, la verificación de fundamentación es más precisa — la herramienta puede identificar afirmaciones específicas en el resultado que carecen de respaldo en el material fuente.

Nota: Ejecutar la herramienta sin RAG Sources realiza una verificación general de alucinaciones basada en señales de consistencia interna y plausibilidad factual. Para obtener la mayor precisión, proporcione siempre los documentos fuente a los que el modelo tuvo acceso al generar el resultado.

Auditoría de Equidad​

La herramienta de Auditoría de Equidad verifica la existencia de disparidades demográficas en los resultados de decisiones tomadas por IA. Está diseñada para detectar si un sistema de IA produce resultados sistemáticamente diferentes para distintos grupos demográficos — un requisito clave tanto bajo la Ley de IA de la UE (Equidad Algorítmica) como bajo el NIST AI RMF (función Measure).

Cómo utilizarla:

  1. Prepare sus datos de resultados como un objeto JSON que mapee las etiquetas de grupos demográficos a sus estadísticas de resultados. El formato requerido es:
{
  "group_a": {"positive": 80, "total": 100},
  "group_b": {"positive": 75, "total": 100}
}

Cada entrada de grupo debe incluir:

  • positive — El número de resultados positivos para este grupo.
  • total — El número total de decisiones tomadas para este grupo.
  1. Pegue el JSON en el campo Outcome Data.
  2. Haga clic en Run Audit.

La auditoría calcula métricas como la paridad demográfica (si las tasas de resultados positivos son similares entre grupos) y señala las disparidades que superan los umbrales aceptables.

Contexto de Cumplimiento Normativo​

Ambas herramientas se asocian directamente a los requisitos de cumplimiento rastreados en el Panel de Cumplimiento:

  • Detección de Alucinaciones — Aborda el artículo de Transparencia y Explicabilidad de la Ley de IA de la UE y la función Measure del NIST AI RMF (control de detección de alucinaciones).
  • Auditoría de Equidad — Aborda el artículo de Equidad Algorítmica de la Ley de IA de la UE (controles de paridad demográfica y monitorización de equidad) y la función Measure del NIST AI RMF (control de auditoría de equidad).

Ejecutar estas herramientas y documentar sus resultados es necesario para avanzar las puntuaciones de cumplimiento de no conforme a parcial o conforme para los controles correspondientes.

Buenas Prácticas​

  • Ejecute la Detección de Alucinaciones sobre una muestra representativa de resultados de LLM para cada agente antes de promoverlo a producción, especialmente para agentes utilizados en dominios de información factual (legal, médico, financiero).
  • Para agentes basados en RAG, proporcione siempre los documentos de contexto recuperados en el campo RAG Sources — las verificaciones de fundamentación sin contexto fuente no detectarán las alucinaciones relacionadas con la recuperación.
  • Ejecute Auditorías de Equidad siempre que su agente se utilice para tomar o influir en decisiones que afecten a diferentes grupos demográficos (contratación, aprobación de préstamos, triaje médico, elegibilidad para prestaciones).
  • Documente los resultados de las auditorías con marcas de tiempo. El Panel de Cumplimiento rastrea si estos controles han sido ejecutados — los reguladores pueden solicitar evidencia de los resultados reales de las auditorías.
  • Investigue cualquier disparidad de equidad superior a 5 puntos porcentuales entre grupos — este es típicamente el umbral utilizado en las directrices de la Ley de IA de la UE para aplicaciones de IA de alto riesgo.

Páginas Relacionadas​