LABORATORIO · Evaluación
Evaluation Spec Builder
Diseña dataset, segmentos, métricas, gates y revisión humana a partir del riesgo del producto.
- Tiempo orientativo
- 18 min
- Artefacto de salida
- Una especificación JSON lista para convertir en suite de regresión.
- Privacidad
- La definición no se envía al servidor.
Herramienta educativa local. Valida cualquier resultado antes de usarlo en producción.
Cuándo utilizarlo
Diseñador de evals
Úsalo antes de elegir métricas o graders, empezando por los fallos que causarían daño al usuario o al negocio.
Cómo usarlo bien
- 1
Introduce un caso real sin secretos ni datos personales.
- 2
Ejecuta, inspecciona y discute los supuestos; el resultado no es una verdad automática.
- 3
Guarda el artefacto en tu proyecto y conviértelo en una prueba o decisión revisable.
Fundamentos relacionados
Harness Engineering
03 — Trazas y evaluation harness
Evaluar solo el texto final oculta la mayoría de fallos importantes. Un agente puede escribir una respuesta correcta después de modificar el recurso equivocado, repetir un pago o consultar datos que no tenía permiso para
Abrir fundamento20 minLab 02 — Evaluation harness con trials aislados y graders separados
Laboratorio ejecutable. Trabájalo en tu entorno local y conserva el resultado como evidencia.
Abrir fundamento7 minEvaluación continua: pipelines de eval y regression testing en CI
En software clásico, si no tocas el código, el comportamiento no cambia. En sistemas LLM hay cuatro fuentes de cambio y solo controlas dos:
Abrir fundamento