Model Grader
Calificador de modelo
Un evaluador de modelos utiliza un modelo de IA para puntuar o etiquetar una salida con una regla escrita. Puede estar equivocado, por lo que las personas deben verificarlo con ejemplos conocidos.
output + rubric + grader → score + reviewrúbrica: correcto · citado · escalarUn equipo califica 200 respuestas de soporte con un solo criterio. Las personas revisan los desacuerdos y comparan al evaluador con las respuestas que ya calificaron.0.74 / 1.00necesita 0.8027 / 30 de acuerdoitem + output + rubric + grader model → score or labelOPSOtro ejemplo
Un equipo califica 200 respuestas de soporte con un solo criterio. Las personas revisan los desacuerdos y comparan al evaluador con las respuestas que ya calificaron.
Partes principales
- 01elemento de evaluación
- 02salida candidata
- 03rúbrica de puntuación
- 04Referencia o ejemplos
- 05Modelo de calificador y aviso
- 06Puntuación, razón y revisión
Úsalo cuando
Úsalo cuando una coincidencia exacta no pueda juzgar muchas respuestas abiertas. Primero prueba el evaluador con ejemplos revisados por humanos.
No lo uses cuando
No llames su puntuación verdad objetiva. Oculta el veredicto objetivo y pistas sobre qué sistema escribió la respuesta.
Nombre usado en código
item + output + rubric + grader model → score or label Antes de lanzarlo
Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback.
Outcome: Complete the task with Calificador de modelo (Model Grader). User context: Un equipo califica 200 respuestas de soporte con un solo criterio. Las personas revisan los desacuerdos y comparan al evaluador con las respuestas que ya calificaron. AI method or concept: Calificador de modelo (Model Grader). Why it fits: Úsalo cuando una coincidencia exacta no pueda juzgar muchas respuestas abiertas. Primero prueba el evaluador con ejemplos revisados por humanos. Do not use it when: No llames su puntuación verdad objetiva. Oculta el veredicto objetivo y pistas sobre qué sistema escribió la respuesta. AI requirements: Define the input and source evidence. Set model and tool permissions. Use versioned evaluation data and measures. Define failure, decline-to-answer, privacy, speed, and cost limits. Operational safeguards: Keep a clear trace and hide sensitive log data. Show users a safe fallback. Mark steps that need human review. Define how to roll back the model or prompt. Acceptance criteria: Record baseline and target measures on a versioned evaluation set. Test edge cases and hostile inputs. Verify fallback, monitoring, permissions, and rollback. Evidence and limits (evidence boundary): Ningún estándar oficial único controla todo el término. Su significado puede cambiar según equipos, plataformas o marcos. Unknowns to confirm: Target task, model and version, evaluation owner, source data, risk limit, tool permissions, and production fallback.
Revisa esta petición
Review how Calificador de modelo (Model Grader) is used now. Definition: Un evaluador de modelos utiliza un modelo de IA para puntuar o etiquetar una salida con una regla escrita. Puede estar equivocado, por lo que las personas deben verificarlo con ejemplos conocidos. Release checks: Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback. Before changing code, list the evidence, gaps, severity, and the smallest safe fix.