Model Grader
Valutatore del modello
Un valutatore modello utilizza un modello AI per valutare o etichettare un output con una regola scritta. Può sbagliare, quindi le persone devono verificarlo con esempi noti.
output + rubric + grader → score + reviewrubric: corretto · citato · escalareUn team valuta 200 risposte di supporto con un solo criterio di valutazione. Le persone esaminano i disaccordi e confrontano il valutatore con le risposte già valutate.0.74 / 1.00necessita 0,8027 / 30 d'accordoitem + output + rubric + grader model → score or labelOPSUn altro esempio
Un team valuta 200 risposte di supporto con un solo criterio di valutazione. Le persone esaminano i disaccordi e confrontano il valutatore con le risposte già valutate.
Parti principali
- 01Voce di valutazione
- 02Output candidato
- 03Griglia di valutazione
- 04Riferimento o esempi
- 05Modello del valutatore e prompt
- 06Punteggio, motivo e revisione
Usalo quando
Usalo quando il confronto esatto non può giudicare molte risposte aperte. Prima testa il valutatore con esempi revisionati da umani.
Non usarlo quando
Non chiamare il suo punteggio verità oggettiva. Nascondi il verdetto target e gli indizi su quale sistema ha scritto la risposta.
Nome usato nel codice
item + output + rubric + grader model → score or label Prima di spedire
Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback.
Outcome: Complete the task with Valutatore del modello (Model Grader). User context: Un team valuta 200 risposte di supporto con un solo criterio di valutazione. Le persone esaminano i disaccordi e confrontano il valutatore con le risposte già valutate. AI method or concept: Valutatore del modello (Model Grader). Why it fits: Usalo quando il confronto esatto non può giudicare molte risposte aperte. Prima testa il valutatore con esempi revisionati da umani. Do not use it when: Non chiamare il suo punteggio verità oggettiva. Nascondi il verdetto target e gli indizi su quale sistema ha scritto la risposta. AI requirements: Define the input and source evidence. Set model and tool permissions. Use versioned evaluation data and measures. Define failure, decline-to-answer, privacy, speed, and cost limits. Operational safeguards: Keep a clear trace and hide sensitive log data. Show users a safe fallback. Mark steps that need human review. Define how to roll back the model or prompt. Acceptance criteria: Record baseline and target measures on a versioned evaluation set. Test edge cases and hostile inputs. Verify fallback, monitoring, permissions, and rollback. Evidence and limits (evidence boundary): Nessun singolo standard ufficiale controlla l'intero termine. Il suo significato può cambiare tra team, piattaforme o framework. Unknowns to confirm: Target task, model and version, evaluation owner, source data, risk limit, tool permissions, and production fallback.
Controlla questa richiesta
Review how Valutatore del modello (Model Grader) is used now. Definition: Un valutatore modello utilizza un modello AI per valutare o etichettare un output con una regola scritta. Può sbagliare, quindi le persone devono verificarlo con esempi noti. Release checks: Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback. Before changing code, list the evidence, gaps, severity, and the smallest safe fix.