Model Grader
Avaliador de Modelo
Um avaliador de modelo usa um modelo de IA para pontuar ou rotular uma saída com uma regra escrita. Ele pode estar errado, então as pessoas devem verificá-lo com exemplos conhecidos.
output + rubric + grader → score + reviewrubrica: correto · citado · escalarUm time avalia 200 respostas de suporte com um único critério. As pessoas revisam discordâncias e comparam o avaliador com respostas que já pontuaram.0.74 / 1.00precisa de 0,8027 / 30 concordamitem + output + rubric + grader model → score or labelOPSOutro exemplo
Um time avalia 200 respostas de suporte com um único critério. As pessoas revisam discordâncias e comparam o avaliador com respostas que já pontuaram.
Partes principais
- 01item de avaliação
- 02saída candidata
- 03Rubrica de pontuação
- 04Referência ou exemplos
- 05Modelo e prompt do avaliador
- 06Pontuação, motivo e revisão
Use-o quando
Use-o quando a correspondência exata não puder julgar muitas respostas abertas. Primeiro, teste o avaliador contra exemplos revisados por humanos.
Não o use quando
Não chame sua pontuação de verdade objetiva. Oculte o veredicto alvo e pistas sobre qual sistema escreveu a resposta.
Nome usado no código
item + output + rubric + grader model → score or label Antes de lançar
Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback.
Outcome: Complete the task with Avaliador de Modelo (Model Grader). User context: Um time avalia 200 respostas de suporte com um único critério. As pessoas revisam discordâncias e comparam o avaliador com respostas que já pontuaram. AI method or concept: Avaliador de Modelo (Model Grader). Why it fits: Use-o quando a correspondência exata não puder julgar muitas respostas abertas. Primeiro, teste o avaliador contra exemplos revisados por humanos. Do not use it when: Não chame sua pontuação de verdade objetiva. Oculte o veredicto alvo e pistas sobre qual sistema escreveu a resposta. AI requirements: Define the input and source evidence. Set model and tool permissions. Use versioned evaluation data and measures. Define failure, decline-to-answer, privacy, speed, and cost limits. Operational safeguards: Keep a clear trace and hide sensitive log data. Show users a safe fallback. Mark steps that need human review. Define how to roll back the model or prompt. Acceptance criteria: Record baseline and target measures on a versioned evaluation set. Test edge cases and hostile inputs. Verify fallback, monitoring, permissions, and rollback. Evidence and limits (evidence boundary): Nenhum padrão oficial único controla todo o termo. Seu significado pode mudar entre equipes, plataformas ou frameworks. Unknowns to confirm: Target task, model and version, evaluation owner, source data, risk limit, tool permissions, and production fallback.
Conferir este pedido
Review how Avaliador de Modelo (Model Grader) is used now. Definition: Um avaliador de modelo usa um modelo de IA para pontuar ou rotular uma saída com uma regra escrita. Ele pode estar errado, então as pessoas devem verificá-lo com exemplos conhecidos. Release checks: Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback. Before changing code, list the evidence, gaps, severity, and the smallest safe fix.