Model Grader
모델 채점기
모델 채점기는 AI 모델을 사용하여 출력물을 점수 매기거나 작성된 규칙으로 라벨링합니다. 잘못될 수 있으므로, 사람들은 알려진 예제와 비교하여 확인해야 합니다.
output + rubric + grader → score + review평가 기준: 정확함 · 인용됨 · 에스컬레이션한 팀이 하나의 루브릭으로 200개의 지원 답변을 평가합니다. 사람들이 이견을 검토하고, 이미 점수 매긴 답변과 평가자를 비교합니다.0.74 / 1.00필요 0.8027 / 30 동의item + output + rubric + grader model → score or labelOPS다른 예시
한 팀이 하나의 루브릭으로 200개의 지원 답변을 평가합니다. 사람들이 이견을 검토하고, 이미 점수 매긴 답변과 평가자를 비교합니다.
주요 부분
- 01평가 항목
- 02후보 출력
- 03채점 기준
- 04참조 또는 예시
- 05채점 모델과 프롬프트
- 06점수, 이유 및 리뷰
사용할 때
정확한 일치로는 많은 개방형 답변을 판단할 수 없을 때 사용하세요. 먼저 평가자를 사람 검토 예제와 비교해 테스트하세요.
다음 경우에는 사용하지 마세요
그 점수를 객관적 진실이라고 부르지 마세요. 목표 평결과 어떤 시스템이 답변을 작성했는지에 대한 단서를 숨기세요.
코드에서 사용된 이름
item + output + rubric + grader model → score or label 출시하기 전에
Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback.
Outcome：Complete the task with 모델 채점기 (Model Grader)。 User context：한 팀이 하나의 루브릭으로 200개의 지원 답변을 평가합니다. 사람들이 이견을 검토하고, 이미 점수 매긴 답변과 평가자를 비교합니다. AI method or concept：모델 채점기 (Model Grader)。 Why it fits：정확한 일치로는 많은 개방형 답변을 판단할 수 없을 때 사용하세요. 먼저 평가자를 사람 검토 예제와 비교해 테스트하세요. Do not use it when：그 점수를 객관적 진실이라고 부르지 마세요. 목표 평결과 어떤 시스템이 답변을 작성했는지에 대한 단서를 숨기세요. AI requirements: Define the input and source evidence. Set model and tool permissions. Use versioned evaluation data and measures. Define failure, decline-to-answer, privacy, speed, and cost limits. Operational safeguards: Keep a clear trace and hide sensitive log data. Show users a safe fallback. Mark steps that need human review. Define how to roll back the model or prompt. Acceptance criteria: Record baseline and target measures on a versioned evaluation set. Test edge cases and hostile inputs. Verify fallback, monitoring, permissions, and rollback. Evidence and limits (evidence boundary)：하나의 공식 표준이 전체 용어를 통제하지 않음. 의미는 팀, 플랫폼 또는 프레임워크마다 달라질 수 있음. Unknowns to confirm: Target task, model and version, evaluation owner, source data, risk limit, tool permissions, and production fallback.
이 요청을 확인하세요
Review how 모델 채점기 (Model Grader) is used now. Definition: 모델 채점기는 AI 모델을 사용하여 출력물을 점수 매기거나 작성된 규칙으로 라벨링합니다. 잘못될 수 있으므로, 사람들은 알려진 예제와 비교하여 확인해야 합니다. Release checks: Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback. Before changing code, list the evidence, gaps, severity, and the smallest safe fix.