AI Evaluation
AI 평가
AI 평가는 AI 시스템을 테스트하는 반복 가능한 방법입니다. 명확한 작업, 테스트 데이터, 채점 규칙 및 안전 한계를 사용합니다.
다른 예시
팀은 300개의 저장된 지원 사례와 사람들이 승인한 답변으로 후보 모델을 테스트합니다. 품질, 안전, 지연 그리고 모델이 답변을 거부할 때를 평가합니다. 인상적인 데모만으로는 평가가 아닙니다.
주요 부분
- 01버전 관리 데이터셋
- 02점수 채점 기준
- 03릴리스 기준
사용할 때
명확한 규칙으로 모델, 프롬프트, 검색 변경 또는 릴리스를 비교할 때 이 용어를 사용하세요.
다음 경우에는 사용하지 마세요
평가를 하나의 총점이나 저장되지 않은 몇 가지 프롬프트로 축소하지 마세요.
코드에서 사용된 이름
dataset × rubric × evaluator × threshold 출시하기 전에
Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback.
Outcome：Complete the task with AI 평가 (AI Evaluation)。 User context：팀은 300개의 저장된 지원 사례와 사람들이 승인한 답변으로 후보 모델을 테스트합니다. 품질, 안전, 지연 그리고 모델이 답변을 거부할 때를 평가합니다. 인상적인 데모만으로는 평가가 아닙니다. AI method or concept：AI 평가 (AI Evaluation)。 Why it fits：명확한 규칙으로 모델, 프롬프트, 검색 변경 또는 릴리스를 비교할 때 이 용어를 사용하세요. Do not use it when：평가를 하나의 총점이나 저장되지 않은 몇 가지 프롬프트로 축소하지 마세요. AI requirements: Define the input and source evidence. Set model and tool permissions. Use versioned evaluation data and measures. Define failure, decline-to-answer, privacy, speed, and cost limits. Operational safeguards: Keep a clear trace and hide sensitive log data. Show users a safe fallback. Mark steps that need human review. Define how to roll back the model or prompt. Acceptance criteria: Record baseline and target measures on a versioned evaluation set. Test edge cases and hostile inputs. Verify fallback, monitoring, permissions, and rollback. Evidence and limits (evidence boundary)：해당 출처에 대해 공식적인 것입니다. 다른 플랫폼이나 팀은 그 용어를 다른 방식으로 사용할 수 있습니다. Unknowns to confirm: Target task, model and version, evaluation owner, source data, risk limit, tool permissions, and production fallback.
이 요청을 확인하세요
Review how AI 평가 (AI Evaluation) is used now. Definition: AI 평가는 AI 시스템을 테스트하는 반복 가능한 방법입니다. 명확한 작업, 테스트 데이터, 채점 규칙 및 안전 한계를 사용합니다. Release checks: Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback. Before changing code, list the evidence, gaps, severity, and the smallest safe fix.