Knowledge Distillation
지식 증류
지식 증류는 작은 학생 모델이 더 큰 교사 모델의 유용한 신호를 복사하도록 훈련합니다. 훈련은 종종 교사 점수와 알려진 올바른 레이블을 모두 사용합니다.
다른 예시
엣지-ML 엔지니어는 200만 개 문장의 교사 점수와 라벨로 학생을 훈련시킵니다. 학생은 측정된 의도 품질을 유지하고 전화 속도 제한을 준수합니다. 파일 압축이나 양자화만으로는 증류가 아닙니다.
주요 부분
- 01교사 모델
- 02학습자 모델
- 03증류 목표
사용할 때
측정된 행동이 교사 모델로부터 작은 학생 모델로 학습될 때 이 용어를 사용하세요.
다음 경우에는 사용하지 마세요
학생이 교사에게서 모든 기술이나 안전 기능을 배우는 것으로 가정하지 마십시오.
코드에서 사용된 이름
teacher logits → student loss 출시하기 전에
Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback.
Outcome：Complete the task with 지식 증류 (Knowledge Distillation)。 User context：엣지-ML 엔지니어는 200만 개 문장의 교사 점수와 라벨로 학생을 훈련시킵니다. 학생은 측정된 의도 품질을 유지하고 전화 속도 제한을 준수합니다. 파일 압축이나 양자화만으로는 증류가 아닙니다. AI method or concept：지식 증류 (Knowledge Distillation)。 Why it fits：측정된 행동이 교사 모델로부터 작은 학생 모델로 학습될 때 이 용어를 사용하세요. Do not use it when：학생이 교사에게서 모든 기술이나 안전 기능을 배우는 것으로 가정하지 마십시오. AI requirements: Define the input and source evidence. Set model and tool permissions. Use versioned evaluation data and measures. Define failure, decline-to-answer, privacy, speed, and cost limits. Operational safeguards: Keep a clear trace and hide sensitive log data. Show users a safe fallback. Mark steps that need human review. Define how to roll back the model or prompt. Acceptance criteria: Record baseline and target measures on a versioned evaluation set. Test edge cases and hostile inputs. Verify fallback, monitoring, permissions, and rollback. Evidence and limits (evidence boundary)：하나의 공식 표준이 전체 용어를 통제하지 않음. 의미는 팀, 플랫폼 또는 프레임워크마다 달라질 수 있음. Unknowns to confirm: Target task, model and version, evaluation owner, source data, risk limit, tool permissions, and production fallback.
이 요청을 확인하세요
Review how 지식 증류 (Knowledge Distillation) is used now. Definition: 지식 증류는 작은 학생 모델이 더 큰 교사 모델의 유용한 신호를 복사하도록 훈련합니다. 훈련은 종종 교사 점수와 알려진 올바른 레이블을 모두 사용합니다. Release checks: Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback. Before changing code, list the evidence, gaps, severity, and the smallest safe fix.