Knowledge Distillation
Distillation des connaissances
La distillation des connaissances entraîne un petit modèle étudiant à copier les signaux utiles d'un modèle enseignant plus grand. L'entraînement utilise souvent à la fois les scores de l'enseignant et les étiquettes correctes connues.
Un autre exemple
Un ingénieur edge-ML entraîne un étudiant avec des scores et des étiquettes de professeur provenant de 2 millions de phrases. L'étudiant maintient la qualité d'intention mesurée et respecte la limite de vitesse du téléphone. La compression ou la quantification de fichiers seule n'est pas une distillation.
Parties principales
- 01modèle enseignant
- 02modèle étudiant
- 03objectif de distillation
Utilisez-le lorsque
Utilisez ce terme lorsque le comportement mesuré est enseigné d’un modèle enseignant à un modèle étudiant plus petit.
Ne l'utilisez pas lorsque
Ne supposez pas que l'étudiant acquiert chaque compétence ou fonctionnalité de sécurité de l'enseignant.
Nom utilisé dans le code
teacher logits → student loss Avant d'expédier
Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback.
Outcome: Complete the task with Distillation des connaissances (Knowledge Distillation). User context: Un ingénieur edge-ML entraîne un étudiant avec des scores et des étiquettes de professeur provenant de 2 millions de phrases. L'étudiant maintient la qualité d'intention mesurée et respecte la limite de vitesse du téléphone. La compression ou la quantification de fichiers seule n'est pas une distillation. AI method or concept: Distillation des connaissances (Knowledge Distillation). Why it fits: Utilisez ce terme lorsque le comportement mesuré est enseigné d’un modèle enseignant à un modèle étudiant plus petit. Do not use it when: Ne supposez pas que l'étudiant acquiert chaque compétence ou fonctionnalité de sécurité de l'enseignant. AI requirements: Define the input and source evidence. Set model and tool permissions. Use versioned evaluation data and measures. Define failure, decline-to-answer, privacy, speed, and cost limits. Operational safeguards: Keep a clear trace and hide sensitive log data. Show users a safe fallback. Mark steps that need human review. Define how to roll back the model or prompt. Acceptance criteria: Record baseline and target measures on a versioned evaluation set. Test edge cases and hostile inputs. Verify fallback, monitoring, permissions, and rollback. Evidence and limits (evidence boundary): Aucun standard officiel unique ne régit l’ensemble du terme. Sa signification peut varier selon les équipes, plateformes ou frameworks. Unknowns to confirm: Target task, model and version, evaluation owner, source data, risk limit, tool permissions, and production fallback.
Vérifiez cette demande
Review how Distillation des connaissances (Knowledge Distillation) is used now. Definition: La distillation des connaissances entraîne un petit modèle étudiant à copier les signaux utiles d'un modèle enseignant plus grand. L'entraînement utilise souvent à la fois les scores de l'enseignant et les étiquettes correctes connues. Release checks: Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback. Before changing code, list the evidence, gaps, severity, and the smallest safe fix.