Knowledge Distillation
Wissensdistillation
Wissensdistillation trainiert ein kleines Studentenmodell, um nützliche Signale von einem größeren Lehrermodell zu kopieren. Das Training verwendet oft sowohl Lehrerwerte als auch bekannte korrekte Labels.
Ein weiteres Beispiel
Ein Edge-ML-Ingenieur trainiert einen Studenten mit Lehrerwertungen und Labels aus 2 Millionen Sätzen. Der Student behält die gemessene Intent-Qualität bei und erfüllt das Telefon-Geschwindigkeitslimit. Dateikompression oder Quantisierung allein sind keine Destillation.
Hauptteile
- 01Lehrermodell
- 02Studentenmodell
- 03Destillationsziel
Verwenden Sie es, wenn
Verwenden Sie diesen Begriff, wenn gemessenes Verhalten von einem Lehrermodell auf ein kleineres Studentenmodell übertragen wird.
Nutze es nicht, wenn
Gehe nicht davon aus, dass der Schüler alle Fähigkeiten oder Sicherheitsfunktionen vom Lehrer übernimmt.
In Code verwendeter Name
teacher logits → student loss Vor dem Ausliefern
Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback.
Outcome: Complete the task with Wissensdistillation (Knowledge Distillation). User context: Ein Edge-ML-Ingenieur trainiert einen Studenten mit Lehrerwertungen und Labels aus 2 Millionen Sätzen. Der Student behält die gemessene Intent-Qualität bei und erfüllt das Telefon-Geschwindigkeitslimit. Dateikompression oder Quantisierung allein sind keine Destillation. AI method or concept: Wissensdistillation (Knowledge Distillation). Why it fits: Verwenden Sie diesen Begriff, wenn gemessenes Verhalten von einem Lehrermodell auf ein kleineres Studentenmodell übertragen wird. Do not use it when: Gehe nicht davon aus, dass der Schüler alle Fähigkeiten oder Sicherheitsfunktionen vom Lehrer übernimmt. AI requirements: Define the input and source evidence. Set model and tool permissions. Use versioned evaluation data and measures. Define failure, decline-to-answer, privacy, speed, and cost limits. Operational safeguards: Keep a clear trace and hide sensitive log data. Show users a safe fallback. Mark steps that need human review. Define how to roll back the model or prompt. Acceptance criteria: Record baseline and target measures on a versioned evaluation set. Test edge cases and hostile inputs. Verify fallback, monitoring, permissions, and rollback. Evidence and limits (evidence boundary): Kein einziger offizieller Standard kontrolliert den gesamten Begriff. Seine Bedeutung kann sich zwischen Teams, Plattformen oder Frameworks ändern. Unknowns to confirm: Target task, model and version, evaluation owner, source data, risk limit, tool permissions, and production fallback.
Diese Anfrage prüfen
Review how Wissensdistillation (Knowledge Distillation) is used now. Definition: Wissensdistillation trainiert ein kleines Studentenmodell, um nützliche Signale von einem größeren Lehrermodell zu kopieren. Das Training verwendet oft sowohl Lehrerwerte als auch bekannte korrekte Labels. Release checks: Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback. Before changing code, list the evidence, gaps, severity, and the smallest safe fix.