Knowledge Distillation
Distillazione della conoscenza
La distillazione della conoscenza allena un piccolo modello studente a copiare segnali utili da un modello insegnante più grande. L'addestramento spesso utilizza sia i punteggi dell'insegnante sia le etichette corrette conosciute.
Un altro esempio
Un ingegnere edge-ML addestra uno studente con punteggi del docente ed etichette provenienti da 2 milioni di frasi. Lo studente mantiene la qualità dell'intento misurata e rispetta il limite di velocità del telefono. La compressione o la quantizzazione dei file da sole non costituiscono distillazione.
Parti principali
- 01Modello insegnante
- 02Modello dello studente
- 03obiettivo di distillazione
Usalo quando
Usa questo termine quando il comportamento misurato viene insegnato da un modello insegnante a un modello studente più piccolo.
Non usarlo quando
Non dare per scontato che lo studente acquisisca ogni abilità o funzione di sicurezza dall'insegnante.
Nome usato nel codice
teacher logits → student loss Prima di spedire
Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback.
Outcome: Complete the task with Distillazione della conoscenza (Knowledge Distillation). User context: Un ingegnere edge-ML addestra uno studente con punteggi del docente ed etichette provenienti da 2 milioni di frasi. Lo studente mantiene la qualità dell'intento misurata e rispetta il limite di velocità del telefono. La compressione o la quantizzazione dei file da sole non costituiscono distillazione. AI method or concept: Distillazione della conoscenza (Knowledge Distillation). Why it fits: Usa questo termine quando il comportamento misurato viene insegnato da un modello insegnante a un modello studente più piccolo. Do not use it when: Non dare per scontato che lo studente acquisisca ogni abilità o funzione di sicurezza dall'insegnante. AI requirements: Define the input and source evidence. Set model and tool permissions. Use versioned evaluation data and measures. Define failure, decline-to-answer, privacy, speed, and cost limits. Operational safeguards: Keep a clear trace and hide sensitive log data. Show users a safe fallback. Mark steps that need human review. Define how to roll back the model or prompt. Acceptance criteria: Record baseline and target measures on a versioned evaluation set. Test edge cases and hostile inputs. Verify fallback, monitoring, permissions, and rollback. Evidence and limits (evidence boundary): Nessun singolo standard ufficiale controlla l'intero termine. Il suo significato può cambiare tra team, piattaforme o framework. Unknowns to confirm: Target task, model and version, evaluation owner, source data, risk limit, tool permissions, and production fallback.
Controlla questa richiesta
Review how Distillazione della conoscenza (Knowledge Distillation) is used now. Definition: La distillazione della conoscenza allena un piccolo modello studente a copiare segnali utili da un modello insegnante più grande. L'addestramento spesso utilizza sia i punteggi dell'insegnante sia le etichette corrette conosciute. Release checks: Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback. Before changing code, list the evidence, gaps, severity, and the smallest safe fix.