Knowledge Distillation
Destilación de conocimiento
La destilación de conocimiento entrena un pequeño modelo estudiante para copiar señales útiles de un modelo maestro más grande. El entrenamiento a menudo utiliza tanto las puntuaciones del maestro como las etiquetas correctas conocidas.
Otro ejemplo
Un ingeniero de edge-ML entrena a un estudiante con puntajes de profesor y etiquetas de 2 millones de oraciones. El estudiante mantiene la calidad de intención medida y cumple con el límite de velocidad del teléfono. La compresión de archivos o la cuantización por sí solas no son destilación.
Partes principales
- 01Modelo maestro
- 02modelo de estudiante
- 03objetivo de destilación
Úsalo cuando
Usa este término cuando el comportamiento medido se enseña de un modelo maestro a un modelo estudiante más pequeño.
No lo uses cuando
No asumas que el estudiante adquiere todas las habilidades o características de seguridad del maestro.
Nombre usado en código
teacher logits → student loss Antes de lanzarlo
Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback.
Outcome: Complete the task with Destilación de conocimiento (Knowledge Distillation). User context: Un ingeniero de edge-ML entrena a un estudiante con puntajes de profesor y etiquetas de 2 millones de oraciones. El estudiante mantiene la calidad de intención medida y cumple con el límite de velocidad del teléfono. La compresión de archivos o la cuantización por sí solas no son destilación. AI method or concept: Destilación de conocimiento (Knowledge Distillation). Why it fits: Usa este término cuando el comportamiento medido se enseña de un modelo maestro a un modelo estudiante más pequeño. Do not use it when: No asumas que el estudiante adquiere todas las habilidades o características de seguridad del maestro. AI requirements: Define the input and source evidence. Set model and tool permissions. Use versioned evaluation data and measures. Define failure, decline-to-answer, privacy, speed, and cost limits. Operational safeguards: Keep a clear trace and hide sensitive log data. Show users a safe fallback. Mark steps that need human review. Define how to roll back the model or prompt. Acceptance criteria: Record baseline and target measures on a versioned evaluation set. Test edge cases and hostile inputs. Verify fallback, monitoring, permissions, and rollback. Evidence and limits (evidence boundary): Ningún estándar oficial único controla todo el término. Su significado puede cambiar según equipos, plataformas o marcos. Unknowns to confirm: Target task, model and version, evaluation owner, source data, risk limit, tool permissions, and production fallback.
Revisa esta petición
Review how Destilación de conocimiento (Knowledge Distillation) is used now. Definition: La destilación de conocimiento entrena un pequeño modelo estudiante para copiar señales útiles de un modelo maestro más grande. El entrenamiento a menudo utiliza tanto las puntuaciones del maestro como las etiquetas correctas conocidas. Release checks: Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback. Before changing code, list the evidence, gaps, severity, and the smallest safe fix.