Knowledge Distillation
知識蒸留
知識蒸留は、小さな学生モデルに、大きな教師モデルから有用な信号をコピーさせるために訓練します。訓練では、しばしば教師スコアと既知の正しいラベルの両方を使用します。
もう一つの例
エッジMLエンジニアは、200万文の教師スコアとラベルを使って学生を訓練します。学生は測定された意図の品質を維持し、電話の速度制限を守ります。ファイル圧縮や量子化だけでは蒸留とはなりません。
主な部分
- 01教師モデル
- 02学生モデル
- 03蒸留目的
以下の場合に使用します
測定された挙動が教師モデルから小さい生徒モデルに教えられるときにこの用語を使用します。
以下の場合は使用しないでください
学生が教師からすべてのスキルや安全機能を習得していると仮定してはいけません。
コードで使用する名前
teacher logits → student loss 出荷前に
Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback.
Outcome：Complete the task with 知識蒸留 (Knowledge Distillation)。 User context：エッジMLエンジニアは、200万文の教師スコアとラベルを使って学生を訓練します。学生は測定された意図の品質を維持し、電話の速度制限を守ります。ファイル圧縮や量子化だけでは蒸留とはなりません。 AI method or concept：知識蒸留 (Knowledge Distillation)。 Why it fits：測定された挙動が教師モデルから小さい生徒モデルに教えられるときにこの用語を使用します。 Do not use it when：学生が教師からすべてのスキルや安全機能を習得していると仮定してはいけません。 AI requirements: Define the input and source evidence. Set model and tool permissions. Use versioned evaluation data and measures. Define failure, decline-to-answer, privacy, speed, and cost limits. Operational safeguards: Keep a clear trace and hide sensitive log data. Show users a safe fallback. Mark steps that need human review. Define how to roll back the model or prompt. Acceptance criteria: Record baseline and target measures on a versioned evaluation set. Test edge cases and hostile inputs. Verify fallback, monitoring, permissions, and rollback. Evidence and limits (evidence boundary)：単一の公式標準が全体の用語を管理するわけではありません。その意味はチーム、プラットフォーム、またはフレームワークによって変わる可能性があります。 Unknowns to confirm: Target task, model and version, evaluation owner, source data, risk limit, tool permissions, and production fallback.
このリクエストを確認する
Review how 知識蒸留 (Knowledge Distillation) is used now. Definition: 知識蒸留は、小さな学生モデルに、大きな教師モデルから有用な信号をコピーさせるために訓練します。訓練では、しばしば教師スコアと既知の正しいラベルの両方を使用します。 Release checks: Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback. Before changing code, list the evidence, gaps, severity, and the smallest safe fix.