Top-p Sampling
톱-p 샘플링
톱-p 샘플링은 가능한 토큰을 확률 순으로 정렬한 다음, 합계 확률이 p에 도달하는 가장 작은 그룹을 유지합니다. 다음 토큰은 그 그룹에서 선택됩니다.
다른 예시
다음 토큰 확률은 합이 1.0이고, 엔지니어가 top-p를 0.9로 설정합니다. 0.9에 도달하는 가장 작은 그룹만 선택될 수 있습니다. top-k와 달리, 이 그룹은 고정된 토큰 수를 가지지 않습니다.
주요 부분
- 01순위가 매겨진 후보
- 02누적 임계값
- 03적격 핵
사용할 때
누적 확률이 다음 토큰의 가능한 범위를 변경할 때 이 용어를 사용하세요.
다음 경우에는 사용하지 마세요
top-p를 전체 답변의 품질 점수나 신뢰 한계로 간주하지 마십시오.
코드에서 사용된 이름
cumulative_probability >= p 출시하기 전에
Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback.
Outcome:Complete the task with 톱-p 샘플링 (Top-p Sampling)。 User context:다음 토큰 확률은 합이 1.0이고, 엔지니어가 top-p를 0.9로 설정합니다. 0.9에 도달하는 가장 작은 그룹만 선택될 수 있습니다. top-k와 달리, 이 그룹은 고정된 토큰 수를 가지지 않습니다. AI method or concept:톱-p 샘플링 (Top-p Sampling)。 Why it fits:누적 확률이 다음 토큰의 가능한 범위를 변경할 때 이 용어를 사용하세요. Do not use it when:top-p를 전체 답변의 품질 점수나 신뢰 한계로 간주하지 마십시오. AI requirements: Define the input and source evidence. Set model and tool permissions. Use versioned evaluation data and measures. Define failure, decline-to-answer, privacy, speed, and cost limits. Operational safeguards: Keep a clear trace and hide sensitive log data. Show users a safe fallback. Mark steps that need human review. Define how to roll back the model or prompt. Acceptance criteria: Record baseline and target measures on a versioned evaluation set. Test edge cases and hostile inputs. Verify fallback, monitoring, permissions, and rollback. Evidence and limits (evidence boundary):해당 출처에 대해 공식적인 것입니다. 다른 플랫폼이나 팀은 그 용어를 다른 방식으로 사용할 수 있습니다. Unknowns to confirm: Target task, model and version, evaluation owner, source data, risk limit, tool permissions, and production fallback.
이 요청을 확인하세요
Review how 톱-p 샘플링 (Top-p Sampling) is used now. Definition: 톱-p 샘플링은 가능한 토큰을 확률 순으로 정렬한 다음, 합계 확률이 p에 도달하는 가장 작은 그룹을 유지합니다. 다음 토큰은 그 그룹에서 선택됩니다. Release checks: Check the model and prompt versions, source data, versioned evaluation set, and measures. Verify links to evidence, tool permissions, privacy, common failures, decline-to-answer and fallback behavior, human review, monitoring, cost, speed, and rollback. Before changing code, list the evidence, gaps, severity, and the smallest safe fix.