Flaky Test
불안정한 테스트
Flaky Test는 코드를 안 바꿔도 성공했다가 실패하기도 해요. 보통 타이밍, 순서, 함께 쓰는 상태, 무작위성, 또는 외부 시스템 때문에 일어나요.
다른 예시
브라우저 테스트는 두 개의 작업자가 하나의 계정을 같이 써서 동시에 돌리면 실패해요. 고유한 픽스처와 이벤트 대기 시간을 넣으면 이 경쟁 상태를 막을 수 있어요.
주요 부분
- 01Code or behavior under test
- 02Observable evidence
- 03Coverage, failure, and recovery
사용할 때
실패를 기록하고 반복합니다. 잠시 차단되면 소유자를 지정하고 변동 원인을 수정하세요.
다음 경우에는 사용하지 마세요
무작정 다시 시도, 영원한 격리, 근거 없는 비난, 녹색으로 바뀐 재시도 하나를 해결책으로 여기는 건 피하세요.
코드에서 사용된 이름
repetition + seed + timing/order isolation 출시하기 전에
Check the environment and prepared test data (fixture). Define a result you can observe, failure and edge cases, isolation, stable inputs, useful error details, and cleanup. Set a time budget, owner, and flaky-test rule.
Outcome：Complete the task with 불안정한 테스트 (Flaky Test)。 User context：브라우저 테스트는 두 개의 작업자가 하나의 계정을 같이 써서 동시에 돌리면 실패해요. 고유한 픽스처와 이벤트 대기 시간을 넣으면 이 경쟁 상태를 막을 수 있어요. Validation approach：불안정한 테스트 (Flaky Test)。 Why it fits：실패를 기록하고 반복합니다. 잠시 차단되면 소유자를 지정하고 변동 원인을 수정하세요. Do not use it when：무작정 다시 시도, 영원한 격리, 근거 없는 비난, 녹색으로 바뀐 재시도 하나를 해결책으로 여기는 건 피하세요. Test requirements: Name the system and test environment. Define prepared test data, other inputs, and the result you can observe. Include failure and edge cases, allowed error, isolation, and cleanup. Test operations: Make failures easy to diagnose. Control random or changing inputs. Name an owner. Keep the test fast and simple enough for its release gate. Acceptance criteria: The test fails for the known bug and passes after the fix. It repeats in the target environment, gives useful evidence, and does not expose or change unrelated data. Evidence and limits (evidence boundary)：하나의 공식 표준이 전체 용어를 통제하지 않음. 의미는 팀, 플랫폼 또는 프레임워크마다 달라질 수 있음. Unknowns to confirm: Release gate, environment, prepared test data, allowed error, time budget, owner, and flaky-test rule.
이 요청을 확인하세요
Review how 불안정한 테스트 (Flaky Test) is used now. Definition: Flaky Test는 코드를 안 바꿔도 성공했다가 실패하기도 해요. 보통 타이밍, 순서, 함께 쓰는 상태, 무작위성, 또는 외부 시스템 때문에 일어나요. Release checks: Check the environment and prepared test data (fixture). Define a result you can observe, failure and edge cases, isolation, stable inputs, useful error details, and cleanup. Set a time budget, owner, and flaky-test rule. Before changing code, list the evidence, gaps, severity, and the smallest safe fix.