Flaky Test
Test instable
Un Flaky Test peut réussir ou échouer sans aucun changement de code. Le minutage, l'ordre, l'état partagé, le hasard ou des systèmes extérieurs en sont souvent la cause.
Un autre exemple
Un test de navigateur échoue en parallèle car deux workers partagent le même compte. Des données uniques et l'attente d'événements corrigent ce problème de concurrence.
Parties principales
- 01Code or behavior under test
- 02Observable evidence
- 03Coverage, failure, and recovery
Utilisez-le lorsque
Enregistrez et répétez l’échec. Si brièvement bloqué, nommez un responsable et corrigez la cause du changement.
Ne l'utilisez pas lorsque
Évitez les réessais aveugles, la mise en quarantaine permanente, le blâme non pris en charge et le traitement d'un seul rerun vert comme une correction.
Nom utilisé dans le code
repetition + seed + timing/order isolation Avant d'expédier
Check the environment and prepared test data (fixture). Define a result you can observe, failure and edge cases, isolation, stable inputs, useful error details, and cleanup. Set a time budget, owner, and flaky-test rule.
Outcome: Complete the task with Test instable (Flaky Test). User context: Un test de navigateur échoue en parallèle car deux workers partagent le même compte. Des données uniques et l'attente d'événements corrigent ce problème de concurrence. Validation approach: Test instable (Flaky Test). Why it fits: Enregistrez et répétez l’échec. Si brièvement bloqué, nommez un responsable et corrigez la cause du changement. Do not use it when: Évitez les réessais aveugles, la mise en quarantaine permanente, le blâme non pris en charge et le traitement d'un seul rerun vert comme une correction. Test requirements: Name the system and test environment. Define prepared test data, other inputs, and the result you can observe. Include failure and edge cases, allowed error, isolation, and cleanup. Test operations: Make failures easy to diagnose. Control random or changing inputs. Name an owner. Keep the test fast and simple enough for its release gate. Acceptance criteria: The test fails for the known bug and passes after the fix. It repeats in the target environment, gives useful evidence, and does not expose or change unrelated data. Evidence and limits (evidence boundary): Aucun standard officiel unique ne régit l’ensemble du terme. Sa signification peut varier selon les équipes, plateformes ou frameworks. Unknowns to confirm: Release gate, environment, prepared test data, allowed error, time budget, owner, and flaky-test rule.
Vérifiez cette demande
Review how Test instable (Flaky Test) is used now. Definition: Un Flaky Test peut réussir ou échouer sans aucun changement de code. Le minutage, l'ordre, l'état partagé, le hasard ou des systèmes extérieurs en sont souvent la cause. Release checks: Check the environment and prepared test data (fixture). Define a result you can observe, failure and edge cases, isolation, stable inputs, useful error details, and cleanup. Set a time budget, owner, and flaky-test rule. Before changing code, list the evidence, gaps, severity, and the smallest safe fix.