产品 深入了解 C · 行业惯例 平台: 产品

A/B Test

A/B 随机实验

A/B 测试会随机把合格对象分到不同版本。它比较事先选好的指标,估计版本造成的影响。

看看怎样运作
也有人这样说 A/B Test分流测试随机实验受控实验

看看怎样运作

原创情境示例A/B 随机实验

另一个例子

服务会测试续费提醒时间。它会检查退订和客服问题,也会等到计划样本量。

主要部分

  1. 01可验证假设
  2. 02版本与曝光对象
  3. 03指标与决策规则

什么时候用

随机分组公平、能记录谁看过哪个版本,而且主要指标有安全检查时使用。

什么时候不要用

不要偷看结果再提前停止,也不要忽略多指标校正。分组不能混在一起,也不能测试危险结果。

代码里的名称

random assignment + exposure + metric + guardrails

上线前要检查

检查目标用户、想要的结果、当前基线、证据来源、范围、负责人及成功阈值。列出假设、未解风险,以及下一项测试或决策。

可以直接复制的需求

预期结果:用 A/B 随机实验 (A/B Test) 做出范围清楚、有证据支持的产品决策。 用户场景:服务会测试续费提醒时间。它会检查退订和客服问题,也会等到计划样本量。 要运用的产品概念:A/B 随机实验 (A/B Test)。 适用理由:随机分组公平、能记录谁看过哪个版本,而且主要指标有安全检查时使用。 不应使用的情况:不要偷看结果再提前停止,也不要忽略多指标校正。分组不能混在一起,也不能测试危险结果。 产品界定:说明目标用户与想要的结果。记录当前基线与支持证据。列出范围内、范围外、限制、负责人及决策期限。 决策质量:把事实、假设与未知分开。记录没有采用的方案,以及哪些证据会改变当前决定。 验收标准:文档要列出负责人、目标用户、可衡量结果和范围边界。也要列出证据来源、未解风险和下一步验证。 证据与限制(证据边界):没有一份官方标准能涵盖全部内容。不同团队、平台或框架的用法可能不同。 待确认:目标人群、当前基线、成功阈值、负责人、时间范围、依赖项及检查时间。

检查这份需求

请 AI 编程助手检查当前如何使用 A/B 随机实验 (A/B Test)。 定义:A/B 测试会随机把合格对象分到不同版本。它比较事先选好的指标,估计版本造成的影响。 生产环境检查:检查目标用户、想要的结果、当前基线、证据来源、范围、负责人及成功阈值。列出假设、未解风险,以及下一项测试或决策。 修改程序前,先列出看到的证据、缺口、严重程度,以及最小且安全的修正。

C
这个术语有多正式?

行业惯例

工作中经常会用到这个术语。列出的来源可能说明用法或限制,但不会定义全部内容。

没有一份官方标准能涵盖全部内容。不同团队、平台或框架的用法可能不同。

适用范围
只包含来源有说明的内容:正式名称、定义、使用指南、避免事项
文档状态
稳定
核验日期
2026-07-30

证据来源与适用范围

正式来源 · NIST · 稳定 NIST/SEMATECH e-Handbook of Statistical Methods — Experiment Designs 适用范围: 正式名称、定义、使用指南、避免事项 本页用途: 提供背景,不是正式定义 来源涵盖内容: 正式名称, 定义, 使用指南, 避免事项

自行复制

浏览器无法自动复制。请选择下方文字,再自行复制。