AB Lab 实验室

v1.0
引擎就绪

指标设计向导

Metric Designer · 预置指标体系 + 场景化指标设计

流量精算师

Sample Size Calculator · 精确计算实验所需样本量

基准转化率(Baseline Conversion Rate)
当前版本(对照组)的转化率,即在没有任何改动时,用户完成目标行为的比例。
举例 当前落地页每 100 个访客中有 5 人下单,基准转化率 = 5/100 = 0.05(即 5%)。
在实验前从历史数据中获取,填入的是比例值而非百分比(5% → 填 0.05)。
最小可检测效应(Minimum Detectable Effect)
你希望实验能检测到的最小相对变化幅度。即实验组相对于对照组的提升比例,低于这个幅度的变化将被视为"不值得检测"。
举例 基准转化率 5%,MDE 设为 0.05(即 5%),意味着你希望检测到转化率从 5% 提升到 5.25%(5% × 1.05)的变化。MDE 越小,需要的样本量越大。
MDE 是相对提升比例,不是绝对差值。设太小需要海量样本,设太大可能错过有价值的小改进。
显著性水平(Significance Level, α)
你能容忍的假阳性概率——即实际上没有效果,但实验却错误地判定"有效果"的风险上限。也称为 I 类错误(Type I Error)概率。
举例 α = 0.05 表示:如果新旧版本其实没有差异,你有 5% 的概率会错误地认为"有差异"。好比法官把无辜的人判有罪的概率不超过 5%。
行业通用值为 0.05。若决策风险高(如涉及收入核心链路),可降低到 0.01 以更加谨慎。
统计功效(Statistical Power, 1-β)
当实验组确实有效果时,实验能正确检测到这个效果的概率。β 是假阴性概率(即 II 类错误:明明有效果却没检测出来)。
举例 1-β = 0.8 表示:如果新版本确实提升了转化率,你有 80% 的概率能成功发现这个提升,但也有 20% 的概率会遗漏("明明有效却以为没效")。
常用值为 0.8(80%)。若不想错过任何有效改进,可提高到 0.9,但所需样本量会显著增加。

风控卫士

Risk Auditor · SRM检测与数据全面诊断

SRM 快速检测

上传数据全面诊断

点击上传 CSV 文件

自动执行: SRM → 主指标 → 护栏 → 决策

决策法官

Decision Maker · 转化率分析与实验决策

转化率分析

方案生成器

Experiment Plan Builder · 一键生成完整实验方案

报告生成器

Report Template Engine · 一键生成专业实验报告

报告模板采用书中 5 步框架

数据模拟器

Data Simulator · 生成各类实验模拟数据

AI

AB实验专家

在线 · 随时为您解答
你好!我是 AB实验专家,专门回答关于AB测试、实验设计、统计分析等问题。

你可以问我任何关于:
  • 实验设计与指标选择
  • 样本量计算与统计功效
  • 数据分析与假设检验
  • 常见陷阱(辛普森悖论、新奇效应等)
  • 实验决策与最佳实践
请在下方输入你的问题吧!
刚刚
按 Enter 发送,Shift+Enter 换行

AB实验社区

21天快速入门 产品/设计/运营
专业进阶课程 50节 · 数据科学
延伸专题 深度案例 · 实战拓展
面试刷题 高频真题 · 模拟面试
实战演练 场景挑战 · 陷阱识别
案例研究 真实案例 · 大厂实践
今日学习

Day 1: 什么是AB实验?

预计学习时间:10分钟

今日学习

第1节: AB实验本质

案例:Facebook按钮颜色实验 · 10分钟

延伸专题

源自主课程延伸思考的深度展开,每个专题10分钟,聚焦一个实战问题

AB实验面试题库

涵盖高频考点、场景设计、统计原理,助你从容应对数据岗面试

实战演练

经典AB实验陷阱场景,在安全环境中训练你的实验直觉

选择左侧的挑战开始实验

每道挑战包含场景、渐进提示和解析,帮你识别实验中的经典陷阱

真实案例研究中心

汇集全球顶级科技公司的 A/B 实验真实案例,每个案例包含实验设计、数据结果和核心教训