指标设计向导
Metric Designer · 预置指标体系 + 场景化指标设计
指标设计原则来自课程体系
流量精算师
Sample Size Calculator · 精确计算实验所需样本量
为什么要这样计算样本量?
基准转化率(Baseline Conversion Rate)
当前版本(对照组)的转化率,即在没有任何改动时,用户完成目标行为的比例。
举例
当前落地页每 100 个访客中有 5 人下单,基准转化率 = 5/100 = 0.05(即 5%)。
在实验前从历史数据中获取,填入的是比例值而非百分比(5% → 填 0.05)。
最小可检测效应(Minimum Detectable Effect)
你希望实验能检测到的最小相对变化幅度。即实验组相对于对照组的提升比例,低于这个幅度的变化将被视为"不值得检测"。
举例
基准转化率 5%,MDE 设为 0.05(即 5%),意味着你希望检测到转化率从 5% 提升到 5.25%(5% × 1.05)的变化。MDE 越小,需要的样本量越大。
MDE 是相对提升比例,不是绝对差值。设太小需要海量样本,设太大可能错过有价值的小改进。
显著性水平(Significance Level, α)
你能容忍的假阳性概率——即实际上没有效果,但实验却错误地判定"有效果"的风险上限。也称为 I 类错误(Type I Error)概率。
举例
α = 0.05 表示:如果新旧版本其实没有差异,你有 5% 的概率会错误地认为"有差异"。好比法官把无辜的人判有罪的概率不超过 5%。
行业通用值为 0.05。若决策风险高(如涉及收入核心链路),可降低到 0.01 以更加谨慎。
统计功效(Statistical Power, 1-β)
当实验组确实有效果时,实验能正确检测到这个效果的概率。β 是假阴性概率(即 II 类错误:明明有效果却没检测出来)。
举例
1-β = 0.8 表示:如果新版本确实提升了转化率,你有 80% 的概率能成功发现这个提升,但也有 20% 的概率会遗漏("明明有效却以为没效")。
常用值为 0.8(80%)。若不想错过任何有效改进,可提高到 0.9,但所需样本量会显著增加。
风控卫士
Risk Auditor · SRM检测与数据全面诊断
深入理解 SRM 检测原理
SRM 快速检测
上传数据全面诊断
点击上传 CSV 文件
自动执行: SRM → 主指标 → 护栏 → 决策决策法官
Decision Maker · 转化率分析与实验决策
从统计显著到上线决策的完整框架
转化率分析
方案生成器
Experiment Plan Builder · 一键生成完整实验方案
方案设计的最佳实践来自书中核心章节
报告生成器
Report Template Engine · 一键生成专业实验报告
报告模板采用书中 5 步框架
数据模拟器
Data Simulator · 生成各类实验模拟数据
每种数据类型对应一类实验陷阱