进行AB测试，不是直接做了比较谁好谁差那么简单。如果希望对比分析有意义，必须符合统计学意义上的真正的具有显著性的差异。不过，这个差异让一般人去计算是无从着手的。但好在我们可以使用现成的工具，直接输入数据就能告诉我们结果。这个文章就介绍了这样的好工具。大家可以下载使用。
第一部分：A/B测试时间计算器
在之前的文章，我推荐了一款用于计算A/B测试显著性的计算器（Excel版）并进行了对外开放下载。在这篇文章里，我将推荐一款能够帮助大家估算运行测试时间的计算器，从而获得具有统计学价值的科研成果。但首先，我需要做出如下几点声明：
我们无法对A/B测试的结果作100%保证
当有人问我完成一项A/B测试需要多长时间，最万无一失的答案或许是来生或者直到你完成测试的那一天我再告诉你（哪种说法听起来更快一点呢，呵呵）。
对于一项A/B测试，你永远不可能自信地说自己能够在多少多少天之后就能获得具有统计学价值的科研成果。你可以说有80%（或者95%，反正不可能是100%）的概率（前提是这样的测试确实是有意义的）。当然，实际情况可能是数据的可控性只是相对的，从这种意义上来讲，无论你测试多久，都将无法得出相应的结论。
A/B测试的运行究竟需要多长时间？
下载和使用下方的计算器来得知你的测试需要多少访客样本。
其中有四条信息需要你来填写：
1．原始页面的转化率
2.你希望对转化率变化的监测能够精确到多少（百分之几）？
（如果你想探测到更加细微的改进效果，会需要更长的时间）
3.需要监测的变量数（需要监测的变量越多，流量样本也相应需要提供更多）
4.网站平均每日流量（可选项，并不一定是必须的）
当你填写了以上四项，计算器会计算出你需要监测多少访客（80%~95%的做出实验结果的成功率）。你可以在对这些访客进行一番测试之后停止测试，但千万不要什么都不做就放弃了测试，这样可能会导致最终出现错误的结论。
A/B测试时间计算器（Excel版）
复制此链接下载A/B测试时间计算器
http://visualwebsiteoptimizer.com/downloads/ab_testing_duration_calculator.xls
我们非常欢迎大家能够将该文件分享和转发给更多的人。
PS：顺便说一下，如果你想快速计算，我们有一个不同版本的计算器上传在谷歌文档上（在你对谷歌文档中的表格做出任何操作之前，建议将其转存到自己的帐户以作备份）。
计算器的工作原理
这个价值百万美元的计算器。如果要解释它的工作原理，那会超出今天这篇文章的话题范围，也因为它太过专业或许需要单独的一篇文章来细细讲解。当然如果你对此有着浓厚的兴趣，下图是我们如何通过计算访客数量从而得出研究结论的依据。
上面这张图表引自一本叫做《Statistical Rules of Thumb》的畅销书。而且比较幸运的是，关于估计样本容量的章节可以免费下载[PDF]。另一个估算A/B测试样本容量的优质信息来自微软的一篇论文： Controlled Experiments on the Web: Survey and Practical Guide[PDF]（基于网络对照试验的调查与实用指导手册）。
第二部分：A/B测试显著性计算器
A / B测试结果的统计可能令人困惑，除非你知道确切的公式。 早些时候，我们发表了有关A / B测试数学运算的文章，同时提供了一款免费的A / B测试计算器，用于测试你的结果是否有价值。 本文为大家提供了关于A / B测试统计的说明，当然计算器仅仅是提供了一个界面；用于计算对比测试结果的统计显著性的真正有效的公式没有具体展示出来。
A/B测试公式的Excel表格
因此，我们已经推出了一个免费的电子表格，其中详细阐释了计算的真实意义所在。您只需要提供访问量和转化量的控制组和对照组。电子表格会自动为你计算显著性、p值、z值及对于任何一种对比测试（包括Adwords）的其他相关指标。当然，你可以在电子表格中看到相关的公式。
下图为计算器展示图片：
以下链接可下载A/B测试显著性计算器（Excel版）
https://vwo.com/downloads/ab_testing_significance_calculator.xls
我们非常欢迎大家能够将该文件分享和转发给更多的人。
