样本，测试和评估-1

作者： 天岸 | 归档：网站分析（web analytics）

• 在上一篇博客案例分析：新旧注册表单流失率（drop-out rate）的比较 中，我留了一个尾巴，说会从另外一个角度分析这个问题。在这里，我想谈的是“时刻保留一个原始样本（sampling）”的建议。这个论题实际上和“让测试（test）成为一种习惯”有相似的地方，但是区别也比较明显。
• 拜读了Mars非常精彩的系列博文“网络营销数据解读”，在受益良多的同时，想从样本的角度探究一下他的关于Email Marketing的案例分析。
• 还有一个话题是关于以用户为跟踪中心的“user-centric”流量分析方法和以网站为跟踪中心的 “site-centric”流量分析方法。这里讨论的角度也是和“样本(sampling)”有关的一个侧面。 对于不熟悉user-centric和site-centric这两个概念的读者，这里做一下简要的解释。

本来打算分别写这三个主题的，可是考虑到他们的内在联系，还是决定放在同一篇里，也可以节省您的时间；-）

我们经常会问到，或者忽略掉，如下类似的问题：

1. 根据分析相关的指标之后而制作的新主页（Homepage）真的比以前的主页好吗？
2. 我们采用了最新近的Flash技术做了非常精美且容易使用的注册表单，和以前的传统表单相比，一定可以减少表单流失率（drop-out rate）吗？
3. 我们在天岸(http://we.univcite.com/scyan)主页上做了一个周的横幅广告，对我的销售有多少促进作用？
4. 通过比较，我发现关键字搜索营销的转化率比条幅广告的转化率高了1.5个百分点，我是不是应该把所有条幅广告的预算都转到搜索营销上来呢？
5. 公司为了发布一款新产品，专门建立了一个网站，通过各种营销手段，网站产生了很大的流量；2个月以后，我如何知道这个网站对我实体商店销售的影响？
6. Scyan有一个在线的e-CRM，有100万注册用户，那么这100万注册用户是否在超市中购买了更多的Scyan的产品呢？

以上前两个问题偏重于测试，而后三个问题偏重于评估。之所以放在一起讨论，是因为二者都可以通过选取样本的方法来进行研究。具体的做法就是在同一时间段（最大限度的排除周期性，季节性或者偶然因素的影响），随机的选取两组样本（最大限度的保证其他变量-可控的和不可控的-相同），通过对可控变量（新旧主页，表单，是否是广告的受众…）的调整，来研究它对结果的影响。

---

回到上一篇的案例分析中来，当时虽然做了很多工作，结果上的差距也比较明显，但是还是不能给出一个明确的结论，到底是哪一个表单更好一些。为什么？原因就在于没有办法选择合适的样本来进行研究，虽然分离出了非常相似的两个样本（都是来自搜索的流量），但是因为时间段不同，结果就很容易被影响（比如电视广告，天气，流行性疾病等等，都可能影响到关于儿童产品的搜索）。而实际上具体的解决办法并不复杂，就是在同一时间，对于进入注册页面的访问者，随机的显示不同的注册表单，然后对结果进行分析就可以了。不过需要注意的事情是：

1. 研究的个体是访问者（visitor），而不是一次访问(visit)。对于一个访问者来说，如果他第一次看到了表单A，那么他在这个测试时间区间中看到的永远都是表单A，不会看到表单B。
2. 注意：随机显示不代表就是50%-50%，样本的大小是可以控制的，可能是20%-80%，或者是1%，1%。没有一个固定的标准，只要达到统计上的显著性标准就可以了。
3. 对于这样的测试现在的网站分析工具都有类似的模块。比如Omniture 的Test&Target，Google Analytics的 Web Site Optimizer

---

紧接着我们看一下Mars的精彩案例 。

Mars在他的分析中指明了“这个Case问题很多，但是最根本的——也是在其他Case中最流行的——就是计算Marketing Contribution的方式”，我没有异议。这里我不谈营销结果的分配问题，而是想要指出的是另一个问题，就是文中提到的A/B测试，测试发送邮件的时间的问题（“我们发现在客户放弃购物24小时后马上发Email，转化率比在3天后再发这封信要高87%！”）。实际上，这个测试本身就有问题，因为选择的样本在不可控因素方面已经出现了差异了。和上例一样，时间上的差异。时间不同了，两个测试样本之间便出现了差异。虽然案例中测试的本来就是“时间间隔”问题，但是因为样本不同，所以不能直接把这两个结果拿来比较。这里推荐一种做法，既可以测试这个“时间间隔”的效果，也可以评估这个Email marketing的效果：

1. 在24小时后发送邮件时，预留出一个随机样本，不做任何行动（不发送邮件）；在评估转化率的时候，比较收到邮件的用户（T1）和未收到邮件的用户（T2）的转化率的差别，T1-T2. (不要忘记显著性检验)
2. 在72小时候发送邮件时，预留出一个随机样本，不做任何行动（不发送邮件）；在评估转化率的时候，比较收到邮件的用户（P1）和未收到邮件的用户（P2）的转化率的差别，P1-P2. (不要忘记显著性检验)
3. 如果T1-T2>0并且具有显著性，那说明提示邮件是有作用的，而然后把这个转化率的差值转化为具体的$值，和成本比较，就可以得出24小时后发送邮件的ROI了
4. 如果P1-P2>0并且具有显著性，那说明提示邮件是有作用的，而然后把这个转化率的差值转化为具体的$值，和成本比较，就可以得出72小时后发送邮件的ROI了
5. 而如果把T1-T2和P1-P2相比较，以及实际销售额的lift值相比较，就可以得出哪一个邮件的效果更加明显了。
6. 我故意把1和2，3和4写重复的句子，是想强调72小时后发送的邮件的效果不一定比24小时后的邮件效果差。正如Mars所说，24小时后该回来的用户总是要回来的；而72小时后就不一定了;-).

---

我们接下来看第三个问题:

这个横幅广告对我的销售有什么作用呢？

这里一种简单的做法是，在网站分析工具中分离出来自条幅广告的流量，然后选择同一时间段，把这部分流量和其他的流量所产生的销售相对比，然后做决策。

这是经常用到的做法，如果没有其他的手段的话，这也是一种可以接受的做法。不过，这种方法有没有不完备的地方呢？有没有其他合理的替代或者补充的方法呢？

（今天太晚了，请听下回分解吧！看来还是要分两篇来写，抱歉）

样本，测试和评估-2

样本，测试和评估-3

后记：事实上，最后变成了三篇。

.

收藏、分享这篇文章!

--