案例分析：新旧注册表单流失率（drop-out rate）的比较

作者： 天岸 | 归档：网站分析（web analytics）

“让测试成为一种习惯”，这个主题在很多博客上被讨论，特别是在单元素测试（A/B Test）和多元素测试（Multivariate Test）解决方案提供商的白皮书上更是老生常谈。不过尽管如此，市场认知程度还在初级阶段,很多所谓的优化（Optimization）还是处在“拍脑袋”和“想当然”的层次上。即使是通过对数据的分析发现和确定了问题，但是对于对问题的更改方案的效果如何，却往往忽略了检验，或者因为没有在事前预计到而无法检验。

这里介绍一个我最近为一个客户做的分析报告的一部分，不是介绍测试的方法，而是介绍一个让客户（内部客户和外部客户）有点儿“跌眼镜”的结果，和给分析人员带来的繁杂的工作。

挂羊头卖狗肉，我们就说是天岸（http://we.univcite.com/scyan）公司吧。这里的天岸不是一个网站分析顾问和咨询公司，而是一个著名的食品品牌。为了接触更多的终端消费者，提高现有客户的忠诚度，作为一个婴幼儿产品的宣传平台，天岸在3年前创建了一个针对初生儿妈妈的网上俱乐部。如果要加入俱乐部，访问者必须填写注册表单，提供关于本人，家庭中已有儿童，和新出生、即将出生的婴儿的信息。由于信息比较多，且根据儿童数目的不同有不确定性，表单分为两页。在第一页所有必须项目正确填写之后，用户才能点击下一步按钮进入第二页；在第二页正确填写之后，才能提交表单信息。

在09年初相关工作人员发觉这个注册表单的提交率仅仅是52%左右（成功提交表单的流量/所有到达注册表单页面的流量），于是他们通过头脑风暴“找”出了原因，然后又经过两个月的开发工作，终于设计出了一个漂亮的动态的Ajax注册表单，这个表单只有一页，可以根据用户填写的信息自动列出下面需要填写的内容（比如婴儿的生日，比如可选的服务项目等等）；在用户每填写一项之后，可以对错误填写自动报错。大家对这个新表单都很满意，于是4月份新表单上线了。

这次我们要做一份报告，对整个在线项目进行详细评估。作为报告内容模块之一的网站分析，不可避免的要分析注册表单的效率。本来比较新旧表单不在分析要求之中，他们认为新表单比旧表单好是理所当然的，不需要再在上面多费笔墨了。不过出于兴趣和感觉到必要性，我还是做了一个大概的比较。

这个比较并不是太容易做，因为单纯的比较二者的转化率肯定是不行的。首先原来的表单第二页网站分析代码安装不正确，信息失真太多，不能够使用；其次，新表单的网站分析代码是安装在一个iframe中的，失去了很多信息，并且中途还出现过一次问题；然后，网站在不同的时期有很多不同的营销活动，访问者的特征肯定有很多差异；最后，不敢肯定网站是否有季节性。（在这时候我们总是自我解嘲的说：数据很脏很乱，而且不完备，对吧？欢迎来到现实世界！）

网站使用的分析软件是Hitbox。我首先选择了比较的时间区间，在争取获得尽量多的数据的考虑下，我把时间区间定在了2009/01/01-2009/03/15（旧表单）和2009/06/01-2009/08/30（新表单）。为了尽可能的消除网站访问者行为特征的差异，我利用hitbox创建了两个分组（Active Segment），把通过自然搜索和Adwords带来的人群分离出来作为研究样本，因为这是网站两个最稳定的流量来源，并且代表大约45%的总流量。

这些工作做好之后，在Hitbox中收集了相关的数据，我首先通过比较一些基本参数，以确定两个样本之间没有太大差异：

	旧表单样本	新表单样本
样本总体	搜索流量（Adwords&自然流量）	搜索流量（Adwords&自然流量）
时间区间	01/01-15/03	01/06-30/08
流量	136 514	193 666
弹出率	41.9%	38.4%
访问时间	06：24	05：39
平均访问页面数	6.86	7.37

从这些基本参数来看，样本存在一定的差异，不过并不是非常大，所以可以用作分析。

接下来的分析很简单，我主要做了三种比较（因为工作除了研究表单之外，还是为了研究网站整体的转化率，所以比较的内容多一些）：

1. 总体上的比较，主要是三个指数：
   • 注册表单的访问流量/网站总流量：代表网站其他部分的表现和流量的质量；
   • 注册表单成功提交量/注册表单的访问流量：代表表单的表现（1-drop out rate）；
   • 注册表单成功提交量/网站总流量：代表网站总体的表现和流量的质量
2. 整理出每周的这三个指数的数据，做出趋势图：看一下第一个时间区间的变化趋势是什么，第二个时间区间有两个效应
   • 承接第一个区间的变化趋势（可惜时间上不连贯）
   • 新表单效应
3. 整理出每周的前两个指数的数据，做出散点图（以第一个指标为横轴，第二个指标为纵轴；这个图和波士顿矩阵模型（BCG Matrix）有类似之处，可以分割第一象限为四个区间，每个区间代表不同的效率的组合。很明显，一个点越是往右，往上，那么它所代表的周的转换率就越好。
   • 看一下有没有异常的点需要剔除
   • 看一下两个时间段所包含的点的分布区间

具体的比较结果不能做详细介绍。只是通过图表可以明显的看出，新的表单的效果远远低于预期，不如旧的注册表单的效果好。在散点图上，在Y轴上，代表旧表单的点大部分都在代表新表单的点的上方，在X轴上的分布也有一定的规律。

不过最后我们却不能给出结论，来判断到底哪一个表单更好一些。因为正如前文所说的，还有很多外部因素不能控制，样本总体还是有一定的差别。所以，我们只能给出建议，需要对两个表单进行测试，在同一时间随机的向这两个表单分配流量，然后比较他们各自的效果。这个测试过程很简单，可以自主开发（不过要切实做到随机分配，而且要以visitor为个体），可以使用免费的Google Site Optimizer，也可以使用付费的Omniture Test&Target(或者其他的测试工具，几乎所有的网站分析工具都带有类似的模块)。

下一篇博客，还是会涉及到这个问题，不过从另一个角度来谈。

案例分析：新旧注册表单流失率（drop-out rate）的比较10.0101

收藏、分享这篇文章!

--