样本，测试和评估-2

作者： 天岸 | 归档：网站分析（web analytics）

在样本，测试和评估-1 中，我们谈到了第三个问题，“在天岸(http://we.univcite.com/scyan)主页上做了一个周的条幅展示广告(display banner)，对我的销售有多少促进作用”？并且解释了一种简单的做法，通过分离流量，单独研究，和其他流量作比较，得出结果。这里唯一的准备工作就是把来自这个条幅的流量分隔开来。在Google Analytics里通过建立一个Advanced segment非常容易做到，在 Unica NetInsight 里和GA一样简单, 如果使用的是Omniture Discover的话那简直易如反掌，SiteCatalyst的话方法很多，但需要做一点儿工作。需要注意的一点是，无论使用哪种工具，注意应该以“visitor”为划分的标准（这点对GA来说比较难），并且与其相对比的流量应该符合分析的目的-（是比较两个营销活动的效果，还是衡量收益率？）。

在结尾处，我们提到的问题是，这种方法有没有不完备的地方呢？有没有其他合理的替代或者补充的方法呢？因为Scyan知道，如果以这一周作为分析区间来对销售的促进效果进行衡量的话，那肯定不会有商家愿意在上面做广告了，呵呵。所以即使牵强，也要找出一些理由;-) 于是，Scyan建议商家从以下两点来看：

1. 营销活动的效果相互交叉和累积的问题：这个问题也常常被当做营销效果的分配问题（marketing contribution）来讨论。而我更倾向于把它作为消费者购买决策的过程（Consumer Decision Journey-McKinsey Quarterly, 2009 Number3）来分析。虽然这个话题超不了本文讨论的范围，不过有和本文相联系的一部分，那就是如何评估这个过程。在上文中我们所说的简单的做法中，显然没有考虑到这个问题。这也是前一段中强调要以“visitor”作为分组的依据的原因，因为如果以转化为标准的话，特别是如果这个转化是销售的话，第一次访问的转化率还是相对比较小的，大多数购买之前都有重复访问的过程，所以把重复访问这个阶段和广告阶段相联系对于评估结果的准确和完备性是很重要的；并且，把分析的时间区间定为广告在线的一个周也是不准确的，应该根据情况，适当的延伸分析区间。而在这个过程中，是否还有其他并行的营销活动有相互的影响呢？而如果有的话，上文中所说的简单的做法显然也没有考虑这个问题。考虑了这两点之后，我们便可以选择分析样本了。我们假设该商家一直在百度上作关键字推广，那么以visitor为个体，样本至少应该选择四个，选择同样的时间区间，长度可以定位2周到3个月（取决于你所在的行业，和你为谁工作，lol）：
   • A：流量来自条幅广告，但是不来自SEM
   • B：流量来自SEM,但是不来自条幅广告
   • C：重复访问的流量，或者说SEM和Banner的交叉流量，对于每一个visitor，既来自条幅广告，也来自sem
   • D：自然流量，不来自SEM也不来自条幅广告

   而最终条幅广告的效果可以分为两部分，A相对于D的改进和C相对B的改进。 当然这个算法是以比较大的流量作为支撑的，不然得出的结果可能不能达到统计上的置信度的要求。并且在样本的提取上有一些难度，如果你不是Discover的顾客的话；特别是GA的用户，如果需要做类似的分析的话，必须提前准备，拿出可行的分离出visitor的方法，比如对custom variable（GA的新功能）的设置。还有一个缺陷是这里只能比较B和C转化的差别，却无法比较SEM和Banner对于相互的点击率（CTR）的促进作用。

   这里实际上也涉及到了第四个问题，是不是应该把所有条幅广告的预算都转移到搜索营销上呢？这个要具体情况具体分析的。如果你是一家小店，“店”无大志，预算紧缺的话，可以这么考虑；如果不是的话，无论从消费者购买决策的角度考虑，还是从投入产出的角度考虑，都不能轻率的做出这样的决定。

2. 眼球价值（View-through value）：和点击价值（click-through value）相对应，有“专家”发明了浏览价值（view-through value, VTV，眼球价值的翻译呢？；-）。所谓VTV,是指用户浏览一个广告（更确切的说，是广告的显示，而用户只是“可能”对广告进行浏览）所带来的价值。如果放在电视上的话，这个VTV就很容易被理解和接受了，不过在网络上，条幅广告，甚至是搜索广告也要谈VTV,就需要慎重，小心的评测了。不能否认VTV的存在，Google不久前就推出了针对其网络中条幅广告的View Through Conversion的跟踪功能。Google作为广告平台，推出这样的监测功能自然是想最大程度的展现其平台上广告的效果，以此来说服商家合作的。不过作为Analyst却不能图省事，把conversion全部都给了VTV。
   

   现在的技术已经可以对View Through进行十分精准的检测，法国公司Alenty的技术不仅可以监测一个条幅广告打开的次数，而且可以监测到一个条幅广告处在用户可视范围内的时间，50%， 30%处在可视范围内的时间。可是这只是监测View Throug，而Value却犹抱琵琶半遮面。这里，我们仍然可以通过分离样本人群的方法来进行监测。

   这里我们需要的样本是：

   • A：点击（Click-through）条幅广告的人群
   • B: 浏览或者可能浏览（View-through）条幅广告，但是没有点击的人群
   • C：条幅广告从来没有触及到的人群

比较方法很简单，VTV主要体现在B和C在转换方面的差异。不过如果说A的样本很容易获得话，B和C怎么办？如果你所有的条幅广告都在Google Content Networks上的话，也许可以借助Google的平台把这部分人群（B）分离出来， 然后剩下的就是C了；如果不是的话，那么通过设置cookie，自己开发也可以，不过可能不够精确，成本比较高。

但是这里最想介绍的方法不是以上所描述的。因为如果以上的方法对于纯网络的监测还有效的话，那么对于很多拥有实体商店的商家是不可行的，因为在商店里我们不会知道一个人是否看过网络上的条幅广告，而直接去询问的话也不是很现实，况且消费者不一定就能够记住。这里，就体现出了user-centric的优势了，确切的说，是panel的优势。

后记：Scyan关心的是网络上的条幅广告对线下销售的影响，扩展开来说，就是在样本，测试和评估-1中提到的问题5和问题6，是线上营销活动对线下销售的影响，是一个跨渠道（cross-channel）评测的问题。著名的互动营销（Interactive marketing）解决方案提供商Unica对于跟踪“顾客”有比较成熟的系统解决方案，当然方案的成本不菲；而对于CRM以外的人群，则需要通过Panel和统计方法来估测了。无意之下，这些都要留到样本，测试和评估-3中去讨论了。

收藏、分享这篇文章!

--