样本，测试和评估-3

作者： 天岸 | 归档：网站分析（web analytics）

样本，测试和评估-1

样本，测试和评估-2

对于1和2就不做过多的重复了，建议感兴趣的朋友首先阅读前两篇以了解本文的背景和相关提法。

在样本，测试和评估-3中，我们主要谈样本在多渠道营销（cross-channel），尤其是线上和线下渠道交互时，各个营销项目的效果的评估问题。首先我们来进一步深入讨论2中的问题。在2中，我们已经能够监测

• 点击条幅广告的人群，
• 看到条幅广告但是没有点击的人群
• 既没有看到也没有点击条幅广告的人群

这种误导性的描述让我们以为我们可以测评所有的人群了，但是实际情况是，上面所说的三组人群都是“到达网站”的人群。那么最终没有到达网站的人群怎么办呢？比如说这个条幅广告是为了提高品牌知名度的，那么这个广告覆盖了多少目标人群呢？对于改善品牌形象有多少作用呢？如果我们考虑一下条幅广告，尤其是品牌广告经常低于0.5%的点击率的话，那么我们或许会有足够的理由来关注最终没有访问网站的人群了。

在这个问题上面，site-centric的方法是鞭长莫及的，二者恰恰是user-centric的优势地方。正如我们在1中所描述的，user-centric的方法，通过他们足够大的因特网用户panel,可以对特定地区的因特网应用进行整体的监测，诸如网站的流量对比，交叉，覆盖的人群范围和特征等信息都是user-centric方法所提供的基本的报告。这里两个很重要的条件是：

1. 网站的流量足够的大，如果流量小的话，或者监测不到（没有panelist访问），或者数据不准确（没有足够的panelist访问）
2. panel足够的大，且在人群分布上有代表性，可以代表所有互联网用户（地域分布，性别，年龄，收入等特征，家庭和企业用户）

综合以上两个条件，比如，对于Mediametrie/Netrating的联合监测部门来说，每月至少有16个panelist访问的网站才会有分析数据。现在这些公司也提供网络广告受众的人群分析，但是还是同样的道理，这个广告的受众必须足够的大才能够被监测到。小广告就不需要在这方面耗费财力物力了，至少你在scyan上打的广告就不必了，呵呵。

到目前为止，我们了解到了受众的特征，那么进一步追问，这个条幅广告是否给他们留下了印象？是正面印象还是负面印象呢？扩展开来，我们的Facebook群，我们的Youtube上的频道，我们的一个子网站，这些，对于改善企业的品牌形象有什么作用呢？

很容易想到，涉及到质量上的指标，我们需要询问。对于网站上的用户，我们可以做调查问卷，但是对于我们接触不到的人群呢？这里还是需要求助于拥有因特网用户Panel的公司。可惜的是，诸如Comscore此类的监测公司一般是不提供问卷调查的服务的。不知道国内是否有公司提供此类的服务。在欧洲有一个做在线调查问卷平台的公司Toluna有类似的产品，叫做campaign post-test.他们的优势是，拥有一个比较大的因特网用户Panel，而这些用户都是在表明愿意接受在线问卷调查的（opt-in）。Toluna的做法就是，在条幅广告上添加代码，在用户电脑上留下cookie，通过这些cookie，Toluna可以确定，在他的Panel中，哪些用户看到过条幅广告，哪些没有看到过。然后，在cookie过期之前，公司便有可能向这两部分人群发送相同或者不同的调查问卷，通过分析，比较，判断这个条幅广告的效果。这里拥有同样的限制，条幅广告的受众是否足够的大？Toluna的Panel是否有代表性？

当设计到线上和线下的交叉时，评估的难度就大了起来，也不容易精确。这里最重要的还是样本的分离问题，要把在线覆盖的样本和在线不覆盖的样本分离出来，这样才能进行比较分析。不过这一点并不是总能够做到的。实在的说，这是一个目前我没有掌握的话题，在这里只希望抛砖引玉，大家一起讨论。

一个简单的情况，衡量一个在线CRM的作用，每个在线会员都有一个会员卡，而公司产品只在自己的专营店销售；而购买的时候，顾客会被询问是否有会员卡，出示会员卡可以获得优惠。这样的话，我们只需要对销售记录进行分析就可以了。不过这是整个CRM的作用而不仅仅是“在线”CRM的作用，并且对于两个样本的购买频率难以比较。

第二种情况，衡量一个网站对线下销售的促进作用，这时可以通过在商店里对顾客进行问卷调查，了解和发现顾客对于企业在网上的活动的了解情况和所产生的影响；同时收集他们的购买数据。 另外一种方法，利用e-coupon,电子打折券；用户（注册或者非注册）可以在网上打印打折券然后在商店里使用。通过对这些打折券回收结果的分析，可以对网站的作用进行评估。

第三种情况，产品在各种零售店，各大超市销售，有在线会员俱乐部，公司有足够的预算：这里可以通过e-coupon的方法进行粗略的评估，也可以借助专业的公司进行相对精确，详细的调查。比如说，在欧洲,TNS。

方法还是通过Panel。TNS拥有一个庞大的欧洲消费者的Panel。对于类似的项目，TNS首先把企业的在线会员与它的Panel做比较，通过地址，或者电子邮件，或者电话等方式确认，然后得出两个样本：

1. 目标样本：既是企业的在线会员，也是TNS worldPanel的Panelist
2. 比较样本：非企业会员，但是是TNS worldPanel的Panelist
3. 对于比较样本的选取并不是随机的，而是通过对目标样本进行分析，得出他们的各种特征，然后和其他的Panelist进行比较，选取具有同样特征的人群在作为比较样本
4. 如果企业没有在线CRM项目，或者没有能够确认在线会员的资料的话，TNS也可以通过调查的方法分离人群（待确定）
5. 如果企业有e-coupon的话，TNS也可以跟踪e-coupon在样本中的使用和返回情况

最后的结果，TNS会提供比较分析报告，对于两个样本的消费信息，对于企业的形象的认知等作出比较详细的比较和分析，从而展现出企业在线活动的效果。（至于TNS如何收集消费信息，如果进行调查，我就不清楚了）。

关于样本，测试和评估这个话题目前终于可以告一段落了。所写的都是平时所接触的和思考的，没有经过验证，欢迎拍砖！欢迎留下评论，大家一起讨论，一起提高。

遗憾的是，对于线上，线下交叉渠道相互影响的问题，由于本人能力有限，不能做更加深入的解释。有这方面的专业人士欢迎评论或者来信讨论：hailongxia AT gmail dotte com。

收藏、分享这篇文章!

--