魔鬼统计学
上QQ阅读APP看本书,新人免费读10天
设备和账号都新为新人

随机测试是对直觉的检验

上述所有随机试验的共同特点是,必须有人事先提出需要测试的选项。必须有人产生销售两台缝纫机的想法,或者让调查公司提前一周打电话的想法。随机试验方法不是直觉的终结。相反,它是对直觉的检验。

过去,各公司需要在一次全国的电视宣传活动中豪赌一把。在网上,你可以将资源分配到多个宣传活动中,并且迅速转向结果最好的活动。创意过程仍然很重要,但创造性已经成了测试过程的输入。

实际上,关键字广告随机化功能可以很好地测试谁能写出最有效的广告。在考验应聘者时,广告公司可以观察谁能改进客户的谷歌广告。想象一下,在某期《飞黄腾达》中,如果对竞争者优化某些流行网页大众市场销售额的客观能力排序,那将是怎样的景象。

随机化网页测试的潜力几乎是无穷的。选项的随机化试验不仅可以提高点击率和销量,而且可以提高网页表单的完成率。随机化可以用于改进任何网页的表现。

这也包括在线新闻的布局。《纪事》、MSNBC甚至《纽约时报》的图形设计师可以从随机化测试中学到一点东西。实际上,Offermatica董事长詹姆斯·罗奇表示,他们已经开始为网络出版物出谋划策了。这种需求通常来自订阅部门。不过,詹姆斯解释说,当“编辑看到在线订阅量的增长时”,他们“开始热衷于用Offermatica优化他们的主要业务引擎:页面浏览和广告点击”。

慈善机构和政治宣传部门也可以测试哪些网页设计可以增加他们的收入。实际上,慈善组织已经开始用线下随机化试验探索捐助来源了。实验经济学家迪恩·卡兰(Dean Karlan)和约翰·利斯特(John List)帮助一个非营利倡议组织测试了直邮的有效性,这与信用补偿公司的做法非常类似。他们向过去的捐助者寄出了超过5万封请求捐助的信件。这些信件在是否提供配套捐助以及提供方式上存在区别。一些信件没有提供配套捐助,一些信件提供1∶1配套捐助,一些信件提供2∶1甚至3∶1的配套捐助。1∶1配套捐助承诺使捐助额提高了大约19%。不过,令人吃惊的是,同1∶1配套捐助相比,2∶1和3∶1配套捐助并没有提升捐助额。这项简单实验为慈善机构提供了一个有力的新武器。如果捐助者希望他的资金发挥最大效力,他应该选择1∶1的配套捐助项目。

我们看到,许多决策者都会高估自己的直觉能力。我们认为直觉有道理,因此执着于直觉。随机化测试是判断我们是否正确的一种客观途径。测试是一条没有尽头的道路。人们的品味会改变。昨天有效的事情明天可能就无效了。随机化试验的周期重复测试系统可以确保你的营销工作维持最优状态。超级数据分析的核心是由数据驱动的决策。持续的随机化试验可以确保持续的数据供应,以驱动决策。