2012年,微软的一位Bing的工程师想改变广告标题在Bing的搜索结果中的展现方式。实现这个想法只需要几行代码,但是它被淹没在成百上千的新提议中,没有受到重视。直到6个月后,一名工程师重拾了这个“遗珠”,在Bing上测试了一个实验——A/B Test。通过A/B Test,一部分的用户可以看到改变后的广告展示方式,而另一部分用户看到的界面保持原样不变,以此测试效果。惊人的是,几小时内新的广告展示方式就产生了极高的广告收入,高到监测系统误认为这是一个程序内的bug。这个小小的改变,成功将Bing的收益提高了12%,即每年1亿美金。可谓是Bing史上最厉害的赚钱点子了。 Bing的这个例子告诉我们,一一测试所有的新点子,绝对是一件大工程。但是人们也开始意识到,如果同时进行多个版本简单的测试,性价比极高。 时至今日,Microsoft,Amazon,Booking.com,Facebook,和Google,这样的大体量互联网公司每年进行的实验高达上万个,测试几百万用户的行为。而初创公司,和对互联网依赖程度较低的公司,像Walmart,租车公司,航空公司,也会定期进行小规模测试。因为决策者们普遍发现,“测试一切”的方法能为公司带来极大回报。对Bing来说,A/B测试每月成功地帮助公司敲定了和数十个收益相关的改动,这些改动每年将Bing每次搜索的收益增加了10%-25%。… Read More »微软、亚马逊、脸书如何靠AB测试创收上亿美金?