不讨喜的经济学家怎么砸场子

2016年8月27日 | By News | Filed in: 未分类.

Source: http://zhuanlan.zhihu.com/p/22115510?utm_campaign=rss&utm_medium=rss&utm_source=rss&utm_content=title

Lewis和Rao,来自谷歌和微软的两位经济学家,与雅虎合作,质疑了借助随机试验测量广告收益的研究。论文原题目叫On the Near Impossibility of Measuring the Returns to Advertising(测量广告回报几乎不可能),现在叫The Unfavorable Economics of Measuring the Returns to Advertising(测量广告回报的不讨喜经济学),究竟哪个语气更不客气,我也不好说。对于流行的A/B测试等方法,这篇文章提醒我们要多点心眼。一句话,除非你有几百万个样本,否则这类实验很难做到结果靠谱。

文章极简单,故简短叙述。假设广告主做实验,放两个页面,一个有准备投放的广告,另一个是对照组。记看到前者产生的销售量为y_{E} ,后者产生销售量为y_{U} ,是否看到广告是一哑元变量x,看到广告则取1,看到对照组则取0。再记\Delta y=y_{E}-y_{U}  ,销售量方差估计值是\sigma ,样本总数是N。假设实验能够做得很完美,做到完全随机的程度(实际不可能完全随机,一般这会降低结果有效程度),此时有y=\beta x+\epsilon ,可以分别推导出回归的R^{2} t值,表达式分别如上图所述。

问题出在哪里?两位作者指出,人均广告支出低加销售额本身波动大是导致实验效果差的主要原因。设人均广告成本c,带来销量增长\beta (c),每一份销量平均利润m,则投放广告总收益是\beta (c)*m-c。厂商理论上应选择\beta ^{'} (c)*m=1点来达致利润最大化,上图给出了这一条件的图解:最优点即是曲线\beta ^{'}(c) *m斜率为1的点。实际运营广告主不可能清晰了解整条曲线,只能不停做实验来逼近这个最优点、假如一份产品边际利润比较好算,那就只需要选择一些广告开支做实验,然后想办法逼近这个最优点。实际一般用ROI=\frac{\beta (c)*m-c }{c} 来设定目标。

为什么这种做法不可靠?作者首先给了一个简单的数值例子。需要指出的一点是:本文使用数据几乎全部来自实际进行的实验或真实存在的企业,但由于保密要求没有公开具体来源。回到一开始我们贴的那两个式子,代入真实数据:一家企业投入人均0.14美元做在线广告,发现对照组人均消费7美元,看到广告的组别人均消费7.35美元,销售额相差5%。另有平均利润是50%,期间销售额标准差是75美元,代入第一个式子可算得R^{2} =0.0000054(见上图),非常低。再考虑第二个式子,如果有200000个样本,即N=200000t值只有1.04,这意味着74%的时候我们都没法拒绝“做广告压根没效果”这一原假设。样本数量要上升到2000000,我们才能勉强得到5%水平上的显著性。

空口无凭,两位作者和雅虎,以及25家“我们可能都知道名字但不能告诉你叫啥”名字的企业合作做了实验。25家企业,19家销售实体商品,6家提供金融服务。前者以线下+线上总销售额作为目标,后者以新增开户量作目标。所有企业都砸了一笔钱,少的1万美元,多的60万美元,总投入2848000美元,算是比较贵的经济学文章了。实验样本,少的28万,多的将近1800万。实验细节很简单:有的用户看得到广告,有的看不到。有些实验对象一直没上网,作者特意考虑了这种情况。另外有些组别对照组同一位置是空白,有的则是一个慈善基金会广告,作者也区分了这两种情况。更多细节请参见文章附录。

直接上结果。企业名字都不公开,不过作者似乎多次暗示,“这些企业你肯定知道哟”。前面提到ROI这个指标,销售实体商品企业直接用平均利润,金融服务企业则用客户终身价值(lifetime value)。上图第6列是估计得到平均新增销售额/开户数量,可以看到数额基本都很小。第8列是人均广告开支,第9列是平均利润/终生价值。第10列是估计得到ROI,也就是人均广告收益的标准差,可以看到数值都比较大。虽然有一家得到9%,特别好的估计值,但也有很多企业估计结果在100%以上。

最关键结果在此。四列各有两个变量:希望检验目标假设的t值和如果希望t值达到3,在保持完美实验前提假定下,为达到t值等于3(91%水平上显著),样本需要扩大倍数。第一列,广告有没有增加销售额/开户数量?金融企业结果无一显著,实体商品大部达标。以企业7.1为例,之前实验已经用了将近1800万样本,现在还要乘2,显然很难达到。第二列,有没有达到利润目标,此时绝大部分结果都不显著。最后一列,是不是达到利润最大化?此时t值最高也就0.5左右,为达到显著,样本至少要大几十倍,估计得覆盖整个美国了。这还是假定完美实验前提下的计算。如果实验本身没有处理干净,可信度很可能进一步下降。

最后总结:两位作者做了一篇不讨喜的研究,用大价钱实验数据,结合雅虎、谷歌、微软资源(他们在鸣谢中感谢了“数不清的工程师们”)说明,做实验来看广告是否能有效提高企业利润很难,甚至可能完全不可行。这一结论不仅能应用于广告,只要实验希望检验的指标绝对数额小而波动大,同样结论就可能成立。文章无意完全否定类似方法,只是提醒我们它并非万能。尤其是要注意行业特点。像金融服务类企业,从研究来看,做实验可能就没那么好。还有一点个人感受就是做研究,经费充足真的很重要。细节请参考原文及附录。

参考文献:

Lewis R A, Rao J M. The Unfavorable Economics of Measuring the Returns to Advertising[J]. The Quarterly Journal of Economics, 2015.

Lewis R A, Rao J M. The Unfavorable Economics of Measuring the Returns to Advertising: Online Appendix[J].

来源:知乎 www.zhihu.com

作者:Manolo

【知乎日报】千万用户的选择,做朋友圈里的新鲜事分享大牛。
点击下载


Comments are closed here.