Categories
读书有感

实验设计的原则与我的体会

今儿继续读前几天说到的那本书:

Montgomery, Douglas (2013). Design and analysis of experiments (8th ed.). Hoboken, NJ: John Wiley & Sons, Inc. ISBN 9781118146927.

嗯,我读的很慢,唉,求轻拍啊。

刚读完第一章...(默默的跪墙角了,第一章才23页,居然读了这么久!)。看到一些比较有意思的点,抄一下顺便罗嗦一下。

1. 实验设计的原则

基本上就三点吧:随机化、重复、分块(blocking)。

  • 随机化没什么好讲的了,就是保证treatment的分配和其他各种可观测不可观测的variable之间相互独立、相互不受干扰。从我的理解,这大概是源于一条定理(下为简述):
    如果回归方程是,且,那么下面两式估计出来的(均值)一致、估计方差后者小。
    1)
    2)
    所以如果我们保证了treatment和其他各种因素相互独立,就可以直接通过随机试验来读出treatment effect了。
  • 重复。重复这里一方面可以广义的理解为“可重复研究”,另一方面其实很简单的就是样本量要足够(比如不停的抛硬币来判断硬币是不是均衡)。也就是说,只针对少数个体的实验可能受到各种随机外在因素的影响太大,而加大样本量(实验个体)有助于减少这样的误差、同时提高估计的精度。所以,重复更多的是,在相同(或者类似)的个体(情景)上重复同样的treatment/control。
  • 分块。这个主要是排除一些样本间差异的影响。作者给的例子比较直接,有两批原料样本,然后做某种实验。两批原料可能由于批次、厂商不同,相互之间有些差别,但这种差别我们是不关心的。所以评估的时候,就把他们分开、每块单独评估。(或者理解为,回归方程里面加一个批次的dummy variable,然后算方差估计值的时候做一下cluster。

除上述三点之外,还有一个要注意的就是factorize,译作因子化?简单的来讲就是一分为二、是或者否。然后多个因子组合一下...

2. 实验设计的一些要点

这个就是高屋建瓴的说说咯。

  • 利用自己在该领域的知识。否则就是盲测?感觉这个有点像经济学里面强调structual model的那种感觉...
  • 实验设计和分析越简单越好。不是什么高深的技巧都应该一股脑的放在实验设计上的...越高深适应性可能就越差。
  • 认识到实际价值和统计显著性。这个就是说,统计上显著的,实际中不一定有意思。比如花了很大力气,证明了某个treatment effect是显著的,但是提升只有0.01%,却增加10%的成本,那就得不偿失了。
  • 实验往往是递进的。几乎没有一次性的实验是完美的,我们往往是在渐进的实验过程中不断学习。一般第一次实验都是简单而广泛的,更多是一种尝试和探索大致方向。作者建议不要把多余25%的资源投入到第一次实验。

嗯...其实挺好玩的还是,虽然有很多繁琐的地方,但大致的原则和方向还是蛮清晰的。实验设计其实最大的区别就是,不是想尽办法用模型去套现有的数据(黑一下ML),而是想办法更好的搜集数据、从而进一步时间简洁有力的分析(simple, elegant and powerful)。

Categories
读书有感

几个有趣的问题

今儿跑代码的百无聊赖的时间,看了一下昨天收藏的周志华老师的一个演讲:Boosting 25周年。链接在这里:

http://vdisk.weibo.com/s/FcILTUAi9m111

对Adaboost之类的我已经忘得差不多了,还好有当年ESL的笔记可以翻翻。看周老师这张slide,基本上是总结了一下集成学习(ensemble learning)的大概思路。

2014-10-20 15_45_23-CCL2014_keynote-周志华.pdf按照这个思路,Boosting类和bagging以及random forests这种都算作ensemble learning了。然后在简单的回顾了adaboost的前世今生之后,抛出来一个有趣的问题:

理论上我们证明了,Adaboost在多轮学习之后会过拟合,可是为什么实践中很少看到过拟合的现象呢?

嗯...然后就是边界理论和统计观点的两种解释...我就不赘述了,大家去看周老师的slides就好。我好奇的其实是,overfitting本身是怎么可以用一个理论的方法来证明的呢...感觉不那么直观呢...好好奇啊,想找点相关的paper来看看,可又怕是另外一个大坑,上周那个实验设计的大坑还没填平或者弃坑呢。

Categories
读书有感

实验设计的大坑

我总觉得自己学过实验设计——而今却越来越不敢说这句话。这两天一直在感慨:

1. 最近发现一种可怕的感觉:越是学习越是深入了解一个领域,越觉得自己不知道的很多,而且是越来越多。于是越来越不敢对这个领域发表见解,给出的答案也往往越来越保守...

2. 忧伤的表示,那种问个问题直接扔几篇paper作为回答的童鞋,可不可以考虑一下小白的感受,至少先扔个综述来让我了解一下这个领域的概况好么...直接扔篇working paper来说你自己领悟其中奥秘吧,这是闹哪样....

嗯,这就是我现在对实验设计(experiment design)的感受...水很深。

感慨完了上面第2条,就去乖乖的google相关的知识了。首先从wiki下手:http://en.wikipedia.org/wiki/Design_of_experiments,事实证明我的选择是比较正确的...历史痕迹一览无遗:

  • Controlled experimentation on scurvy
  • Statistical experiments, following Charles S. Peirce
  • Randomized experiments
  • Optimal designs for regression models: Response surface methodology
  • Sequences of experiments

瞬间有种拨开云雾见月明的感觉,感觉终于有个清晰的脉络了,残留在脑海各处的零碎的问题终于有个线索可以慢慢追寻了。简单的理解一下这几个东西。

  • Controlled experimentation on scurvy:最开始的控制/对照实验的想法,很简单,就是把12个坏血病人分为六组,然后分别给了六种治疗办法。结果在一周之内,吃柑橘的那组就很快恢复了...所以这就是为什么维生素C叫做坑坏血酸的原因么?啊啊啊....我又跑题了。
  • Statistical experiments, following Charles S. Peirce: 到这个时候开始提出频率和概率的概念,开始强调随机化(randomization)。
  • Randomized experiments:这个时候开始出现随机、双盲、重复试验的概念。
  • Optimal designs for regression models: Response surface methodology. 这里就是从full factorial到response surface,即从多个可能的factor组合中中寻找最优response。第一步是普通的多因子实验,然后找出显著的因子。在此基础之上,进一步实施更为复杂的比如Central composite design,就是选取这些因子的中心点,run实验;然后保持所有其他因子不变,在一个因子中心点前后选两个点,来做二阶多项式拟合。重复此过程直到所有因子都被测试。
    Response_surface_metodology
  • Sequences of experiments:这里就更加灵活,可以通过多期的实验方法来渐进优化。常见的如Multi-armed bandit problem, Gittins index and Optimal design。基本的idea是,按照上一期实验的结果来判断下一期实验的方向。近期的研究可以参考这篇:
    Scott, Steven L. "A modern Bayesian look at the multi‐armed bandit." Applied Stochastic Models in Business and Industry 26.6 (2010): 639-658.

最后关于实验设计...貌似有本handbook式的教科书:

Montgomery, Douglas (2013). Design and analysis of experiments (8th ed.). Hoboken, NJ: John Wiley & Sons, Inc. ISBN 9781118146927.

。。。。。。。。。。。。。。。。

瞬间觉得自己真是跳进了一个大坑。

Categories
事儿关经济

Tirole,诺奖,激励理论

看到今年的诺奖经济学奖,不禁想矫情的回顾一段岁月。(非常矫情)

大三寒假那段格外失意的日子,翻开了拉丰的《激励理论》,从此迈入了Toulouse系基于信息经济学的宏大的委托代理框架。那个时候没有人开这门课,就一个人跑到图书馆里面借来这本书,然后采用最笨的方法:一页一页的抄。不仅仅是抄文字公式,连图都没有放过,一张张认真的临摹下来。这样的日子大概过了两三个月,终于抄完了这本书,其中还是懵懵懂懂的很多。然后决意写论文,就有了第一篇关于声誉制度的讨论的论文。边写边看,对激励理论的理解也就越发的深刻。后面再看Toulouse系的其他书,大都也是这个框架,只是具体问题的差异了。

时隔整整五年后的今天,再回忆那段日子,倒是觉得各种美妙的滋味难以言喻。那是每个“躲进小楼成一统,管他春夏与秋冬”的孤独的前行者都会体味到的美妙之处吧。时至今日,激励理论依旧是我分析问题很重要的一个角度,用博弈的角度看问题,有时候真是风景不同。

听,那年的风声依旧作作呢。

Categories
事儿关经济 经济、IT观察与思考

说说我见过的一个“坐市商”

好久没写科普类文章了。今天想起来以前经历过的一个经典故事,不妨写出来记录一下。挺好玩的。

先列几个关键字:细分市场、价格垄断、坐市商

故事要从大概两三年前讲起。我一直有泡坛子的习惯,这个坛子便指论坛。一般来说,某个细分领域专业的信息肯定是论坛里面的,而不是随便网上搜搜就那么容易搜到的。每一次想进入一个新的领域,我一般都会开始看找个专业论坛泡着,大概泡上个一两个月也差不多把这个领域摸熟了,然后视情况而定是不是继续泡着还是可以走了。

以前经常泡的一个坛子就是一个常旅客论坛。现在这个坛子名气大了,但凡玩常旅客或者甚至跟常旅客无关、只是偶尔有旅游需求的童鞋们和一些信用卡羊毛党都喜欢去那里转转。几年前的时候那个坛子还没有这么多人,所以大家是一个相对封闭的小群体(有段时间论坛只能邀请注册,且大部分帖子都不是对外公开的,需要一定级别才能看到)。论坛里面自然你来我往七嘴八舌讨论的都是一些关于常旅客计划(飞机+酒店)的事情。

但凡人多了,便有了交易的需求。比如帮忙用内部价格定个酒店房间啊,航空里程出售交换啊等等。这里面最让我印象深刻的是,那段时间某酒店集团对其最高级的会员实行邀请函制度,即如果你成为了那1%的最高级会员,便可以有一次机会邀请你的朋友也成为这样的最高等级会员。成为最高等级会员的好处不言而喻:房间升级啊、专人服务啊、免费畅饮mini bar、免费使用行政酒廊啊等等,与此同时大概也是玩这个圈子里面的人一种身份的象征?

由于好处众多,所以开始设计的针对“亲友”的邀请函制度渐渐的变味了,成为了可以私下交易的“高级会员资格证”。一开始的时候,还仅限于论坛一些自身的玩友圈子里,毕竟邀请函的价格也不是那么便宜——当时的市价大概是两三千块钱,可能稍稍有波动,但是离不开这个范围。有些人不喜欢这个酒店集团,或者有些人没那么多的差旅需求,自然不会去购买这样的邀请函。而且一开始拥有邀请函的也只是论坛里面极少数的常旅客达人,所以这个供给和需求都是相对不多的。此外,由于酒店集团本身严厉禁止邀请函的“变现”行为,所以大家也不是特别声张的在做这种地下交易,一般还都是集中在少数几个熟人圈子里面,免得给自己惹麻烦。

当时论坛有位大佬,这里称之为A哥。A哥在那个酒店集团板块混得风生水起,基本上大家都蛮信服他的。在邀请函有交易的那段日子,基本上大家出价或询价的时候都会问一下A哥。若是有人想出的价格比A哥给出的“公允价”高,那么显然他是卖不出去的——A哥手里有多份邀请函的备货(有点垄断的货源,但不是A哥本身卖),一般购买的也就是那么几个人,分分钟把试图卖价更高的无知份子秒杀。如果有人急于出手,比公允价低,那么A哥他们就可以顺势收买过来。

就这样,A哥成为了实质上的“坐市商”,即拥有了这个极为特殊的细分市场的定价权及大部分话语权。有意思的是,A哥本身并没有实质的货源(最终还是需要推荐人来操作),而他凭借的只是多年来在这个市场上积累的信誉和人气,便足以垄断价格。于是该邀请函的价格在接下来的一年多的时间内一直都稳定在两三千块钱。

然后大家都知道的,坛子里最不少见的就是变化,尤以这种极度和职业相关的坛子。大概经过了两三年的光景,慢慢的坛子里面的“老人”就淡出了,新人们慢慢的涌入,论坛的风气慢慢的就变化了(明显的就是年轻的或者爱炫耀的土豪们增多,什么“学生党头等舱穷游世界”,只能呵呵了)。中间经历了多少波折起伏我也不甚清楚,反正我自己是不怎么泡了。前段时间搜一个东西搜到了,就顺便去坛子里面逛了一圈(帐号权限什么的倒是还都在),发现现在同样的邀请函交易还是存在,但A哥们已经不在了。随之而来的就是价格已经一路飙升到四五千,其中还不乏有人囤货居奇、各种炒作什么的。当然市场的变化总是正常的,只是市场的氛围也就乱掉了,不时有人抱怨诈骗啊、不守信用啊什么什么的。反正在这种地下市场中大家都是有点赌运气的成分,单品的价格也不算低,有的时候相互之间的谩骂什么也就在所难免了。我自己而言,还是喜欢以前那个相对明码的市场,至少是有秩序的嘛。现在乱成一团其实挺讨厌的。

想说的只是,有的时候见证一个细分市场的发育过程,还是一件蛮有意思的事情。从一开始的口口相传的信用,到后面越来越多“官方”味道的各种制度的介入,到最后稳定在一个新的市场均衡形态,不知道下一步的市场会如何蓬勃发展还是慢慢消弭。这远比看那些已经非常成熟的市场来的有意思。