频率学派(Frequentist)与贝叶斯学派(Bayesian)

发信人: dychdych (sir), 信区: Statistics
标 题: Frequentist and Bayesian
发信站: Unknown Space - 未名空间 (Fri Nov 14 19:48:02 2003) WWW-POST


有人学了多年统计说不清楚频率学派与贝叶斯学派的区别，什么主观对客观啦，什么似然
函数对后验概率啦，那些都是现象，不是本质。两者本质上的区别是：频率学派把未知参
数看作普通变量，把样本看作随机变量；而贝叶斯学派把一切变量看作随机变量。
数学与统计学最大的区别在于数学研究的是变量，而统计学研究的是随机变量。对统计学
家来说，把一切变量看作随机变量是更自然的事。
如果说贝叶斯学派是纯粹的统计学家，那么频率学派就是数学统计学家，尚处在从数学向
统计学过渡的中间阶段，好比蝌蚪。既然你已经从鱼变成了青蛙，为什么还要保留尾巴呢
？
如果一切变量都是随机变量的话，那么频率学派的很多概念就失去了意义。比如无偏估计
。
若E(T)=t则说统计量T是未知参数t的unbiased estimator。如果参数t是随机变量，那个
等号就毫无意义，因为统计量T的期望E(T)是一个数量，它不可能等于一个随机变量，除
了trivial的情况下。
另外，在对置信区间的含义作解释时，也不用像频率学派那样费劲。什么未知参数是未知
而固定的值，而区间是随机区间，因为区间的端点是统计量，因而也是随机变量，每次随
着观测样本的不同，我们所得到的区间估计也不一样，当试验次数足够大时，大约有95%
的区间包含那个固定的未知参数。多么麻烦！为了能够自圆其说而绕来绕去。
历史上贝叶斯学派一直沉寂主要原因是贝叶斯学派要计算的后验概率非常烦琐，推导来推
导去，最后很多结果没有显式表示。在计算机高度发展的今天以及各种蒙特卡罗数值算法
的引入与普及，贝叶斯学派终将占据统治地位，那时的统计学将是纯粹的统计学。

发信人: yeren (野人), 信区: Statistics
标 题: Re: Frequentist and Bayesian
发信站: Unknown Space - 未名空间 (Fri Nov 14 22:32:55 2003) WWW-POST

呵呵，我不同意你的观点。
先申明我也是Bayesian(or Empirical Bayesian).

频率学派与贝叶斯学派的区别主要是是否允许先验概率分布的使用。
频率学派并不把所有参数看作普通变量（我想应该是known or unknown fixed
variable,姑且用你的名词），比如hierarchical model和random effect model。
而贝叶斯学派在先验分布中也有普通变量,比如hyperprior parameter。

你对无偏估计的论断我也不同意，因为你的定义本身不合理。如果t是随机变量，
你可以用E[T|t]=t,或者在由边际分布得到E[T]=m，一个独立于t的量。

贝叶斯的好处在于贝叶斯的推断问题相对简单，点估计，区间估计和假设检验
全部可以由后验分布得到，尤其是计算机技术的发展和MCMC方法的出现使得
非共轭后验分布的使用和计算成为可能。而且它的理论架构天然符合人渐进
的认识规律。我今天早上刚好还想到可以用“时时勤拂拭，莫使惹尘埃”来
形容贝叶斯学派，恰不恰当大家看看。

但是贝叶斯(Full Bayesian)的问题在于，无信息先验已经被证明是不存在的。所有的先
验
在参数变换后都不可避免的带有主观性。而频率学派用最大似然估计(MLE)则没有这个
问题。频率学派的困难在于如何利用前人已有经验和枢轴统计量的构造。

几十年来两个学派争论不休，都曾经相互断言对方的必将灭亡，但目前都还看不到
迹象。而这期间两者的折衷经验贝叶斯倒发展起来了。经验贝叶斯与传统贝叶斯的
不同是，它用数据来估计(marginal maximum likelihood estimator,MMLE)先验
分布中的参数。因此它为一些频率学派学者所接受。

除了贝叶斯学派和频率学派，还有似然学派。似然学派主张用MLE和LR(likelihood
ratio)
作为推断基础，废除广为使用的p-value。但是似然学派方法应用太难，好象目前看不到
什么曙光（对似然学派我也太清楚，欢迎批驳）。

总之，我觉得贝叶斯学派和频率学派的争论就好象光学波动论和粒子论的争论，也许
最后会有一个更好的框架来统一它（似然学派自认为能担此重任),希望我有生之年
能看到。