1. MCMC (in Bayesian Network Inference)
MCMC的主要步骤：
给定一个贝叶斯网络的query，固定其中的evidence variable，对剩下的non-evidence
variable反复进行如下操作：
1. 随机初始化所有的non-evidence variables
2. 对于某个non-evidence variable，给定其markove blanket对其进行sample
这整个过程是一个markov链，每个状态都对应于query variable的一个sample。将这个过
程进行一段时间后（到达平稳分布），这些所有query variable的取样结果统计一下就可
以得到query variable的近似推理结果。
关于平稳分布（stationary distribution）：
平稳分布要求满足detailed balance的条件(比平稳分布要更强)，即P(X)q(X->X')=P(X')
q(X'->X)。
为了满足detailed balance条件，考虑一个markov chain，其中每个variable的值都是在
给定当钱状态中“所有”其它变量的当前值的情况下进行sample得到的；在贝叶斯网中，这
个条件可以放松到这个variable的markov blanket（在贝叶斯网中，对于一个变量X，X与
其它变量在给定其markov blanket的情况下条件独立）。另外为了处理markov chain的状
态转移，我们可以使用Gibbs Sampling，这可以看成是MCMC的一种特殊情况。
MCMC可以看成是Direct Sampling和Rejection Sampling等近似推理的改进。主要原因是贝
叶斯网络中进行exact inference的计算复杂度代价很高（尤其是当网络结构很复杂的时候
），近似推理可以降低开销并获得很好的效果。
2. Bayesian Network
贝叶斯网是基于贝叶斯规则的一种网络结构（有向无环图），是概率图模型的一种形式。
图的一个节点表示一个状态，图的一条边表示一个因果关系。每一个状态对应一个CPT（条
件概率表），可以用来在贝叶斯网络中进行概率推理。一般来说，条件概率表相对而言都
不大，比联合概率的表示形式要简洁很多，而且一个贝叶斯网可以表达任何一种belief
state，因此贝叶斯网络可以有效地表达很复杂的causal relationship。
上学期学过的概率推理方法有：Variable Elimination和Monte Carlo Sampling以及
likelihood weighting。
3. Stereo Matching with Belief Propagation
这篇文章主要内容有三点：一是利用MRF对Stereo Matching问题建模，二是采用Belief
Propagation对构建好的MRF模型进行概率推理，三是在此基础上增加更多的特征以提高效
果。
MRF也是概率图模型的一种，很适合用于对spatial Constraint进行建模。Markov随机场与
Gibbs Field是等价的，密度P(X) = (1/Z)*exp(-H(X))，Z是一个normalizer，H(X)是
energy function。根据MRF的Markov性质，一个site只和周围临近neighbor相关，我们可
以得到P(X(i)=Y(i)|X(s\i)=x(s\i))=(1/Z(i))exp(-H(y(i)x(s\i)))。当I比较小的时候，
由于X仅在I上进行取值，因此可在合理的时间开销范围内进行求解Z(i)。
在这篇文章中，MRF模型的目的是估算出给定图像以后其真实结构的条件概率。在进行概率
推理的时候，可以采用MCMC的方法，但是本文采用的是Belief Propagation，原因是MCMC
方法的计算开销较大。
Belief Propagation是贝叶斯网中的一种近似推理方法（存在loop的情况下需要迭代）。
BP方法分为Sum Product和Max Product两种，本文采用的是第二种，类似Viterbi算法。
最后，这个MRF模型以constraint的形式综合了其它的特征以提高性能
文章的问题是无法保证得到全局最优解；或许Hidden CRF的效果更好些？不知是否可行？
因为CRF是对序列标注问题的建模，是不是也可以用到这个问题里？它也可以包括进去隐藏
变量（HCRF），CRF得到是全局最优解。
4. Stereo Matching with Color-Weighted Correlation, Hierarchical Belief
Propagation and Occlusion Handling
这篇文章是一种global matching stereo model，主要在于：
(1) 在计算matching cost的时候，采用color weighted correlation；而前一篇文章使用
的是Birchfield and Tomasi像素差进行计算。这样的好处是算法对occlusion boundary不
那么敏感。
(2) Hierarchical Belief Propagation.
(3) Pixel Classification. 这应该是个标记(label)问题
(4) 利用绝对误差来反复迭代优化最后的结果。
No comments:
Post a Comment