这次主要debug了一下Gamma函数，原先计算Scaler的时候直接套用Gamma Function的定义计算，容易导致溢出（用Matlab算几个值就知道了），这次改为用log_gamma()进行计算，避开计算Gamma函数的乘积。貌似这次效果要好些，但是应该还是会有bug，以后再慢慢调不着急嘿嘿。
贴个链接：https://www.cs.indiana.edu/~kduan/rsc/2010/lda-ep-0.2.tar
Tuesday, June 8, 2010
Monday, June 7, 2010
EP-LDA!!!
从开始看LDA到最后初步写完了基于EP的LDA算法！前前后后花了将近三周？忘了，反正很长。。。刚开始时候看LDA的那叫个一头雾水啊。。看到最后才发现，好像不是因为很难，而是自己懂的东西太少了。。Blei的那篇文章从头到尾看下来，发现要是不好好学一下Graphical Model和Machine Learning的话那是基本上在这个方向发展无望的，当然还有最优化相关的知识吧。。。Anyway，今天整理了下代码，感觉还不错嘿嘿。。（狞笑）
废话少说，贴出来几个很有用的reference，算是又一个reading list吧。。。
1. http://research.microsoft.com/en-us/um/people/minka/papers/ep/
这个是Minka所有关于EP的paper list，怎么说的，非常想感慨的一下是，这样的人之所以能有这样好的idea，可能和美国对孩子的教育方式是很有关系的，中国的孩子学习能力超强的，但是又有什么用呢，总是会被别人牵着鼻子走，很难会有很创新的idea。。想到刚刚发布的iphone 4和大陆那么多代工工厂，不禁汗一下，难道中国人生来就是“任劳任怨”的么。。。好像扯淡扯远了，let's make idea!!!
2. http://www.cs.princeton.edu/~blei/.../BleiNgJordan2003.pdf
LDA的开篇之作，没啥可说的，自己写了一个learning notes也一并贴出来，当然写的很简陋，仅仅是这篇paper里边我感觉比较难的地方的推导过程（又一个只会学习的！）请见这里：https://www.cs.indiana.edu/~kduan/rsc/2010/lda-report.pdf
3. http://chasen.org/~daiti-m/dist/lda/
代码框架借鉴的是这位大神，这个是用variational inference也就是原始paper里边的推理方法。代码写的相对来说比较容易懂，所以就没有用Blei自己release的代码，那个应该是写的很完美的，可是比较难理解，对本人这样的菜鸟还是留着以后慢慢研究，哈哈
废话少说，贴出来几个很有用的reference，算是又一个reading list吧。。。
1. http://research.microsoft.com/en-us/um/people/minka/papers/ep/
这个是Minka所有关于EP的paper list，怎么说的，非常想感慨的一下是，这样的人之所以能有这样好的idea，可能和美国对孩子的教育方式是很有关系的，中国的孩子学习能力超强的，但是又有什么用呢，总是会被别人牵着鼻子走，很难会有很创新的idea。。想到刚刚发布的iphone 4和大陆那么多代工工厂，不禁汗一下，难道中国人生来就是“任劳任怨”的么。。。好像扯淡扯远了，let's make idea!!!
2. http://www.cs.princeton.edu/~blei/.../BleiNgJordan2003.pdf
LDA的开篇之作，没啥可说的，自己写了一个learning notes也一并贴出来，当然写的很简陋，仅仅是这篇paper里边我感觉比较难的地方的推导过程（又一个只会学习的！）请见这里：https://www.cs.indiana.edu/~kduan/rsc/2010/lda-report.pdf
3. http://chasen.org/~daiti-m/dist/lda/
代码框架借鉴的是这位大神，这个是用variational inference也就是原始paper里边的推理方法。代码写的相对来说比较容易懂，所以就没有用Blei自己release的代码，那个应该是写的很完美的，可是比较难理解，对本人这样的菜鸟还是留着以后慢慢研究，哈哈
Subscribe to:
Posts (Atom)