type
status
date
slug
summary
tags
category
icon
password
URL
Rating
前几天看 Andrew Ng 讲 EM 算法的视频,又温习了一遍这玩意。
EM (Expectation Maximization) 的想法其实也比较简单。我要最大化似然函数(或者后验概率),但是直接最大化很难。
所以,我找一个似然函数的近似函数,这个近似函数小于等于似然函数,而且局部上充分逼近似然函数(保证至少在某个点两个函数有相同的函数值),而且这个函数比较容易最大化。
要找到一个全局逼近原来似然函数的简单函数(简单是说容易找其最大值点)显然非常不容易。EM 本身是迭代找解的,它的解决方法是找局部近似函数。在初始化模型参数后,EM 首先获得一个在此初始参数附近很逼近似然函数的简单函数,然后找此简单函数的最大化值点,而后模型参数更新到找到的最大化值点;之后我们又获得一个新的简单函数,它在新的参数值附近很逼近似然函数,而后就又找此简单函数的最大化值点;如此循环下去……
所以简单说,EM 就是一个找局部近似函数,而后找此近似函数的最大化值点的迭代过程。
![EM 算法推导过程](https://blog.breezedeus.com/images/em_draft.jpg?t=223524f9-6baa-4ae9-a3be-1c236c5c7547)
<ins/>
- 作者:Breezedeus
- 链接:https://www.breezedeus.com/article/em
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议,转载请注明出处。