Maximum Likelihood (MLE) & Maximum a posteriori (MAP)的分別

有趣且淺顯易懂的舉例

剛剛在找MAP的資料,無意中找到有人寫的一個有趣的文章,拿減肥當例子真的是淺顯易懂 XD

如果拿 Artificial Intelligence: A Modern Approach (ISBN-10: 0137903952, ISBN-13: 978-0137903955 , find it in Amazon)這本書裡頭的例子來說的話是這樣:

假設有五個袋子,各袋中都有無限量的餅乾(櫻桃口味或檸檬口味),已知五個袋子中兩種口味的比例分別是

  1. 櫻桃 100%
  2. 櫻桃 75% + 檸檬 25%
  3. 櫻桃 50% + 檸檬 50%
  4. 櫻桃 25% + 檸檬 75%
  5. 檸檬 100%

如果只有如上所述條件,那問從同一個袋子中連續拿到2個檸檬餅乾,那麼這個袋子最有可能是上述五個的哪一個?其實答案很明顯為#5,因為從#5袋子連續拿到五個檸檬口味餅乾的機率為1,其他#1~#4分別為0, 0.25^2, 0.5^2, 0.75^2,這時候我們是用MLE來解。

但是今天如果多增加一些條件,假設拿到#1或#5的機率都是0.1,拿到#2或#4的機率都是0.2,拿到#3的機率是0.4,那同樣上述問題的答案呢?這個時候就變MAP了。

假設 P(hi | d) 為挑中第i個袋子然後連續拿出2個檸檬口味的餅乾,那麼根據Bayesian Prob.

P(hi | d) = P(hi) P(d | hi)/P(d)

而其中P(d) = 1 (因為已經說連續拿出2個檸檬口味餅乾了),P(hi)則分別為(0.1, 0.2, 0.4, 0.2, 0.1),P(d | hi)分別為(0, 0.25^2, 0.5^2, 0.75^2, 1^2),這樣就可以算出P(hi | d),結果會發現P(h4 | d) (第4個袋子)為最高。

其他相關連結: MAP & MLE on Wikipedia