why-what-how方式的机器学习总结之二

栏目: 数据库 · 发布时间: 6年前

内容简介:上面式子算的是z的后验概率,分子是样本xi属于zj的概率,分母是样本xi属于每个zi的概率之和,因为有了参数确定的条件所以分母是个边缘分布而不是等于1。M-step就是根据之前最大似然的结果把z的概率代入计算即可。这个过程实际上是固定z,然后最大化似然函数L(θ)求解对应的θ。EM算法能收敛,但可能会收敛到局部最大值,如果函数是凸函数才能保证收敛到全局最大值。

上面式子算的是z的后验概率,分子是样本xi属于zj的概率,分母是样本xi属于每个zi的概率之和,因为有了参数确定的条件所以分母是个边缘分布而不是等于1。

M-step就是根据之前最大似然的结果把z的概率代入计算即可。这个过程实际上是固定z,然后最大化似然函数L(θ)求解对应的θ。

EM算法能收敛,但可能会收敛到局部最大值,如果函数是凸函数才能保证收敛到全局最大值。

how

EM的推导过程有点长,这里只记录关键过程

why-what-how方式的机器学习总结之二

这个过程用了几个技巧

(1)分子分母同时增加了Q(z)项

(2)不等号这里用到了Jensen不等式

(3)第一步和最后一步都用到了期望的定义


以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

零基础学Java Web开发

零基础学Java Web开发

刘聪 编 / 机械工业出版社 / 2008-1 / 59.00元

《零基础学Java Web开发:JSP+Servlet+Sfruts+Spring+Hibernte》全面讲解Java Web应用开发的编程技术,并详细介绍Java Web开发中各种常用的技术,可作为Java Web开发技术的学习指南。 《零基础学Java Web开发:JSP+Servlet+Sfruts+Spring+Hibernte》共17章,分为3篇,其中第1~12章是基础篇,讲解了......一起来看看 《零基础学Java Web开发》 这本书的介绍吧!

JS 压缩/解压工具
JS 压缩/解压工具

在线压缩/解压 JS 代码

JSON 在线解析
JSON 在线解析

在线 JSON 格式化工具

Markdown 在线编辑器
Markdown 在线编辑器

Markdown 在线编辑器