em算法及运用emalgorithmandapplication(附件)【字数:5605】
EM为一个迭代的运算措施,用以运算系数的最高值方面的估测。但是呢,它为某些残缺的数据条件下的参数估计提供了一个参照,一种是研究问题中存在的缺失;另一种是原始数据完整,但是求解似然函数的过程十分复杂,通过增加一些数据我们可以将他优化成一个简单的问题。计算机网络技术在现在这个年代发展与日俱进,分别在教育、微博、博客和在线学习共同体等等方面发展起来。数据传输愈加的快速便利,另外还能够和参加人员进行交流,继而推动合作性成长。为能提升互联网成长综艺的成效,信息发掘科技的推出愈加提升了海量信息的解析成效,继而让运用人员可以更高效的获得有效的信息。EM运算措施为一个将归纳原理做基础的比例聚集运算措施,对信息事例开展聚类具备更佳的展现。本文会阐述一个把EM运算措施运用在互联网学习共同体的方案。关键词EM算法;计算机网络;学习共同体
目 录
第一章 导论 6
1.1 背景 6
1.2 研究意义和目的 6
第二章 EM算法理论基础 7
2.1 EM算法的基本步骤 7
2.2 确保EM的收敛 7
第三章 EM算法在网络学习共同体中的应用 10
3.1 EM算法应用方案 10
3.2 数据采集 10
3.3 数据预处理 11
3.4 EM算法进行聚类分析 13
3.5 模式分析评价应用 13
3.6 利用贝叶斯分类器分类文本实验 14
3.6.1 贝叶斯分类原理 14
3.6.2 实验结果 15
3.6.3 结果分析 16
第四章: EM算法在网路学习共同体中的价值 17
结束语 18
致谢 19
参考文献 20
第一章 导论
背景
EM算法的发展历程:
EM运算措施为Dempaster 等人在1977年,给出的解系数最大然似估测【1,2,3】的一个有用的措施【4】研究了EM运算措施的准确收敛度。该措施于观测信息是不是包括隐性变量的时候,对获得信息开展最高值的似然估测,开展多次计算,最后的数据会逐渐最佳化(也就是最逼近实际值)。EM运算措施包 *好棒文|www.hbsrm.com +Q: ¥351916072$
括下述几个流程:E步,运算聚类比例(也就是预期的类别)就是“期望”;M步,运算布局系数,也就是对确定信息的布局开展似然“最高值”运算。
聚类为一个运用最多的信息解析用具,相关的预期为将海量信息点的联合分为几个类别,让所有类里的信息间尽可能的类似,另外差异类里的信息尽可能的展现差异。
研究意义和目的
21世纪是网络的时代,一切的信息都离不开网络,在全球网络化的推动下,知识的更新速度明显提升,这样人们在教育和学习的方式的改变发生了很大的影响。互联网学习共同体能够打破时空方面的制约,实现网络信息的分享,通过多媒体来展现资料,同时利用多类相关用具给予多个方式的沟通机遇,同时也能够促进提升受培养的范畴(不单单限制在一定的人群当中)以及实现学习者的终身学习。
伴着互联网技术的快速成长,愈来愈多的音像和相关信息也在同时出现,信息发掘科技的出现,能够更好的节约使用者由海量信息里择取有效信息的耗时。所讲的信息发掘,其实为由海量杂乱的信息里找出隐性的,高效的,有意义的,能够掌握的方式,继而得到有效的信息,继而找出时间方面的关联度,给使用者给予运算难题的扶持实力。另外,聚类是信息发掘的一个关键措施,也愈加得到民众的注重,另外EM运算措施为比例聚类里运用比较多的一个措施。
第二章 EM算法理论基础
EM算法的基本步骤
目前存在一种演示样本, / ,样本自身和其它没有关联,需得到所有的隐性事例z,可以让/ 最高。
初始化分布参数 /;
(E步)对于每一个i,计算??
#E步骤:由样本的原始数据、前一回迭代的模型系数以运算得到隐含变量之后的比例,也就是隐含变量的预期。作为隐藏变量的现估计值:
(M步)计算
#把似然方程最高值来得到新的系数
确保EM的收敛
假定/和/是EM第t次和//次迭代后的结果。
加入可以证明/ ,结论明显为单一提升的,最终就能够获得似然估测的最高数。下面给出证明,选定/后,得到E步
这一步保证了在给定/时,Jensen不等式中的等式成立,也就是
然后进行M步,固定/,并将/视作变量,对上面的/求导后,得到/,这样经过一些推导会有以下式子成立:
(1)
(2)
(3)
解释第(1)步,得到/时,只是最大化/,也就是/ 的下限,如果并未让方程成立,方程成立仅有于确定//,同时依照E步获得/时才能成立。
况且根据我们前面得到的下式,对于所有的//和//都成立
第(2)步通过M步进行界定,该步其实是把/变动至/,让下限最高化。因此(2)成立。
(3)是之前的等式结果。
这样就证明了/会单调增加。一个收敛形式为/不再变动,另外一个其实为变动比重不大。
再次解释一下(1)、(2)、(3)。第一(1)对全部的系数均达到,另外该方程成立的环境仅为确定/,同时对Q进行变动,让方程成立,但是前一步仅仅为确定Q,变动,无法确保方程确定成立。(1)至(2)其实为M步的概念,(2)至(3)为前述E步确保方程成立的基础。其实是将E步把下限确定至和/一种明确值(该处/)同样的层级,另外这个时候找出下限依然能够提高,所以在通过M步之后,下限同时被太高,然而无法获得和/其它相应数值同样的层级,然后E步同时把下限明确至和该确定值相同的层级,重复下去,直到最大值。
如果我们定义
从前面的推导中我们知道/,EM能够当作为J的坐标抬高措施,E步确定 /,完善Q,M步确定Q完善/。
第三章 EM算法在网络学习共同体中的应用
EM算法应用方案
之后我会阐述EM运算措施于互联网学习共同体里的运用。
目 录
第一章 导论 6
1.1 背景 6
1.2 研究意义和目的 6
第二章 EM算法理论基础 7
2.1 EM算法的基本步骤 7
2.2 确保EM的收敛 7
第三章 EM算法在网络学习共同体中的应用 10
3.1 EM算法应用方案 10
3.2 数据采集 10
3.3 数据预处理 11
3.4 EM算法进行聚类分析 13
3.5 模式分析评价应用 13
3.6 利用贝叶斯分类器分类文本实验 14
3.6.1 贝叶斯分类原理 14
3.6.2 实验结果 15
3.6.3 结果分析 16
第四章: EM算法在网路学习共同体中的价值 17
结束语 18
致谢 19
参考文献 20
第一章 导论
背景
EM算法的发展历程:
EM运算措施为Dempaster 等人在1977年,给出的解系数最大然似估测【1,2,3】的一个有用的措施【4】研究了EM运算措施的准确收敛度。该措施于观测信息是不是包括隐性变量的时候,对获得信息开展最高值的似然估测,开展多次计算,最后的数据会逐渐最佳化(也就是最逼近实际值)。EM运算措施包 *好棒文|www.hbsrm.com +Q: ¥351916072$
括下述几个流程:E步,运算聚类比例(也就是预期的类别)就是“期望”;M步,运算布局系数,也就是对确定信息的布局开展似然“最高值”运算。
聚类为一个运用最多的信息解析用具,相关的预期为将海量信息点的联合分为几个类别,让所有类里的信息间尽可能的类似,另外差异类里的信息尽可能的展现差异。
研究意义和目的
21世纪是网络的时代,一切的信息都离不开网络,在全球网络化的推动下,知识的更新速度明显提升,这样人们在教育和学习的方式的改变发生了很大的影响。互联网学习共同体能够打破时空方面的制约,实现网络信息的分享,通过多媒体来展现资料,同时利用多类相关用具给予多个方式的沟通机遇,同时也能够促进提升受培养的范畴(不单单限制在一定的人群当中)以及实现学习者的终身学习。
伴着互联网技术的快速成长,愈来愈多的音像和相关信息也在同时出现,信息发掘科技的出现,能够更好的节约使用者由海量信息里择取有效信息的耗时。所讲的信息发掘,其实为由海量杂乱的信息里找出隐性的,高效的,有意义的,能够掌握的方式,继而得到有效的信息,继而找出时间方面的关联度,给使用者给予运算难题的扶持实力。另外,聚类是信息发掘的一个关键措施,也愈加得到民众的注重,另外EM运算措施为比例聚类里运用比较多的一个措施。
第二章 EM算法理论基础
EM算法的基本步骤
目前存在一种演示样本, / ,样本自身和其它没有关联,需得到所有的隐性事例z,可以让/ 最高。
初始化分布参数 /;
(E步)对于每一个i,计算??
#E步骤:由样本的原始数据、前一回迭代的模型系数以运算得到隐含变量之后的比例,也就是隐含变量的预期。作为隐藏变量的现估计值:
(M步)计算
#把似然方程最高值来得到新的系数
确保EM的收敛
假定/和/是EM第t次和//次迭代后的结果。
加入可以证明/ ,结论明显为单一提升的,最终就能够获得似然估测的最高数。下面给出证明,选定/后,得到E步
这一步保证了在给定/时,Jensen不等式中的等式成立,也就是
然后进行M步,固定/,并将/视作变量,对上面的/求导后,得到/,这样经过一些推导会有以下式子成立:
(1)
(2)
(3)
解释第(1)步,得到/时,只是最大化/,也就是/ 的下限,如果并未让方程成立,方程成立仅有于确定//,同时依照E步获得/时才能成立。
况且根据我们前面得到的下式,对于所有的//和//都成立
第(2)步通过M步进行界定,该步其实是把/变动至/,让下限最高化。因此(2)成立。
(3)是之前的等式结果。
这样就证明了/会单调增加。一个收敛形式为/不再变动,另外一个其实为变动比重不大。
再次解释一下(1)、(2)、(3)。第一(1)对全部的系数均达到,另外该方程成立的环境仅为确定/,同时对Q进行变动,让方程成立,但是前一步仅仅为确定Q,变动,无法确保方程确定成立。(1)至(2)其实为M步的概念,(2)至(3)为前述E步确保方程成立的基础。其实是将E步把下限确定至和/一种明确值(该处/)同样的层级,另外这个时候找出下限依然能够提高,所以在通过M步之后,下限同时被太高,然而无法获得和/其它相应数值同样的层级,然后E步同时把下限明确至和该确定值相同的层级,重复下去,直到最大值。
如果我们定义
从前面的推导中我们知道/,EM能够当作为J的坐标抬高措施,E步确定 /,完善Q,M步确定Q完善/。
第三章 EM算法在网络学习共同体中的应用
EM算法应用方案
之后我会阐述EM运算措施于互联网学习共同体里的运用。
版权保护: 本文由 hbsrm.com编辑,转载请保留链接: www.hbsrm.com/jsj/sxtj/194.html