基于贝叶斯理论的多聚焦图像融合
基于贝叶斯理论的多聚焦图像融合[20191215144208]
摘要
现实应用中，一些光学镜头往往不能同时聚焦场景中的多个目标，这种情况导致某些感兴趣目标不清晰。如何融合多幅图像获得全面清晰图像成为目前研究的热点。
多聚焦图像融合作为图像融合的一个重要分支，正日益广泛地应用于机器视觉、目标识别、数码相机等领域。该技术旨在从关于同一场景不同聚焦的图像中提取出聚焦区域，然后通过融合算法获得所有目标对象均聚焦的融合效果。因此开展多聚焦图像融合技术具有重要的研究意义。
本文针对多聚焦图像融合问题，开展基于贝叶斯理论的融合方法的研究。首先对传感器获取的原始图像进行建模；其次采用Laplacian金字塔方法对图像进行多分辨率的分解；然后对分解后的图像利用贝叶斯估计的方法进行融合估计；最后进行金字塔反变换得到最后的融合图像。另外，论文通过与多种融合算法的比较，从主观与客观两个角度对该算法进行了分析和评价。
查看完整论文请+Q: 351916072
关键字:字多聚焦；图像融合；贝叶斯估计；Laplacian;
目录
摘要 I
Abstract II
目录 III
第一章 绪论 1
1.1 课题研究背景和研究意义 1
1.1.1 研究背景 1
1.1.2 研究意义 1
1.2 国内外研究现状 2
1.3 存在的问题 4
1.4 论文的主要研究内容 4
第二章 多聚焦图像融合理论及方法 6
2.1 多聚焦图像的成像原理 6
2.2 多聚焦图像融合的主要方法 8
2.2.1基于空域的多聚焦图像融合方法 8
2.2.2 基于频域的多聚焦图像融合方法 13
2.3 评价方式 15
2.3.1视觉评价 16
2.3.2指标评价 16
2.4 小结 18
第三章 基于贝叶斯估计的图像融合算法 19
3.1 贝叶斯估计 19
3.2 贝叶斯估计融合的方法原理 20
3.2.1 拉普拉斯金字塔分解与重构 21
3.2.2 贝叶斯估计融合的过程 23
3.2.3 模型的参数估计 24
3.3 融合结果分析 25
3.3.1 融合图像与原图像的比较 25
3.3.2 不同融合方法间的比较 28
3.4 小结 32
第四章 总结和展望 33
4.1 总结 33
4.2 展望 33
参考文献 34
致谢 37
附录A 文献翻译 38
第一章 绪论
1.1 课题研究背景和研究意义
1.1.1 研究背景
随着传感器技术的发展，单一的可见光模式逐渐发展为多种传感器模式。各种传感器具有不同的成像机理、不同的工作波长范围、不同的工作环境与要求，完成不同的功能。由于传感器自身物理特性、成像机理和观察视角等各个方面的种种限制，单一的图像传感器往往不能够从场景中提取足够的信息，以至于很难甚至无法独立获得对一副场景的全面描述。这就需要研究多源图像融合。利用图像传感器获得的图像(成像探测)可以直观地获取目标的外形或基本结构信息，可有效的识别目标或目标的特定部位，它是提高精确制导武器抗干扰能力、目标识别能力以及精确探测能力最基本、最有效的手段。为了满足实际中的需要，充分利用多传感器的数据信息，各种数据融合技术快速发展起来，达到将多传感器获得的丰富信息合并到一个新的数据集中。
1.1.2 研究意义
图像融合是数据融合的一个非常重要的分支，是20世纪70年代后期提出的概念，是综合传感器、图像处理、信号处理、计算机及人工智能的现代高新技术。图像融合就是通过一个特定算法将两幅或多幅图像合成一副新的图像。它的主要思想是采用一定的算法，把工作在不同波长范围、具有不同成像机理的图像传感器对同一个场景的多个成像信息融合成一个新图像，从而使融合的图像可信度更高，模糊较少，可理解性更好，更适合人的视觉及计算机检测、分类、识别、理解等处理。
由各种传感器的性能特点可见，不同传感器对于场景的描述是完全不同的。通过对来自多个传感器的图像进行融合处理后，获得的融合图像包含了单一传感器无法提供的信息。
图像融合将带来以下好处：
(1)利用多个传感器提供的冗余信息可提高融合图像的精确性及可靠性。融合图像具有较强的鲁棒性，即使个别传感器故障也不会对融合图像产生严重影响；
(2)利用多个传感器提供的互补信息，融合后的图像包含了更为全面、丰富的信息，其更符合人或机器的视觉特性、更有利于对图像的进一步分析处理以及自动目标识别；
(3)在不利的环境条件下(例如烟、尘、云、雾、雨等)，通过多传感器图像融合可以改善检测性能。例如，在烟、尘、云、雾环境下，TV(可见光)图像质量差(甚至无法看清目标)，而毫米波雷达获得的图像对于烟、尘、云、雾却有较强的穿透能力，尽管信号会有些衰减，但任然可获得较清晰的图像。
目前，图像融合技术在许多领域都得到了广泛的应用，包括遥感图像的分析和处理、自动识别、计算机视觉、医学图像处理。在军事领域，图像融合技术在精确制导、自助式炮弹、微型军用机器人、战场侦察车及目标跟踪器等系统中发挥了重要作用。例如：
(1)红外图像与可见光图像的融合可以更好地帮助直升机飞行员进行导航；
(2)CT与磁共振MRI图像的融合有利于医生对疾病进行准确的诊断；
(3)Landsat TM图像与SPOT图像的融合记成了TM图像的多光谱特点和SPOT图像的高空间分辨率特点，有利于对目标的提取和分类；
(4)可见光图像与红外或毫米波图形的融合可以增强藏匿武器的检测能力和精度等。
因此，对图像融合技术展开深入的研究，对国民经济的发展和国防事业的建设均具有非常重要的意义。
1.2 国内外研究现状
近二十年来，多传感器图像融合技术在军事、航空航天、自动控制、遥感遥测、医学、气象等领域正发挥着越来越大的作用，能够融合的图像种类也越来越多[1]。美国是信息融合技术研究起步较早、发展最快的国家。七十年代初，在美国国防部资助开发的声纳信号理解系统中，融合技术得到了最早的应用。自二十世纪八十年代以来，美国三军总部对多光谱信息融合技术和战略监视系统一直给予高度重视，美国国防部从海湾战争中体会到该技术的巨大应用潜力，以后逐年加大投资力度，建立了关于数据融合的军用系统。英、法等发达国家在图像融合方面起步也较早，投入较大，在融合算法和实际应用融合系统的研究上处于领先的地位，迄今为止已研制出上百种极具应用价值的图像融合系统。
国内，图像融合理论近几年成为研究热点，西北工业大学、国防科技大学、北京理工大学、西安电子科技大学、华中科技大学等院校在图像融合理论和应用系统的研究方面都做了很多工作，但与国际先进水平依然有较大差距，有待于进一步提高[2]。
传统图像融合方法主要有基于彩色空间变换融合方法IHS(Intensity Hue Saturation)变换法[3]、主分量分析(PCA)法[4]等。这些方法在进行融合处理时都不对参加融合的图像进行分解变换，属于较为简单的图像融合方法。到80年代中期，人们又提出了基于金字塔分解图像融合方法[5]，其中包括拉普拉斯金字塔、梯度金字塔、对比度金字塔等，并开始讲图像融合应用于一般图像处理，但由于层间分解量之间具有相关性，导致融合效果不理想。90年代随着小波变换理论的广泛应用[6]，小波变换也为图像融合技术添加了新工具，使得图像融合技术的研究也呈现不断上升趋势。现有的在小波变换域中进行图像融合的方法有基于极大值、局部能量、局部方差等融合算子[7-9]。
但是由一维小波展开成的二维可分离小波只具有有限的方向，不能“最优”表示含线或者面的奇异的高维函数。2002年Do M. N和Vetterli M.提出Contourlet 变换[10-11]，是一种“真正”的二维图像的稀疏表示方法，它不仅继承了小波变换的多分辨率的时频分析特征，而且还拥有良好的各向异性特征，它能用比小波变换更少的系数来表示光滑的曲线，抓住图像的几何结构。2006年Arthur L.Cunha等[12-13]在Contourlet变换的基础上提出了非亚采样Contourlet变换(NSCT)[13-16]，相对于Contourlet变换，NSCT不仅具有多尺度、良好的空域和频域局部特性和方向特性外，还具有平移不变性。在此基础上，基于多分辨率的融合得到广泛应用和发展[16-20]。
近年来，基于统计参数估计的方法开始应用于遥感图像的融合中。.Nishii 等假设全色波段图像和待估计的多光谱图像的概率分布服从联合 Gauss 分布，用条件均值作为估计。.Hardie 等在上述联合 Gauss 分布假设的基础上引入了待估计的高分辨率图像和已测到的低分辨率图像之间的观测模型，得到最大后验概率(MAP)。事实证明这些方法是可行的，但是其缺点在于要求先验地假设全色波段图像和待估计的多光谱图像的概率分布服从联合 Gauss 分布，并且算法的性能主要依赖于全色波段图像和多光谱图像之间的互协方差矩阵。那些与全色波段图像相关性不强的多光谱波段的图像往往很难融入全色波段图像的空间信息。为了解决这些缺点，有人提出了 Bayes 线性估计方法，该方法对全色波段图像和待估计的多光谱图像之间的分布形式没作任何假设，只需要待估计图像的均值和协方差，因此该方法的性能对于全色波段图像和多光谱图像之间的统计相关性依赖较小，算法的鲁棒性较好。因此，该方法得到广泛的应用和发展。
虽然图像融合领域的研究已经取得较大的成绩，形成一些十分有效的算法，但绝大部分融合算法都是针对具体应用而提出的，由于实际中图像特性相差较大，所以环境改变后融合算法就很容易失效，到目前为止，图像融合技术还没有建立起一个统一的理论框架体系，图像融合入领域还有很多问题需要解决。
1.3 存在的问题
近年来，随着多聚焦图像融合技术研究的深入：
(1) 目前对多聚焦图像融合的方法的研究是建立在一般融合技术基础上的，所开展的研究工作处于试探性或仿真性的阶段。图像融合虽然有如人工智能、小波分析等前沿技术应用，但是系统理论不够完备。
(2) 现有算法缺乏针对不同的图像信息而具备稳定性。比如基于块融合算法当中，固定大小的块对某多聚焦图像融合有效，但用于其它图像时效果就会受到较大影响。
(3) 根据其本身应用需求，多聚焦图像融合对实时性要求较高，而现有算法少有并行执行，这就限制了融合的效率。
1.4 论文的主要研究内容
第一章介绍图像融合的背景和意义。
第二章介绍多聚焦图像融合的基本理论，熟悉多聚焦图像融合的几种方法及其相应的算法，以及了解图像融合的评价指标和其融合效果评定。
第三章介绍贝叶斯估计、拉普拉斯金字塔分解和重构、贝叶斯融合的原理、贝叶斯融合的过程以及模型的参数估计。
第四章分析几组基于贝叶斯估计的多聚焦图像融合方法的图像效果，以及与小波融合方法、像素取大/取小融合方法、拉普拉斯金字塔融合方法的比较。
第二章 多聚焦图像融合理论及方法
2.1 多聚焦图像的成像原理
摘要
现实应用中，一些光学镜头往往不能同时聚焦场景中的多个目标，这种情况导致某些感兴趣目标不清晰。如何融合多幅图像获得全面清晰图像成为目前研究的热点。
多聚焦图像融合作为图像融合的一个重要分支，正日益广泛地应用于机器视觉、目标识别、数码相机等领域。该技术旨在从关于同一场景不同聚焦的图像中提取出聚焦区域，然后通过融合算法获得所有目标对象均聚焦的融合效果。因此开展多聚焦图像融合技术具有重要的研究意义。
本文针对多聚焦图像融合问题，开展基于贝叶斯理论的融合方法的研究。首先对传感器获取的原始图像进行建模；其次采用Laplacian金字塔方法对图像进行多分辨率的分解；然后对分解后的图像利用贝叶斯估计的方法进行融合估计；最后进行金字塔反变换得到最后的融合图像。另外，论文通过与多种融合算法的比较，从主观与客观两个角度对该算法进行了分析和评价。
查看完整论文请+Q: 351916072
关键字:字多聚焦；图像融合；贝叶斯估计；Laplacian;
目录
摘要 I
Abstract II
目录 III
第一章 绪论 1
1.1 课题研究背景和研究意义 1
1.1.1 研究背景 1
1.1.2 研究意义 1
1.2 国内外研究现状 2
1.3 存在的问题 4
1.4 论文的主要研究内容 4
第二章 多聚焦图像融合理论及方法 6
2.1 多聚焦图像的成像原理 6
2.2 多聚焦图像融合的主要方法 8
2.2.1基于空域的多聚焦图像融合方法 8
2.2.2 基于频域的多聚焦图像融合方法 13
2.3 评价方式 15
2.3.1视觉评价 16
2.3.2指标评价 16
2.4 小结 18
第三章 基于贝叶斯估计的图像融合算法 19
3.1 贝叶斯估计 19
3.2 贝叶斯估计融合的方法原理 20
3.2.1 拉普拉斯金字塔分解与重构 21
3.2.2 贝叶斯估计融合的过程 23
3.2.3 模型的参数估计 24
3.3 融合结果分析 25
3.3.1 融合图像与原图像的比较 25
3.3.2 不同融合方法间的比较 28
3.4 小结 32
第四章 总结和展望 33
4.1 总结 33
4.2 展望 33
参考文献 34
致谢 37
附录A 文献翻译 38
第一章 绪论
1.1 课题研究背景和研究意义
1.1.1 研究背景
随着传感器技术的发展，单一的可见光模式逐渐发展为多种传感器模式。各种传感器具有不同的成像机理、不同的工作波长范围、不同的工作环境与要求，完成不同的功能。由于传感器自身物理特性、成像机理和观察视角等各个方面的种种限制，单一的图像传感器往往不能够从场景中提取足够的信息，以至于很难甚至无法独立获得对一副场景的全面描述。这就需要研究多源图像融合。利用图像传感器获得的图像(成像探测)可以直观地获取目标的外形或基本结构信息，可有效的识别目标或目标的特定部位，它是提高精确制导武器抗干扰能力、目标识别能力以及精确探测能力最基本、最有效的手段。为了满足实际中的需要，充分利用多传感器的数据信息，各种数据融合技术快速发展起来，达到将多传感器获得的丰富信息合并到一个新的数据集中。
1.1.2 研究意义
图像融合是数据融合的一个非常重要的分支，是20世纪70年代后期提出的概念，是综合传感器、图像处理、信号处理、计算机及人工智能的现代高新技术。图像融合就是通过一个特定算法将两幅或多幅图像合成一副新的图像。它的主要思想是采用一定的算法，把工作在不同波长范围、具有不同成像机理的图像传感器对同一个场景的多个成像信息融合成一个新图像，从而使融合的图像可信度更高，模糊较少，可理解性更好，更适合人的视觉及计算机检测、分类、识别、理解等处理。
由各种传感器的性能特点可见，不同传感器对于场景的描述是完全不同的。通过对来自多个传感器的图像进行融合处理后，获得的融合图像包含了单一传感器无法提供的信息。
图像融合将带来以下好处：
(1)利用多个传感器提供的冗余信息可提高融合图像的精确性及可靠性。融合图像具有较强的鲁棒性，即使个别传感器故障也不会对融合图像产生严重影响；
(2)利用多个传感器提供的互补信息，融合后的图像包含了更为全面、丰富的信息，其更符合人或机器的视觉特性、更有利于对图像的进一步分析处理以及自动目标识别；
(3)在不利的环境条件下(例如烟、尘、云、雾、雨等)，通过多传感器图像融合可以改善检测性能。例如，在烟、尘、云、雾环境下，TV(可见光)图像质量差(甚至无法看清目标)，而毫米波雷达获得的图像对于烟、尘、云、雾却有较强的穿透能力，尽管信号会有些衰减，但任然可获得较清晰的图像。
目前，图像融合技术在许多领域都得到了广泛的应用，包括遥感图像的分析和处理、自动识别、计算机视觉、医学图像处理。在军事领域，图像融合技术在精确制导、自助式炮弹、微型军用机器人、战场侦察车及目标跟踪器等系统中发挥了重要作用。例如：
(1)红外图像与可见光图像的融合可以更好地帮助直升机飞行员进行导航；
(2)CT与磁共振MRI图像的融合有利于医生对疾病进行准确的诊断；
(3)Landsat TM图像与SPOT图像的融合记成了TM图像的多光谱特点和SPOT图像的高空间分辨率特点，有利于对目标的提取和分类；
(4)可见光图像与红外或毫米波图形的融合可以增强藏匿武器的检测能力和精度等。
因此，对图像融合技术展开深入的研究，对国民经济的发展和国防事业的建设均具有非常重要的意义。
1.2 国内外研究现状
近二十年来，多传感器图像融合技术在军事、航空航天、自动控制、遥感遥测、医学、气象等领域正发挥着越来越大的作用，能够融合的图像种类也越来越多[1]。美国是信息融合技术研究起步较早、发展最快的国家。七十年代初，在美国国防部资助开发的声纳信号理解系统中，融合技术得到了最早的应用。自二十世纪八十年代以来，美国三军总部对多光谱信息融合技术和战略监视系统一直给予高度重视，美国国防部从海湾战争中体会到该技术的巨大应用潜力，以后逐年加大投资力度，建立了关于数据融合的军用系统。英、法等发达国家在图像融合方面起步也较早，投入较大，在融合算法和实际应用融合系统的研究上处于领先的地位，迄今为止已研制出上百种极具应用价值的图像融合系统。
国内，图像融合理论近几年成为研究热点，西北工业大学、国防科技大学、北京理工大学、西安电子科技大学、华中科技大学等院校在图像融合理论和应用系统的研究方面都做了很多工作，但与国际先进水平依然有较大差距，有待于进一步提高[2]。
传统图像融合方法主要有基于彩色空间变换融合方法IHS(Intensity Hue Saturation)变换法[3]、主分量分析(PCA)法[4]等。这些方法在进行融合处理时都不对参加融合的图像进行分解变换，属于较为简单的图像融合方法。到80年代中期，人们又提出了基于金字塔分解图像融合方法[5]，其中包括拉普拉斯金字塔、梯度金字塔、对比度金字塔等，并开始讲图像融合应用于一般图像处理，但由于层间分解量之间具有相关性，导致融合效果不理想。90年代随着小波变换理论的广泛应用[6]，小波变换也为图像融合技术添加了新工具，使得图像融合技术的研究也呈现不断上升趋势。现有的在小波变换域中进行图像融合的方法有基于极大值、局部能量、局部方差等融合算子[7-9]。
但是由一维小波展开成的二维可分离小波只具有有限的方向，不能“最优”表示含线或者面的奇异的高维函数。2002年Do M. N和Vetterli M.提出Contourlet 变换[10-11]，是一种“真正”的二维图像的稀疏表示方法，它不仅继承了小波变换的多分辨率的时频分析特征，而且还拥有良好的各向异性特征，它能用比小波变换更少的系数来表示光滑的曲线，抓住图像的几何结构。2006年Arthur L.Cunha等[12-13]在Contourlet变换的基础上提出了非亚采样Contourlet变换(NSCT)[13-16]，相对于Contourlet变换，NSCT不仅具有多尺度、良好的空域和频域局部特性和方向特性外，还具有平移不变性。在此基础上，基于多分辨率的融合得到广泛应用和发展[16-20]。
近年来，基于统计参数估计的方法开始应用于遥感图像的融合中。.Nishii 等假设全色波段图像和待估计的多光谱图像的概率分布服从联合 Gauss 分布，用条件均值作为估计。.Hardie 等在上述联合 Gauss 分布假设的基础上引入了待估计的高分辨率图像和已测到的低分辨率图像之间的观测模型，得到最大后验概率(MAP)。事实证明这些方法是可行的，但是其缺点在于要求先验地假设全色波段图像和待估计的多光谱图像的概率分布服从联合 Gauss 分布，并且算法的性能主要依赖于全色波段图像和多光谱图像之间的互协方差矩阵。那些与全色波段图像相关性不强的多光谱波段的图像往往很难融入全色波段图像的空间信息。为了解决这些缺点，有人提出了 Bayes 线性估计方法，该方法对全色波段图像和待估计的多光谱图像之间的分布形式没作任何假设，只需要待估计图像的均值和协方差，因此该方法的性能对于全色波段图像和多光谱图像之间的统计相关性依赖较小，算法的鲁棒性较好。因此，该方法得到广泛的应用和发展。
虽然图像融合领域的研究已经取得较大的成绩，形成一些十分有效的算法，但绝大部分融合算法都是针对具体应用而提出的，由于实际中图像特性相差较大，所以环境改变后融合算法就很容易失效，到目前为止，图像融合技术还没有建立起一个统一的理论框架体系，图像融合入领域还有很多问题需要解决。
1.3 存在的问题
近年来，随着多聚焦图像融合技术研究的深入：
(1) 目前对多聚焦图像融合的方法的研究是建立在一般融合技术基础上的，所开展的研究工作处于试探性或仿真性的阶段。图像融合虽然有如人工智能、小波分析等前沿技术应用，但是系统理论不够完备。
(2) 现有算法缺乏针对不同的图像信息而具备稳定性。比如基于块融合算法当中，固定大小的块对某多聚焦图像融合有效，但用于其它图像时效果就会受到较大影响。
(3) 根据其本身应用需求，多聚焦图像融合对实时性要求较高，而现有算法少有并行执行，这就限制了融合的效率。
1.4 论文的主要研究内容
第一章介绍图像融合的背景和意义。
第二章介绍多聚焦图像融合的基本理论，熟悉多聚焦图像融合的几种方法及其相应的算法，以及了解图像融合的评价指标和其融合效果评定。
第三章介绍贝叶斯估计、拉普拉斯金字塔分解和重构、贝叶斯融合的原理、贝叶斯融合的过程以及模型的参数估计。
第四章分析几组基于贝叶斯估计的多聚焦图像融合方法的图像效果，以及与小波融合方法、像素取大/取小融合方法、拉普拉斯金字塔融合方法的比较。
第二章 多聚焦图像融合理论及方法
2.1 多聚焦图像的成像原理
版权保护: 本文由 hbsrm.com编辑，转载请保留链接: www.hbsrm.com/dzxx/txgc/2300.html
