基于压缩感知的图像超分辨率重建研究
基于压缩感知的图像超分辨率重建研究[20191215153620]
摘 要
图像超分辨率重建是指对低分辨图像按照一定的方法进行处理，以获取高质量的高分辨率图像，它是计算机视觉、图像处理和模式识别等领域的研究热点问题，在军事、医疗、天文学、遥感成像等领域占有重要的地位。受压缩感知理论启发而提出的基于稀疏表示的超分辨率重建算法，在重建的效果和算法的复杂度方面要优于传统的算法，是目前广大学者所研究的热点之一，该算法的研究对进一步推动超分辨率重建技术的理论研究和实际应用具有重要的意义。本文主要围绕压缩感知在图像超分辨率重建进行了深入的研究，并对现有的算法进行改进。
首先，本文对常见的图像超分辨率重建算法进行了研究，分析了基于插值、重建和基于学习三大类的优缺点。针对稀疏表示理论，本文着重研究了稀疏解的唯一性和超完备冗余字典的设计问题。
其次，本文在传统的基于稀疏表示的超分辨率重建的基础上，对过完备字典的构造和非局部相似性理论进行了研究，对重建过程中所需的字典的构造和重建方法进行了改进，提出了一种基于聚类的单帧图像超分辨率重建算法。该方法首先从高分辨率样本图像中学习得到一个字典集合作为高分辨率字典；然后利用迭代收缩算法来求得高分辨率图像的表示系数；最后通过学习到的高分辨率字典和求解到的稀疏稀疏来对低分辨率图像进行重构。
最后，本文对该算法进行了多组仿真实验，并给出了仿真实验结果，结果表明,该方法能实现有效地提高单帧图像超分辨率重建的效果，并且降低了算法复杂度。
查看完整论文请+Q: 351916072
关键字:压缩感知；图像超分辨率；稀疏表示；超完备字典；非局部相似性
目 录
摘 要 I
ABSTRACT II
目 录 III
第1章 绪论 1
1.1 问题的提出及研究意义 1
1.2 研究的现状及分析 2
1.2.1 基于多帧的图像重建方法 3
1.2.2 基于单帧的图像处理方法 3
1.3本文主要内容和章节安排 5
第2章 超分辨率重建技术研究 7
2.1 超分辨率技术概述 7
2.2 基于插值的方法 8
2.3 基于重建的方法 9
2.4基于学习的方法 9
第3章 基于压缩感知的图像超分辨率重建 11
3.1压缩感知基础 11
3.2 信号的稀疏表示理论 12
3.2.1 信号的稀疏表示 12
3.2.2稀疏解的唯一性 13
3.2.3 稀疏表示模型 14
3.2.4稀疏表示的字典构建 15
3.2.5 超完备稀疏表示字典学习 16
3.2.6基于稀疏表示的图像处理应用 18
3.3 基于压缩感知的图像超分辨率重建 20
3.3.1 压缩感知基本原理 20
3.3.2 压缩感知与图像超分辨率 22
3.4本章小结 23
第4章 基于聚类的单帧图像超分辨率重建方法 25
4.1字典的构造 25
4.1.1字典学习 25
4.1.2子字典选择 26
4.2非局部相似性 27
4.3超分辨率重建算法流程 28
4.4 本章小结 29
第5章 实验结果及分析 30
第6章 总结与展望 36
参考文献 37
致 谢 41
第1章 绪论
1.1 问题的提出及研究意义
随着信息化的发展和图像处理技术的日渐成熟，安防、监控设备的应用也会越来越广泛，高质量图像的使用与需求越来越大，对图像的质量、清晰度的需求也越来越高。比如在交通系统的监控设备应用方面，分析交通事故等就需要高清晰度的图像；在银行等金融场合，监控设备可以监控人群的行为，确保人身、财产安全，但监控设备的分辨率较低。因此，高分辨率图像的获取具有重要意义。
目前，大部分成像系统在采集图像的过程中[1]，由于传感器阵列物理特性和图像传感技术的约束，图像分辨率普遍较低。景物与摄像机间的分子运动、空气质量等因素会引起图像成像模糊；当传感器像素密度不满足奈奎斯特采样条件时，会产生频谱混叠。数字图像成像过程[2]如图1-1所示，右侧被拍摄的实际场景，在受到模糊、混叠、噪声等影响后，图像的质量较差、分辨率较低，效果为左侧图像。
图1-1数字图像的采集过程
但是尽可能的扩大监测范围的同时，面临这样的一个问题：监控的视野越大，每个目标景物上分配到的像素点越少，会导致景物的细节丢失，图像分辨率较低，影响识别。有时目标景物距离监控设备距离较远，也会导致目标景物的模糊、不清楚。
很多时候，在安防监控的视频中，只需追踪某一特定目标，由于上述原因导致追踪目标景物模糊不清，需要通过图像处理尽可能实现还原目标景物的细节部分，使得图像更加清晰，因此超分辨率重建的研究意义重大。
除此而外，超分辨率重建技术还可以用在一些高分辨率显示的设备上，以及显示低分辨率图像装置（例如GPS，手机等）获取得到低分辨率图像、个人图像处理，例如图像的清晰放大，也可用于卫星遥感、医疗图像领域等[3]。
通过传感器制造技术减小像素尺寸来增加传感器密度是获取高分辨率（High Resolution, HR）图像最直接的方法。这种方法的技术不足之处在于当传感器像素尺寸减小时，入射到每个传感器像素上的光束变少，会产生散粒噪声，从而导致图像质量下降。另一种方法是增大芯片尺寸，但是考虑到体积较大的传感器芯片需要电容较高，导致加速电流转换变得困难，所以这种方法在实际应用中很难实现。即使可以获得高精度图像传感器和光学部件，对于一般的商用成本来说比较高，不会使用。因此，传感器尺寸的硬件限制会约束获取较高空间分辨率的图像。
目前一种有前景的解决方法是利用现有的设备，通过图像处理算法中的超分辨率（Super Resolution, SR）重建技术来获取得到高分辨率图像。该技术很好解决了成像模糊、成像系统分辨率受限等问题，利用信号处理技术从单幅或多幅低分辨率（Low Resolution, LR）重建得到一幅HR 图像[4-5]。
超分辨率重建技术在安全监控、电子设备、医学和军事等领域都有十分重要的实用意义[6]。
1.2 研究的现状及分析
目前分辨率太低是监控设备获取图像的主要缺陷，噪声等因素的影响导致了目标景物的提取分辨比较困难。在监控设备监控的过程中，由于分辨率的不够，会较多的保留景物的低频成分，高频成分则被平滑了，但高频成分往往在很大程度上决定了人眼视觉效果。因此，超分辨率重建关键问题是如何提高目标图像的高频信息。
目前，图像的超分辨率重建方法可以分为两大类：基于多帧的超分辨率重建方法[7-10]和基于单帧的超分辨率重建方法。基于多帧的重建方法利用多帧图像序列进行处理，提取图像序列中冗余的空域和时域信息，生成高分辨率图像。对于能提供连续多帧的冗余信息的图像处理上占有优势，而基于单幅图像的超分辨率重建算法需要的输入要求少，研究更为广泛，两类算法的重点都是提高算法的效果和降低计算量。
1.2.1 基于多帧的图像重建方法
基于多帧的图像超分辨率重建方法一般是采用了连续多帧图像的冗余信息来进行重建。这类方法的研究很早就展开了，最早只是对同一目标景物的多帧图像进行处理，随着监控设备的普及，这类方法开始应用于对视频的处理。由于监控设备拍摄得到的连续多帧图像不满足整体平移旋转，需要追踪的目标景物一般都是运动的物体，存在相对位移，因此需要用几何变换矩阵估计等数学方法进行改进。由于基于多帧的图像重建技术对于输入有较高要求，而且重建效果对矩阵估计精确度要求很高，这类方法的适用范围就较小。
基于多帧的图像重建方法基本思想是利用同一场景获取的LR图像序列经过配准后融合，最终目的在于恢复丢失的高频信息。然而配准不精确则会导致重构图像质量下降，在很多实际应用中我们只能获取单幅LR图像(如放大网页中的“缩略图”、放大老照片等) ，这推动了对单帧图像SR的研究。
1.2.2 基于单帧的图像处理方法
基于单幅图像的超分辨率重建方法，包括两类：基本的插值技术以及其改进方法[11-13]。
插值算法出现得很早，是一类最为简单并且时效性最高的算法，此类算法一般作为其他超分辨率重建算法的预处理。包括双线性插值、双三次插值等，此算法一般可以作为其他重建算法的预处理。基本的插值算法不考虑图像内在结构，可能会造成重建后的图像过度平滑。
基于机器学习的算法[14-16]前期主要研究工作是基于示例学习的超分辨率重建算法，该类方法需要对现有的图像库进行学习训练，获得用于重建的有效信息，然后进行重建。该类算法针对单幅图像的输入，能够实现大倍数的重建。前期的研究主要集中在基于示例学习的超分辨率重建算法上，需要在海量的图像样本库中搜索，使得算法时间复杂度非常高，与此同时，要求输入的图像与图像库里的图像属于同类图像，该类方法一般应用于人脸图像的重建。
Freeman 用Markov 网络学习低分辨率和高分辨率图像小块之间的关系，并利用学习到的关系预测输入的低分辨率图像小块丢失的高频分量，然后叠加上插值得到的初始估计得到高分辨率图像小块[14]。文献[15]针对超低分辨率图像重建问题提出一种方法，阐述了在图像高分辨率域学习高分辨率图像和低分辨率图像小块之间的函数关系的思想。
随着数学方法的发展，压缩感知（Compressive Sensing, CS）技术的提出与应用和 范数求解问题的研究，产生了一个新的重建分支——基于稀疏表示的超分辨率重建算法[16-18]，结果表明重建质量有了很大的提高。文献[16]提出了一种稀疏表示的算法，该算法首先利用图像库的HR图像预先进行训练学习得到成对的冗余字典，并且根据分解后的稀疏系数相等，来进行重建。对LR进行重建时，先用低分辨率冗余字典表示LR小块，求解稀疏系数，然后结合学习得到的高分辨率冗余字典，得到初始估计的HR图像，最后进行全局约束，取得了很好的效果。该方法最大的优势是：重建的图像可以是任意图像，而不必像以前那样只能针对一类图像，同时图像库可变得更小，字典训练好后，就不需要图像库了；但不足是对比较模糊图像重建效果不好。文献[17]使用多个子字典，并采用了主成分分析法对子字典进行训练，采用迭代收缩方法（Iterative Shrinkage, IS）重建方程，对问题求解，实验结果表示，该算法取得了非常好的效果。
1.3本文主要内容和章节安排
本文针对图像超分辨率重建的几个问题，进行了详细的分析和讨论，实现了几种图像超分辨率重建方案。本文分为六章，具体的内容和章节安排如下:
第一章绪论。首先介绍了图像超分辨率重建的研究背景和意义，阐述了目前国内外的研究现状，并讨论了图像超分辨率重建的分类、以及几种常用方法并针对其分析优缺点。
第二章超分辨率重建技术研究。分析了图像超分辨率的研究方法以及对方法的分类。分别从插值法、重建法以及学习法分析对比其重建效果。
第三章压缩感知理论算法。压缩感知主要分为三步，信号的稀疏表示，测量编码以及解码重构。本章详细介绍了信号和图像的稀疏表示建模理论及其方法。分析了信号稀疏表示模型理论中的基于范数的稀疏测度、稀疏解唯一性定理及稀疏表示的数值模型。以稀疏表示为基础的压缩感知理论框架能实现随机观测数据的精确重构，而图像超分辨这一不完备数据重构可看作是该理论的一个典型应用。
第四章提出了基于单帧图像超分辨率重建技术。该算法首先构建了一个结构聚类型的字典，介绍了非局部相似理论，并在重建的过程中引入了非局部相似性理论，进一步的提高图像重建的效果。
第五章为实验结果对比。本文选取了具有代表性的图片，分别用Bicubic方法下和本文方法进行超分辨率重建，并选取均方误差MSE和峰值信噪比PSNR 作为评价标准来客观评测图像质量。最后通过处理交通视频中获取的图像，验证了本文方法的实用性。
摘 要
图像超分辨率重建是指对低分辨图像按照一定的方法进行处理，以获取高质量的高分辨率图像，它是计算机视觉、图像处理和模式识别等领域的研究热点问题，在军事、医疗、天文学、遥感成像等领域占有重要的地位。受压缩感知理论启发而提出的基于稀疏表示的超分辨率重建算法，在重建的效果和算法的复杂度方面要优于传统的算法，是目前广大学者所研究的热点之一，该算法的研究对进一步推动超分辨率重建技术的理论研究和实际应用具有重要的意义。本文主要围绕压缩感知在图像超分辨率重建进行了深入的研究，并对现有的算法进行改进。
首先，本文对常见的图像超分辨率重建算法进行了研究，分析了基于插值、重建和基于学习三大类的优缺点。针对稀疏表示理论，本文着重研究了稀疏解的唯一性和超完备冗余字典的设计问题。
其次，本文在传统的基于稀疏表示的超分辨率重建的基础上，对过完备字典的构造和非局部相似性理论进行了研究，对重建过程中所需的字典的构造和重建方法进行了改进，提出了一种基于聚类的单帧图像超分辨率重建算法。该方法首先从高分辨率样本图像中学习得到一个字典集合作为高分辨率字典；然后利用迭代收缩算法来求得高分辨率图像的表示系数；最后通过学习到的高分辨率字典和求解到的稀疏稀疏来对低分辨率图像进行重构。
最后，本文对该算法进行了多组仿真实验，并给出了仿真实验结果，结果表明,该方法能实现有效地提高单帧图像超分辨率重建的效果，并且降低了算法复杂度。
查看完整论文请+Q: 351916072
关键字:压缩感知；图像超分辨率；稀疏表示；超完备字典；非局部相似性
目 录
摘 要 I
ABSTRACT II
目 录 III
第1章 绪论 1
1.1 问题的提出及研究意义 1
1.2 研究的现状及分析 2
1.2.1 基于多帧的图像重建方法 3
1.2.2 基于单帧的图像处理方法 3
1.3本文主要内容和章节安排 5
第2章 超分辨率重建技术研究 7
2.1 超分辨率技术概述 7
2.2 基于插值的方法 8
2.3 基于重建的方法 9
2.4基于学习的方法 9
第3章 基于压缩感知的图像超分辨率重建 11
3.1压缩感知基础 11
3.2 信号的稀疏表示理论 12
3.2.1 信号的稀疏表示 12
3.2.2稀疏解的唯一性 13
3.2.3 稀疏表示模型 14
3.2.4稀疏表示的字典构建 15
3.2.5 超完备稀疏表示字典学习 16
3.2.6基于稀疏表示的图像处理应用 18
3.3 基于压缩感知的图像超分辨率重建 20
3.3.1 压缩感知基本原理 20
3.3.2 压缩感知与图像超分辨率 22
3.4本章小结 23
第4章 基于聚类的单帧图像超分辨率重建方法 25
4.1字典的构造 25
4.1.1字典学习 25
4.1.2子字典选择 26
4.2非局部相似性 27
4.3超分辨率重建算法流程 28
4.4 本章小结 29
第5章 实验结果及分析 30
第6章 总结与展望 36
参考文献 37
致 谢 41
第1章 绪论
1.1 问题的提出及研究意义
随着信息化的发展和图像处理技术的日渐成熟，安防、监控设备的应用也会越来越广泛，高质量图像的使用与需求越来越大，对图像的质量、清晰度的需求也越来越高。比如在交通系统的监控设备应用方面，分析交通事故等就需要高清晰度的图像；在银行等金融场合，监控设备可以监控人群的行为，确保人身、财产安全，但监控设备的分辨率较低。因此，高分辨率图像的获取具有重要意义。
目前，大部分成像系统在采集图像的过程中[1]，由于传感器阵列物理特性和图像传感技术的约束，图像分辨率普遍较低。景物与摄像机间的分子运动、空气质量等因素会引起图像成像模糊；当传感器像素密度不满足奈奎斯特采样条件时，会产生频谱混叠。数字图像成像过程[2]如图1-1所示，右侧被拍摄的实际场景，在受到模糊、混叠、噪声等影响后，图像的质量较差、分辨率较低，效果为左侧图像。
图1-1数字图像的采集过程
但是尽可能的扩大监测范围的同时，面临这样的一个问题：监控的视野越大，每个目标景物上分配到的像素点越少，会导致景物的细节丢失，图像分辨率较低，影响识别。有时目标景物距离监控设备距离较远，也会导致目标景物的模糊、不清楚。
很多时候，在安防监控的视频中，只需追踪某一特定目标，由于上述原因导致追踪目标景物模糊不清，需要通过图像处理尽可能实现还原目标景物的细节部分，使得图像更加清晰，因此超分辨率重建的研究意义重大。
除此而外，超分辨率重建技术还可以用在一些高分辨率显示的设备上，以及显示低分辨率图像装置（例如GPS，手机等）获取得到低分辨率图像、个人图像处理，例如图像的清晰放大，也可用于卫星遥感、医疗图像领域等[3]。
通过传感器制造技术减小像素尺寸来增加传感器密度是获取高分辨率（High Resolution, HR）图像最直接的方法。这种方法的技术不足之处在于当传感器像素尺寸减小时，入射到每个传感器像素上的光束变少，会产生散粒噪声，从而导致图像质量下降。另一种方法是增大芯片尺寸，但是考虑到体积较大的传感器芯片需要电容较高，导致加速电流转换变得困难，所以这种方法在实际应用中很难实现。即使可以获得高精度图像传感器和光学部件，对于一般的商用成本来说比较高，不会使用。因此，传感器尺寸的硬件限制会约束获取较高空间分辨率的图像。
目前一种有前景的解决方法是利用现有的设备，通过图像处理算法中的超分辨率（Super Resolution, SR）重建技术来获取得到高分辨率图像。该技术很好解决了成像模糊、成像系统分辨率受限等问题，利用信号处理技术从单幅或多幅低分辨率（Low Resolution, LR）重建得到一幅HR 图像[4-5]。
超分辨率重建技术在安全监控、电子设备、医学和军事等领域都有十分重要的实用意义[6]。
1.2 研究的现状及分析
目前分辨率太低是监控设备获取图像的主要缺陷，噪声等因素的影响导致了目标景物的提取分辨比较困难。在监控设备监控的过程中，由于分辨率的不够，会较多的保留景物的低频成分，高频成分则被平滑了，但高频成分往往在很大程度上决定了人眼视觉效果。因此，超分辨率重建关键问题是如何提高目标图像的高频信息。
目前，图像的超分辨率重建方法可以分为两大类：基于多帧的超分辨率重建方法[7-10]和基于单帧的超分辨率重建方法。基于多帧的重建方法利用多帧图像序列进行处理，提取图像序列中冗余的空域和时域信息，生成高分辨率图像。对于能提供连续多帧的冗余信息的图像处理上占有优势，而基于单幅图像的超分辨率重建算法需要的输入要求少，研究更为广泛，两类算法的重点都是提高算法的效果和降低计算量。
1.2.1 基于多帧的图像重建方法
基于多帧的图像超分辨率重建方法一般是采用了连续多帧图像的冗余信息来进行重建。这类方法的研究很早就展开了，最早只是对同一目标景物的多帧图像进行处理，随着监控设备的普及，这类方法开始应用于对视频的处理。由于监控设备拍摄得到的连续多帧图像不满足整体平移旋转，需要追踪的目标景物一般都是运动的物体，存在相对位移，因此需要用几何变换矩阵估计等数学方法进行改进。由于基于多帧的图像重建技术对于输入有较高要求，而且重建效果对矩阵估计精确度要求很高，这类方法的适用范围就较小。
基于多帧的图像重建方法基本思想是利用同一场景获取的LR图像序列经过配准后融合，最终目的在于恢复丢失的高频信息。然而配准不精确则会导致重构图像质量下降，在很多实际应用中我们只能获取单幅LR图像(如放大网页中的“缩略图”、放大老照片等) ，这推动了对单帧图像SR的研究。
1.2.2 基于单帧的图像处理方法
基于单幅图像的超分辨率重建方法，包括两类：基本的插值技术以及其改进方法[11-13]。
插值算法出现得很早，是一类最为简单并且时效性最高的算法，此类算法一般作为其他超分辨率重建算法的预处理。包括双线性插值、双三次插值等，此算法一般可以作为其他重建算法的预处理。基本的插值算法不考虑图像内在结构，可能会造成重建后的图像过度平滑。
基于机器学习的算法[14-16]前期主要研究工作是基于示例学习的超分辨率重建算法，该类方法需要对现有的图像库进行学习训练，获得用于重建的有效信息，然后进行重建。该类算法针对单幅图像的输入，能够实现大倍数的重建。前期的研究主要集中在基于示例学习的超分辨率重建算法上，需要在海量的图像样本库中搜索，使得算法时间复杂度非常高，与此同时，要求输入的图像与图像库里的图像属于同类图像，该类方法一般应用于人脸图像的重建。
Freeman 用Markov 网络学习低分辨率和高分辨率图像小块之间的关系，并利用学习到的关系预测输入的低分辨率图像小块丢失的高频分量，然后叠加上插值得到的初始估计得到高分辨率图像小块[14]。文献[15]针对超低分辨率图像重建问题提出一种方法，阐述了在图像高分辨率域学习高分辨率图像和低分辨率图像小块之间的函数关系的思想。
随着数学方法的发展，压缩感知（Compressive Sensing, CS）技术的提出与应用和 范数求解问题的研究，产生了一个新的重建分支——基于稀疏表示的超分辨率重建算法[16-18]，结果表明重建质量有了很大的提高。文献[16]提出了一种稀疏表示的算法，该算法首先利用图像库的HR图像预先进行训练学习得到成对的冗余字典，并且根据分解后的稀疏系数相等，来进行重建。对LR进行重建时，先用低分辨率冗余字典表示LR小块，求解稀疏系数，然后结合学习得到的高分辨率冗余字典，得到初始估计的HR图像，最后进行全局约束，取得了很好的效果。该方法最大的优势是：重建的图像可以是任意图像，而不必像以前那样只能针对一类图像，同时图像库可变得更小，字典训练好后，就不需要图像库了；但不足是对比较模糊图像重建效果不好。文献[17]使用多个子字典，并采用了主成分分析法对子字典进行训练，采用迭代收缩方法（Iterative Shrinkage, IS）重建方程，对问题求解，实验结果表示，该算法取得了非常好的效果。
1.3本文主要内容和章节安排
本文针对图像超分辨率重建的几个问题，进行了详细的分析和讨论，实现了几种图像超分辨率重建方案。本文分为六章，具体的内容和章节安排如下:
第一章绪论。首先介绍了图像超分辨率重建的研究背景和意义，阐述了目前国内外的研究现状，并讨论了图像超分辨率重建的分类、以及几种常用方法并针对其分析优缺点。
第二章超分辨率重建技术研究。分析了图像超分辨率的研究方法以及对方法的分类。分别从插值法、重建法以及学习法分析对比其重建效果。
第三章压缩感知理论算法。压缩感知主要分为三步，信号的稀疏表示，测量编码以及解码重构。本章详细介绍了信号和图像的稀疏表示建模理论及其方法。分析了信号稀疏表示模型理论中的基于范数的稀疏测度、稀疏解唯一性定理及稀疏表示的数值模型。以稀疏表示为基础的压缩感知理论框架能实现随机观测数据的精确重构，而图像超分辨这一不完备数据重构可看作是该理论的一个典型应用。
第四章提出了基于单帧图像超分辨率重建技术。该算法首先构建了一个结构聚类型的字典，介绍了非局部相似理论，并在重建的过程中引入了非局部相似性理论，进一步的提高图像重建的效果。
第五章为实验结果对比。本文选取了具有代表性的图片，分别用Bicubic方法下和本文方法进行超分辨率重建，并选取均方误差MSE和峰值信噪比PSNR 作为评价标准来客观评测图像质量。最后通过处理交通视频中获取的图像，验证了本文方法的实用性。
版权保护: 本文由 hbsrm.com编辑，转载请保留链接: www.hbsrm.com/dzxx/txgc/2202.html
