基于稀疏表示的自然图像超分辨率重构算法研究

基于稀疏表示的自然图像超分辨率重构算法研究[20191212180216]
摘 要
近年来,从大规模数据集中提取过完备词典,并使用稀疏表示在图像去噪、图像去马赛克和图像修复中有着较广泛应用。然而,这一技术不能直接用于处理具有异构特点的低分辨影高分辨率图像块对,以及相应的图像超分辨率重构。要解决这一问题,文中研究一种求解同时满足两个过完备词典(低分辨率图像块词典和高分辨率图像块词典)下的相同稀疏表示的方法,并利用它们实现图像稀疏表示的超分辨率重建。为了进一步提高彩色图像的超分辨率效果,还对基于超分辨率亮度信息的UV色度超分辨率重构进行了研究。实验结果表明文中方法无论在视觉效果还是均方根误差上都能获得更好结果。
 查看完整论文请+Q: 351916072 
关键字:超分辨率;稀疏编码;稀疏表示;词典学习。
目录
摘 要 I
ABSTRACT II
第一章 绪论 1
1.1 工程概况 1
1.2 图像超分辨率重建产生的相关技术背景 1
1.2.1 几个概念: 1
1.2.2 图像分辨率提高的硬件限制 : 3
1.2.3 图像超分辨率重建的原理、应用与发展 4
1.3图像超分辨率研究的主要方法 6
1.3.1基于插值的方法 6
1.3.2 基于重建的方法 7
1.3.3基于学习的方法 10
第二章 图像稀疏表示理论 13
2.1 研究背景和意义 13
2.2 图像稀疏表示基本理论方法 14
2.2.1 从傅里叶到小波 14
2.2.2 多尺度几何分析图像表示 15
2.2.3 超完备稀疏表示 15
2.3 超完备图像稀疏表示理论 16
2.3.1 超完备稀疏表示 16
2.3.2 稀疏优化方法 16
2.3.2.1 贪婪算法 17
2.3.2.2 全局优化方法 17
2.3.2.3 改进算法 18
第三章 基于稀疏表示的自然图像超分辨率重构 20
3.1 概述 20
3.2 算法实现 21
3.2.1 主要功能模块简介: 21
3.2.1.1 图像的稀疏表示 21
3.2.1.2 词典学习 23
3.2.1.3 低分辨率图像块的特征表示 24
3.2.1.4 UV色度重构 25
3.2.2 主要模块功能实现: 26
3.2.2.1 词典学习具体步骤为: 26
3.2.2.2 稀疏表示超分辨率步骤为: 26
第四章 实验仿真与分析 28
4.1 各种方法重构效果比较 28
4.2 各种因素对于基于稀疏表示的方法的影响 30
4.2.1字典大小的影响: 30
4.2.2对噪声的鲁棒性: 31
4.2.3 全局约束的影响: 32
第五章 图像超分辨率的发展前景 34
第六章 总结与展望 36
参考文献 38
致谢 41
第一章 绪论
1.1 工程概况
图像超分辨率重构技术是利用同一场景下一帧或一个序列低分辨率图像来估计一帧或一个序列高分辨率图像的数字信号处理技术。图像超分辨率重构技术能够突破图像采集系统的硬件限制,利用图像自身的冗余信息以及先验知识,通过软件方法提高图像质量。目前,超分辨率重构技术已经广泛应用于公共安全、遥测遥感、医学影像以及高清晰度电视等领域。 本文利用图像的稀疏性先验知识,针对单帧图像超分辨率重构问题进行研究,主要有以下三个方面: 首先,针对传统插值方式产生边缘模糊的缺点,研究了基于三次样条插值和方向插值融合的重构算法。利用图像在小波域的稀疏性区分图像的平滑区域与边缘,并利用图像梯度信息对边缘方向进行判断,对平滑区域和边缘区域分别采用三次样条插值和方向插值重构。实验结果表明融合插值的方法能够获得清晰的边缘。 其次,针对现有稀疏表示算法字典单一,不能最稀疏表示不同类型图像块的缺点,研究基于图像块分类稀疏表示的重构算法。将图像块分为平滑、不同方向的边缘和不规则结构多个类型,并训练各自对应的高、低分辨率字典进行重构。实验结果表明算法重构图像的视觉效果较好,并且算法速度有一定提高。
本章,我们介绍图像超分辨率算法的概念和来源,通过回顾插值、重建和学习这3个层面的超分辨率算法,对图像超分辨率的方法进行分类对比,着重讨论了各算法在还原质量、通用能力等方面所存在的问题,并对未来超分辨率技术的发展作一些展望。
1.2 图像超分辨率重建产生的相关技术背景
1.2.1 几个概念:
1)分辨率的概念
图像分辨率是成像系统对输出图像细节分辨能力的一种度量,也是图像中目标细微程度的指标,它表示景物信息的详细程度。对“图像细节”的不同解释就会对图像分辨率有不同的理解,对细节不同侧面的应用又可以得到图像不同侧面的度量(曹聚亮,2004)。因此,图像分辨率可以分为不同的种类,如空间分辨率、时间分辨率、光谱分辨率、辐射分辨率等。
其中,图像的空间分辨率是指传感器所能分辨的最小的目标大小,或指图像中一个像素点所代表的目标实际范围的大小,它是图像清晰程度的度量;时间分辨率在遥感领域一般指卫星对同一地点进行重复观测的时间间隔,针对视频数据又称为帧率,是指每秒钟时间内获取的图像数目;光谱分辨率指传感器在接收目标辐射的波谱时所能分辨的最小波长间隔。间隔越小、分辨率越高;辐射分辨率也称为亮度分辨率,是传感器接收波谱信号时能够分辨的最小辐射度差,在图像中表现为图像的灰度级,所以有时称为灰度级分辨率。
2) 图像观测模型
图像观测模型描述理想图像与观测图像之间的关系。在图像超分辨率重建中,观测图像即一系列的低分辨率图像,理想图像即所求的高分辨率图像。给定一定场景的P幅低分辨率图像,可以认为它们是由一幅高分辨率图像经过一系列的降质过程产生的,降质过程包括几何运动、光学模糊、亚采样以及附加噪声(Park et al., 2003)。如果用矢量z 表示所求的高分辨率图像,gk表示某一幅低分辨率图像( k为图像编号),一个常用的图像观测模型为(Elad and Feuer,1997;Park et al., 2003)整个降质过程可以用图1.1来表示,最左边的图像即表示理想高分辨率图像,依次经过旋转运动、模糊、降采样和噪声过程,得到最右边的图像,即为观测图像。
图1.1 图像观测模型降质过程
1.2.2 图像分辨率提高的硬件限制 :
图像传感器是图像观测系统中最核心的部件之一,数字相机就是采用图像传感器来形成图像的模拟电流信号,经模拟-数码转换处理后再进行记录形成图像。因此,图像传感器的质量是决定图像质量的关键因素。现今主流的图像传感器为CCD(charge coupled device)传感器,其他图像传感器如CMOS(complement metaloxide semiconductor)也日益增多。
常规情况下,人们主要通过改进高精度的CCD 或CMOS 传感器等硬件设备来获取高分辨率的图像,即所谓的“硬件途径”。其中最直接的方法就是通过改进传感器制作工艺减小感光单元尺寸,以增加图像的像素数。随着技术的不断改进,感光单元的尺寸越来越小,而随着感光单元的逐渐变小,获取的图像受散粒噪声的影响则越来越大,如果无限制地减小感光单元的大小,所获取的图像像素数量虽然增加了,但噪声的影响限制了图像实际分辨率的提高。CCD 传感器感光单元的最优尺寸为40μm2,目前的传感器技术已经几乎达到了这一水平。另一种提高图像分辨率的“硬件途径”是增加芯片尺寸的大小,但是随着芯片尺寸的增加,电容量也会增加,致使电荷的转换率减慢,进而导致图像中的点光源变模糊(Chaudhuri and Joshi, 2005),因此该方法也有非常大的限制(Park et al, 2003)。
此外,高空间分辨率图像的获取还存在其他多方面的限制。首先,高精度的硬件设备往往价格昂贵,出于经济性方面的考虑,人们也不得不选择较低分辨率的相机或图像数据。其次,传感器设计的尖端技术往往掌握在少数几个发达国家手中,大部分发展中国家包括中国在传感器设计方面的技术还相对落后。例如,在卫星遥感对地观测领域,我国遥感卫星获取的图像在空间分辨率指标上与西方发达国家有较大差距。再次,成像系统的空间分辨率与时间分辨率、光谱分辨率相互制约,为了保证具有较高的时间分辨率或光谱分辨率,往往不得不在空间分辨率指标上进行次优的设计,如为保证在较短时间内获取全月球的覆盖数据,我国“嫦娥一号”CCD 相机和美国“月球勘测轨道器”的宽角相机,其空间分辨率分别只有120m 和100m,显然无法进行对月表的细微表达与精细解译。
综合以上原因,通过“硬件途径”提高图像的空间分辨率存在诸多方面的限制,从而催生了本书阐述的内容――超分辨率重建技术。超分辨率重建是从“软件途径”,通过发展理论、算法来提高图像的空间分辨率,已成为图像处理领域最为活跃的研究方向之一。
1.2.3 图像超分辨率重建的原理、应用与发展
1) 图像超分辨率重建的原理
图像的观测模型描述了从理想高分辨率图像到观测图像的正过程,而图像超分辨率重建则是一个逆过程,即利用观测得到的多幅低分辨率图像,重建出理想的高分辨率图像。实现超分辨率重建的前提是图像之间必须包含着互补信息,而根据互补信息的不同来源方式,超分辨率重建技术又可以分为不同的类别。
超分辨率系统模型及技术概述:对超分辨率问题的求解,通常是构造一个前向关系模型,低分辨率图像和高分辨率图像之间的关系可以表述为
(1.1)
其中,p为图像序列帧数, 、 和 分别为待求的第j帧高分辨率图像、第k帧观察到的低分辨率图像和图像获取时的噪声,矩阵D、 和 分别为下采样矩阵、模糊矩阵和第 帧和第 帧之间运动矢量所构成的运动矩阵。关于模糊矩阵和运动矩阵的先后关系,Z.Wang等指出,如果更换两者的位置会引起系统误差。设H=DBM,则式(1)即可简化为
(1.2)
求解式(1.2)需要确定 ,也就是求解或者确认式(1)中的 、 、 和噪声 ,这包括以下几个问题:(1)运动估计,需要从观察到的低分辨率图像得到精确的运动矢量,并使用插值等方法去近似高分辨率图像的运动矢量;(2)图像模糊的估计,通常需要对点扩散函数进行计算或假设;(3)噪声估计,噪声会极大地影响系统的求解,对于噪声的估计是非常重要的一步。
2) 超分辨率图像重建的应用
由于超分辨率重建技术在一定条件下,可以克服图像系统内在分辨率的限制,提高被处理图像的分辨率,因而在视频、遥感、医学和安全监控等领域具都有十分重要的应用。例如:
(1)在数字电视(DTV)向高清晰度电视(HDTV)过度阶段,仅有部分电视节目会以HDTV的形式播出,不少节目采用的是DTV 的形式。因此,可以利用超分辨率重建技术将DTV信号转化为与HDTV接收机相匹配的信号,提高电视节目的兼容性;
(2)在采集军事与气象遥感图像时,由于受到成像条件与成像系统分辨率的限制,不可能获得清晰度很高的图像, 而通过利用超分辨率重建技术,在不改变卫星图像探测系统的前提下,可实现高于系统分辨率的图像观测;
(3)在医学成像系统中(如CT、MRI和超声波仪器等),可以用超分辨率重建技术来提高图像质量,对病变目标进行仔细地检测;
(4)在银行、证劵等部门的安全监控系统中,当有异常情况发生后,可对监控录像进行超分辨率重建,提高图像要害部分的分辨率,从而为事件的处理提供重要的线索;
(5)可以将超分辨率重建技术用于图像压缩。平时存储或传输低分辨率的图像信息,当有不同需要时,再利用超分辨率重构技术获得不同分辨率的图像和视频。
值得一提的是,法国SPOT、美国EarthSAT等公司已采用该技术,利用多个卫星同时成像,从而重建高分辨率图像。美国Dayton大学和Wright实验室在美国空军的支持下,对红外CCD相机进行了机载试验,利用20幅低分辨率的红外图像,取得了分辨率提高近5倍的实验结果。此外,国际著名的光学仪器制造公司Leica/ Hellawa 和法国国家航天研究中心已经把该领域的理论研究成果转化到硬件产品——交错CCD 传感器阵列的设计中,并已将其分别应用于他们的遥感设备“ADS40”和“SPOT5”卫星,取得了相当理想的效果。

版权保护: 本文由 hbsrm.com编辑,转载请保留链接: www.hbsrm.com/dzxx/gdxx/476.html

好棒文