基于平滑图像块排序的图像修复技术研究
基于平滑图像块排序的图像修复技术研究[20191215144602]
摘 要
随着计算机技术和多媒体技术的不断发展,数字图像修复技术的应用领域也越来越广泛,得到了人们更多的关注和重视。本文首先分类介绍了数字图像修复技术的现状,对各类技术中典型的模型和算法进行了简单描述，利用常用块图像修复方案， 研究了基于平滑图像块重新排序的图像处理方案。对于给定的已损坏的图像，提取原图像中重叠部分所有图像块，通过损坏图像获得的图像块序列，利用最邻近搜索的方法，将其重新排列，得到相对平滑且有顺序的图像块序列，再通过相对简单的一维插值工作，如三次样条插值，使得缺损图像块的像素点能够有效恢复，分别各个子图像块填充入原图像框架中获得子图像，最后将平均子图像，以获得良好视觉效果的图像，利用该方法对图像进行修复中的应用，并获得了可喜的结果。
查看完整论文请+Q: 351916072
关键字:块处理；图像修复；插值；最邻近搜索；平滑图像块
目录
第1章 绪论 1
1.1 图像修复概述 1
1.2 研究现状及研究意义 2
1.3 论文的内容与安排 3
第2章 图像修复方法 5
2.1 图像修补问题描述 5
2.2基于偏微分方程的图像修补 5
2.2.1 偏微分方程的定义 6
2.2.2 PDE的优缺点 6
2.3基于纹理合成的图像修补 7
2.3.1纹理合成的定义 7
2.3.2 基于纹理结构的图像修补技术 8
2.4图像平滑 10
2.5评价方法 11
2.6本章小结 11
第3章 基于平滑图像块排序的图像修复 13
3.1最邻近搜索与插值法 13
3.1.1常见的最邻近搜索法 13
3.1.2常见的插值法 14
3.2 基于平滑图像块排序的图像修复方案 15
3.2.1基本方案 15
3.2.2构建置换矩阵 16
3.2.3子图像平均 17
3.2.4图像修复 18
3.3 基于平滑图像块排序的图像修复实验验证 19
3.3.1仿真环境介绍 19
3.3.2实验结果分析 19
3.4 本章小结 27
第4章 总结和展望 28
致谢 30
参考文献 31
附录 32
英文原文 32
翻译 41
第1章 绪论
1.1 图像修复概述
图像[1]在作为人类获取信息的一个重要途径，有着直观明了的特性，尤其随着多媒体技术的不断发展，随着扫描仪，数码相机，摄像机等的普及，使用图像和多媒体信息的传输模式，已经受到越来越多的关注。由于图像存在噪声及破损等，影响人们对图像信息的获取及破坏信息的完整性造成图像无法传递准确信息，图像修复者需要采取最恰当的方法恢复图像的原始状态，而且图像自身的艺术效果也能得到很好的保障。现实中存在多种可能引起图像信息缺失的因素, 如:
1.所扫描的图片自身存在破损及划痕等现象而引起扫描图像的信息缺失;
2.去除图像内部分信息而引起图像产生空白区域;
3.数字图像在获取、处理、传输、压缩和解压缩等相应过程中可能发生损坏和信息遗失而发生图像块区域的损坏。
为了保证图像信息的完整性, 需要对这些受损图像进行填充修复。图像复原的过程充满了对图像信息，最终的目的是修复受损的形象，恢复原来的信息，让人无法找到图像已损坏。从文艺复兴时期开始，人们就尝试复原少许中世纪的艺术品，图像修复现已经称为计算机图形学领域与计算机视觉领域中的一个钻研热点，在文物保护，电影的特效，虚拟现实，去除冗余的对象（如视频图像删除字符，文字，标题，等）有很大的应用价值。
在国家经济发展和国家防御等众多方面，都会应用到图像恢复技术。比如在医学领域[2]中需要使用图像修复技术对医学图像进行修复和去噪进而得到高质量医学图像，使得对病灶有更准确的诊断；也能够在指纹识别技术和虹膜识别技术中对所识别对象提供更精确的成像信息，提高了信息准确度和信息安全性；同时还能在安全监控系统中提升监控成像的质量等。
图像修复技术还与图像处理领域中的其他方面息息相关，比如图像的分割、识别、压缩等是相互关联的，在图像修复技术的发展也带动其他方面的进步。因而数字图像修复技术随着海量数字图像传递的运用及发展，给图像修复技术创造一个更大的发展空间，且随着生活水平的提高现在的照片和影视所需要的特别效果，同时随着技术的发展现代人对视频和图像质量的要求也是变得越来越高了，这样图像处理直接和人们对生活水平的满意程度直接挂钩，因而图像修复也就显得越来越重要了，该技术也受到人们的广泛关注，因此如何快速且有效的恢复破损的图像更是在科技界受到广泛的重视。
1.2 研究现状及研究意义
图像修复技术是要通过给定的图像信息，一般为破损后的图像信息，对已损坏的图像进行相应的处理，即对破损后的图像进行信息还原，将图像破损前所包含的信息还原出来。但是，假如破损图像的破损区域其原来所包含的信息完全丢失，那么即使经过图像修复也是无法回复破损前的图像效果的。因而图像修复结果的好坏是通过人们自己的视觉和心理方面的认知原理，根据图像仍然保留的有效信息，对破损区域可能包含的图像信息进行预估计，一般修复后的图像能够顾满足人们的视觉上的要求，看上去能够比较自然完整等等就行，结合人们自身的评价标准和客观评价对某个图像修复方式的好坏进行评价。一般情况下，图像修复前会对相应的待修补区域进行扫描之后，再采用相应的图像修复方式对图像的破损区域进行修复。
长久以来[3]，大量的研究人员和学者对图像修补方法进行大量的相关研究，但是由于受损的图像的多样性，受损形式的不同，直接使得图像修复领域中对于不同损坏图像和不同修复修复区域产生了大量不同的修复方法，对其进行总体的归纳，大致修复方法可以分为两类修复方法：基于图像结构的修补技术和基于图像纹理的修补技术。
结构修补算法主要是基于偏微分方[4]，基于偏微分方程的图像修补方法,也可以说是微观的方法。这类方法通过分析损坏图像中像素点之间存在的关系,将损坏区域中可能包含的信息发散到未损坏的区域中，通过建立相应的模型找寻像素点之间可能存在的联系，并将所建立的模型化成为方程解出得到相应的结果对应到原问题，解决问题。偏微分方程在图像恢复中的应用是在损坏图像样本块的基础上，从样本块中找寻合适的像素点填充入损伤位置。
纹理合成技术[5],对损坏的图像填充其损坏信息,该方法也称为图像补全，该方法的中心思想是,以待处理图像中某个随机像素点为中心根据原图像自身存在的纹理特征,在待修补区域的周边找寻与该纹理特征最相近的样本块进行填充。这几年随着基于纹理结构的图像修补技术的研究，利用原图像纹理结构修补图像取得大范围应用。
本设计中主要是利用图像块重新排列的处理方案，对于给定的已损坏图像信息，给被处理的图像，提取一切可能重叠的区域块，这些区域块通常是非常小的，相比原来的图像尺寸（典型的块大小是8×8像素块）的处理，通过操作这些图像块与图像块之间的相互联系，将其重新排列，通过损坏图像获得的图像块顺序，应该是相对平滑且有顺序的图像，再通过相对简单的一维插值工作，如三次样条插值，使得缺损图像块的像素点,能够得到有效恢复，即处理图像块，然后放回图像中，以形成最终图像。这项工作的关键部分是找寻两个斑块中心像素之间的距离。因此，如果上述的图像是高质量的，那么重排列出来的图像块，将是有顺序的，高度规整的（平滑的，或至少分段光滑）的一维排序像素的图像块。当中心的图像劣化（嘈杂，含有丢失的像素，等等） ，那么排列出来的图像块将是扭曲的，从而在排序所使用的中心图像，应该是光滑的。因此，当把相对简单的一维平滑化操作（例如，滤波或内插）的应用到重排列的像素点中，将会使图像的修复效果更加好。
本文所研究的核心过程是给定的已损坏的图像，重新排列它的像素点，采用简单算法处理一维信号，并将计算结果重新定位到其原始位置。本文所研究的方法，应用了多种随机构造排序，并结合子图像平均，能够通过图像修复的过程，得出最佳的效果。
1.3 论文的内容与安排
本文总共分为四个章节:
第一章为绪论。主要是对图像修复技术进行大体上的概述，其次阐明图像修复技术的研究现状和研究意义，最后说明本论文各章节的安排。
第二章为图像修复方法。阐述了图像修复中主要修复的内容，指出目前常用的图像修复方法，大体上可以分为基于偏微分方程的图像修补和基于纹理合成的图像修补，并分别对这两大类的修复方法中常用的修复模型和修复方案进行介绍。
第三章为基于平滑图像块排序的图像修复。先阐述了常见的最邻近搜索法和常见插值法，以及本论文所研究的方案，即基于平滑图像块排序的图像修复方案，对该方案的总体框架和各个实现方法进行介绍，最后是采用该修复方案对实验图像进行修复，并对修复结果进行相应分析。
第四章为总结和展望。总结本论文的主要内容，同时对自己的不足之处提出了下一步研究方向的要求。
第2章 图像修复方法
2.1 图像修补问题描述
图像修补是通过一系列的处理过程，将图像中所缺损的图像信息还原回来，将破损图像还原为原图像。图像修复模型也被表示为常见的输入输出模型，其大致模型如下图所示：
图2.1 图像修复模型
模型中的 可以是一张图片也可以是多幅图像，以一张图片为例，其为缺损之后的图像，也可以利用以下式子表示，
(2.1)
其中 为未缺损图像， 为导致图像像素点丢失的原因或者部分像素点的噪声部分； 则表示经过一系列图像处理过程得到的特征图像，即修复之后的图像。
对数字图像复原技术的认识中，常见的图像修复方式主要可区分为两类: 一类是基于偏微分方程（PDE）的图像修补，该方法对于存在小范围损坏的图像具有极好的修复效果；另一类是基于纹理合成的图像补全技术, 该方法对于存在大范围损坏的图像具备较PDE修复方式更好的修复效果。
2.2基于偏微分方程的图像修补
偏微分方程的图像修补法大多是通过建立相应的方程并将方程解出得到相应的结果对应到原问题，解决问题。偏微分方程在图像恢复中的应用是在损坏图像样本块的基础上，从样本块中找寻合适的像素点填充入损伤位置。
2.2.1 偏微分方程的定义
在图像处理过程中的偏微分方程，利用变分法解决图像处理问题的公式如下：
(2.2)
其中 代表图像处理中某个图像变换的函数， 代表图像具有的能量，利用 来表示 的Euler微分，若要使得式(2.2)取得极小值，则必须满足
(2.3)
且满足一下式子：
(2.4)
t为其中一个时间维度，表示图像的变化过程的偏微分方程。
若待处理图像为一组离散化的图像，首先需要把相对应的微分方程进行离散化处理，在进行数值求解的过程当中，还要思考算法是否存在收敛性，同时思考计算复杂度等。假设（2.3）型方程转化为线性方程组，它是难以直接求解，可以使用梯度下降法，将其转化为（2.4）的形式，然后反复迭代求解。用数值方法求解偏微分方程仍有许多不完善的部分存在，比如其中部分解法是否拥有收敛性在数学推导中没能得到很好的证明，只是通过工程实践中表现其可行性。
摘 要
随着计算机技术和多媒体技术的不断发展,数字图像修复技术的应用领域也越来越广泛,得到了人们更多的关注和重视。本文首先分类介绍了数字图像修复技术的现状,对各类技术中典型的模型和算法进行了简单描述，利用常用块图像修复方案， 研究了基于平滑图像块重新排序的图像处理方案。对于给定的已损坏的图像，提取原图像中重叠部分所有图像块，通过损坏图像获得的图像块序列，利用最邻近搜索的方法，将其重新排列，得到相对平滑且有顺序的图像块序列，再通过相对简单的一维插值工作，如三次样条插值，使得缺损图像块的像素点能够有效恢复，分别各个子图像块填充入原图像框架中获得子图像，最后将平均子图像，以获得良好视觉效果的图像，利用该方法对图像进行修复中的应用，并获得了可喜的结果。
查看完整论文请+Q: 351916072
关键字:块处理；图像修复；插值；最邻近搜索；平滑图像块
目录
第1章 绪论 1
1.1 图像修复概述 1
1.2 研究现状及研究意义 2
1.3 论文的内容与安排 3
第2章 图像修复方法 5
2.1 图像修补问题描述 5
2.2基于偏微分方程的图像修补 5
2.2.1 偏微分方程的定义 6
2.2.2 PDE的优缺点 6
2.3基于纹理合成的图像修补 7
2.3.1纹理合成的定义 7
2.3.2 基于纹理结构的图像修补技术 8
2.4图像平滑 10
2.5评价方法 11
2.6本章小结 11
第3章 基于平滑图像块排序的图像修复 13
3.1最邻近搜索与插值法 13
3.1.1常见的最邻近搜索法 13
3.1.2常见的插值法 14
3.2 基于平滑图像块排序的图像修复方案 15
3.2.1基本方案 15
3.2.2构建置换矩阵 16
3.2.3子图像平均 17
3.2.4图像修复 18
3.3 基于平滑图像块排序的图像修复实验验证 19
3.3.1仿真环境介绍 19
3.3.2实验结果分析 19
3.4 本章小结 27
第4章 总结和展望 28
致谢 30
参考文献 31
附录 32
英文原文 32
翻译 41
第1章 绪论
1.1 图像修复概述
图像[1]在作为人类获取信息的一个重要途径，有着直观明了的特性，尤其随着多媒体技术的不断发展，随着扫描仪，数码相机，摄像机等的普及，使用图像和多媒体信息的传输模式，已经受到越来越多的关注。由于图像存在噪声及破损等，影响人们对图像信息的获取及破坏信息的完整性造成图像无法传递准确信息，图像修复者需要采取最恰当的方法恢复图像的原始状态，而且图像自身的艺术效果也能得到很好的保障。现实中存在多种可能引起图像信息缺失的因素, 如:
1.所扫描的图片自身存在破损及划痕等现象而引起扫描图像的信息缺失;
2.去除图像内部分信息而引起图像产生空白区域;
3.数字图像在获取、处理、传输、压缩和解压缩等相应过程中可能发生损坏和信息遗失而发生图像块区域的损坏。
为了保证图像信息的完整性, 需要对这些受损图像进行填充修复。图像复原的过程充满了对图像信息，最终的目的是修复受损的形象，恢复原来的信息，让人无法找到图像已损坏。从文艺复兴时期开始，人们就尝试复原少许中世纪的艺术品，图像修复现已经称为计算机图形学领域与计算机视觉领域中的一个钻研热点，在文物保护，电影的特效，虚拟现实，去除冗余的对象（如视频图像删除字符，文字，标题，等）有很大的应用价值。
在国家经济发展和国家防御等众多方面，都会应用到图像恢复技术。比如在医学领域[2]中需要使用图像修复技术对医学图像进行修复和去噪进而得到高质量医学图像，使得对病灶有更准确的诊断；也能够在指纹识别技术和虹膜识别技术中对所识别对象提供更精确的成像信息，提高了信息准确度和信息安全性；同时还能在安全监控系统中提升监控成像的质量等。
图像修复技术还与图像处理领域中的其他方面息息相关，比如图像的分割、识别、压缩等是相互关联的，在图像修复技术的发展也带动其他方面的进步。因而数字图像修复技术随着海量数字图像传递的运用及发展，给图像修复技术创造一个更大的发展空间，且随着生活水平的提高现在的照片和影视所需要的特别效果，同时随着技术的发展现代人对视频和图像质量的要求也是变得越来越高了，这样图像处理直接和人们对生活水平的满意程度直接挂钩，因而图像修复也就显得越来越重要了，该技术也受到人们的广泛关注，因此如何快速且有效的恢复破损的图像更是在科技界受到广泛的重视。
1.2 研究现状及研究意义
图像修复技术是要通过给定的图像信息，一般为破损后的图像信息，对已损坏的图像进行相应的处理，即对破损后的图像进行信息还原，将图像破损前所包含的信息还原出来。但是，假如破损图像的破损区域其原来所包含的信息完全丢失，那么即使经过图像修复也是无法回复破损前的图像效果的。因而图像修复结果的好坏是通过人们自己的视觉和心理方面的认知原理，根据图像仍然保留的有效信息，对破损区域可能包含的图像信息进行预估计，一般修复后的图像能够顾满足人们的视觉上的要求，看上去能够比较自然完整等等就行，结合人们自身的评价标准和客观评价对某个图像修复方式的好坏进行评价。一般情况下，图像修复前会对相应的待修补区域进行扫描之后，再采用相应的图像修复方式对图像的破损区域进行修复。
长久以来[3]，大量的研究人员和学者对图像修补方法进行大量的相关研究，但是由于受损的图像的多样性，受损形式的不同，直接使得图像修复领域中对于不同损坏图像和不同修复修复区域产生了大量不同的修复方法，对其进行总体的归纳，大致修复方法可以分为两类修复方法：基于图像结构的修补技术和基于图像纹理的修补技术。
结构修补算法主要是基于偏微分方[4]，基于偏微分方程的图像修补方法,也可以说是微观的方法。这类方法通过分析损坏图像中像素点之间存在的关系,将损坏区域中可能包含的信息发散到未损坏的区域中，通过建立相应的模型找寻像素点之间可能存在的联系，并将所建立的模型化成为方程解出得到相应的结果对应到原问题，解决问题。偏微分方程在图像恢复中的应用是在损坏图像样本块的基础上，从样本块中找寻合适的像素点填充入损伤位置。
纹理合成技术[5],对损坏的图像填充其损坏信息,该方法也称为图像补全，该方法的中心思想是,以待处理图像中某个随机像素点为中心根据原图像自身存在的纹理特征,在待修补区域的周边找寻与该纹理特征最相近的样本块进行填充。这几年随着基于纹理结构的图像修补技术的研究，利用原图像纹理结构修补图像取得大范围应用。
本设计中主要是利用图像块重新排列的处理方案，对于给定的已损坏图像信息，给被处理的图像，提取一切可能重叠的区域块，这些区域块通常是非常小的，相比原来的图像尺寸（典型的块大小是8×8像素块）的处理，通过操作这些图像块与图像块之间的相互联系，将其重新排列，通过损坏图像获得的图像块顺序，应该是相对平滑且有顺序的图像，再通过相对简单的一维插值工作，如三次样条插值，使得缺损图像块的像素点,能够得到有效恢复，即处理图像块，然后放回图像中，以形成最终图像。这项工作的关键部分是找寻两个斑块中心像素之间的距离。因此，如果上述的图像是高质量的，那么重排列出来的图像块，将是有顺序的，高度规整的（平滑的，或至少分段光滑）的一维排序像素的图像块。当中心的图像劣化（嘈杂，含有丢失的像素，等等） ，那么排列出来的图像块将是扭曲的，从而在排序所使用的中心图像，应该是光滑的。因此，当把相对简单的一维平滑化操作（例如，滤波或内插）的应用到重排列的像素点中，将会使图像的修复效果更加好。
本文所研究的核心过程是给定的已损坏的图像，重新排列它的像素点，采用简单算法处理一维信号，并将计算结果重新定位到其原始位置。本文所研究的方法，应用了多种随机构造排序，并结合子图像平均，能够通过图像修复的过程，得出最佳的效果。
1.3 论文的内容与安排
本文总共分为四个章节:
第一章为绪论。主要是对图像修复技术进行大体上的概述，其次阐明图像修复技术的研究现状和研究意义，最后说明本论文各章节的安排。
第二章为图像修复方法。阐述了图像修复中主要修复的内容，指出目前常用的图像修复方法，大体上可以分为基于偏微分方程的图像修补和基于纹理合成的图像修补，并分别对这两大类的修复方法中常用的修复模型和修复方案进行介绍。
第三章为基于平滑图像块排序的图像修复。先阐述了常见的最邻近搜索法和常见插值法，以及本论文所研究的方案，即基于平滑图像块排序的图像修复方案，对该方案的总体框架和各个实现方法进行介绍，最后是采用该修复方案对实验图像进行修复，并对修复结果进行相应分析。
第四章为总结和展望。总结本论文的主要内容，同时对自己的不足之处提出了下一步研究方向的要求。
第2章 图像修复方法
2.1 图像修补问题描述
图像修补是通过一系列的处理过程，将图像中所缺损的图像信息还原回来，将破损图像还原为原图像。图像修复模型也被表示为常见的输入输出模型，其大致模型如下图所示：
图2.1 图像修复模型
模型中的 可以是一张图片也可以是多幅图像，以一张图片为例，其为缺损之后的图像，也可以利用以下式子表示，
(2.1)
其中 为未缺损图像， 为导致图像像素点丢失的原因或者部分像素点的噪声部分； 则表示经过一系列图像处理过程得到的特征图像，即修复之后的图像。
对数字图像复原技术的认识中，常见的图像修复方式主要可区分为两类: 一类是基于偏微分方程（PDE）的图像修补，该方法对于存在小范围损坏的图像具有极好的修复效果；另一类是基于纹理合成的图像补全技术, 该方法对于存在大范围损坏的图像具备较PDE修复方式更好的修复效果。
2.2基于偏微分方程的图像修补
偏微分方程的图像修补法大多是通过建立相应的方程并将方程解出得到相应的结果对应到原问题，解决问题。偏微分方程在图像恢复中的应用是在损坏图像样本块的基础上，从样本块中找寻合适的像素点填充入损伤位置。
2.2.1 偏微分方程的定义
在图像处理过程中的偏微分方程，利用变分法解决图像处理问题的公式如下：
(2.2)
其中 代表图像处理中某个图像变换的函数， 代表图像具有的能量，利用 来表示 的Euler微分，若要使得式(2.2)取得极小值，则必须满足
(2.3)
且满足一下式子：
(2.4)
t为其中一个时间维度，表示图像的变化过程的偏微分方程。
若待处理图像为一组离散化的图像，首先需要把相对应的微分方程进行离散化处理，在进行数值求解的过程当中，还要思考算法是否存在收敛性，同时思考计算复杂度等。假设（2.3）型方程转化为线性方程组，它是难以直接求解，可以使用梯度下降法，将其转化为（2.4）的形式，然后反复迭代求解。用数值方法求解偏微分方程仍有许多不完善的部分存在，比如其中部分解法是否拥有收敛性在数学推导中没能得到很好的证明，只是通过工程实践中表现其可行性。
版权保护: 本文由 hbsrm.com编辑，转载请保留链接: www.hbsrm.com/dzxx/txgc/2195.html
