图像去马赛克算法研究

图像去马赛克算法研究[20191213212819]
摘 要
近十几年的时间内,由于数码产品的发展,去马赛克算法得到了越来越多的研究。去马赛克算法性能的好坏直接影响图像的质量。经典的双线性插值法等去马赛克方法虽然在一定程度上可以实现对图像的还原,但是并不能很好地消除锯齿现象和虚假色现象,特别是在颜色突变区域。近几年来,LMMSE去马赛克方法等新的去马赛克方法取得了比传统的方法更好的结果。
本文在分析研究图像马赛克的形成机理基础上,重点对LMMSE去马赛克方法等三种去马赛克方法进行了深入探讨和研究:首先,基于颜色通道的相关性,分析了基于最小均方误差估计(LMMSE)的去马赛克方法;其次,为了消除图像细节中靠近边缘的噪声,分析了基于局部多项式逼近(LPA)和置信区间交集(ICI)的去马赛克方法;最后分析了基于局部方向插值(LDI)和非局部自适应阈值(NAT)的去马赛克方法。
为了评估各种算法的处理性能,在每一种方法中都对多幅经典图像进行去马赛克处理。通过计算出各个处理后图片的PSNR,分析图像重构的保真度,对比同一种去马赛克方法对不同图片的处理效果。为了比较不同算法的性能,对同一张图片用不同的算法进行去马赛克处理。通过分别计算插值后图像的PSNR,对不同图像去马赛克的结果进行定量分析,来比较三种去马赛克方法的有效性。最后,在同样的系统软硬件环境下测试比较了三种去马赛克方法的时间性能。实验结果表明LDI-NLM和LDI-NAT去马赛克效果较好,但是这两种算法实现步骤比较复杂,运行时间较长。
 查看完整论文请+Q: 351916072 
关键字:Bayer滤波阵列;去马赛克;插值;重构;PSNR
目 录
摘 要 I
ABSTRACT II
目 录 III
第1章 绪论 1
1.1图像去马赛克的背景及意义 1
1.2数码相机构成及马赛克图像的成因 1
1.3去马赛克算法的研究现状 3
1.4本文内容与结构安排 4
第2章 经典的图像去马赛克算法 6
2.1数字图像处理理论基础 6
2.1.1图像相关性 6
2.1.2常见的图像失真现象 6
2.2经典的图像去马赛克算法 6
2.2.1最近邻插值法 7
2.2.2双线性插值法 7
2.2.3基于边缘检测的插值方法 8
2.2.4自适应插值法 10
2.2.5 Lu算法 12
2.3经典去马赛克方法比较 13
第3章 基于LMMSE去马赛克方法 14
3.1LMMSE信道估计算法介绍 14
3.1.1信道估计分类 14
3.1.2 LMMSE算法 14
3.2 LMMSE去马赛克优势 15
3.3 LMMSE去马赛克算法实现 15
3.3.1差分信号(PDS)和定向去马赛克噪声的概念 15
3.3.2主要差分信号的定向LMMSE 18
3.3.3定向LMMSE估计的最优融合 20
3.3.4色度通道的去马赛克 21
3.4实验结果分析 22
3.4.1峰值信噪比PSNR 22
3.4.2LMMSE去马赛克结果分析 23
第4章 LPA-ICI去马赛克方法 25
4.1LPA原理研究 25
4.2LPA-ICI方法综述 25
4.3LPA-ICI去马赛克方法实现 26
4.3.1初始化 26
4.3.2定向差异的LPA-ICI滤波 27
4.3.3对G通道进行插值 28
4.3.4在B/R位置对R/B进行插值 29
4.3.5在G点对R/B进行插值 29
4.4实验结果分析 30
第5章 LDI-NAT去马赛克方法 32
5.1 LDI-NAT去马赛克方法综述 32
5.2 LDI-NAT去马赛克算法实现 33
5.2.1对绿色信道进行局部方向插值 33
5.2.2绿色通道的非局部加强 35
5.2.3对R和B进行初始插值 39
5.2.4蓝色和红色的非局部加强 41
5.3实验结果分析 41
5.3.1LDI-NAT及LDI-NLM实验结果分析 41
5.3.2去马赛克方法比较 44
第6章 总结与展望 48
致谢 50
参考文献 51
英文原文 54
英文翻译 71
第1章 绪论
随着多媒体技术的发展,数码相机的使用非常普及,已经逐渐取代了传统的胶片相机。数码影像技术因为其在转移、复制、存储等方面的卓越表现,日益受到大家的推崇,充分融入了生活的各个领域。人们对于数码相机拍摄的图像的质量要求也越来越高,这也激起了厂商以及研究人员对数码相机软硬件系统开发的热情。
1.1图像去马赛克的背景及意义
由于多图像传感器的数码相机结构复杂,制作工艺要求高,导致体积大,价格昂贵,目前大多数的数码相机都只有一个单图像传感器(CCD或者CMOS)[1]。目前CMOS还无法达到CCD的成像质量,所以普遍使用的还是CCD芯片的数码相机。
在使用CCD芯片的数码相机中,色彩滤波阵列(CFA)是产生彩色图像的关键技术。通过色彩滤镜阵列之后,每个像素点的位置仅有一种颜色分量。其它两种颜色必须通过相邻像素的采样结果进行计算才能得到,这个过程就是颜色插值。这种色彩平面差值的过程称为去马赛克(DEMOSAICKING)。去马赛克方法性能的优劣,直接影响着数码相机图片的质量。
在过去的数年中,研究者们提出了各种各样的去马赛克算法,从最基础的几种线性插值算法,到现在各种各样的混合去马赛克算法。事实表明,算法的逐步发展使得数码相机产生的图像质量越来越好。由于技术有限,复杂的去马赛克算法不能在数码相机上实现,而必须借助计算机的帮助。也就是说,把原来在相机内部进行的图像处理流程转移到计算机内。这也为复杂的图像去马赛克算法提供了一个更加广阔的实现平台。图像去马赛克这个领域依然有很好的发展前景和研究价值。
1.2数码相机构成及马赛克图像的成因
数码相机由光学摄影镜头、DPS数字信号处理器、图像传感器、光学取景器、LCD液晶屏、闪光灯、存储卡、电池灯主要功能部件组成。数码相机与传统相机不同之处在于,数码相机使用了图像传感器和存储卡来代替了胶卷。图像传感器,就是能够感觉光学图像信息并转换成可用输出信号的传感器,是决定着数码相机成像质量的关键部分。图像传感器具有体积小、重量轻、析像度高、功耗低和低电压驱动等优点,它主要分为CCD和CMOS。CCD问世较早,具有高解析度、低噪声、动态范围广、线性特性曲线良好、第影像失真、体积小、重量轻等优点。CMOS图像传感器虽然起步较晚,但与CCD相比,CMOS具有体积小,耗电低,售价便宜的优点,是未来数码相机较为理想的成像芯片。但是,就目前的发展而言,CMOS的成像质量还赶不上CCD。
目前,也有少数专业级数码相机使用多个图像传感器。多个图像传感器可以减少不同颜色之间的干扰,并且消除图像边缘的偏色问题。但这些多图像传感器的数字相机结构复杂,制作工艺要求高,多以体积比较大,价格昂贵,应用并不广泛。市场上大多数的数码相机使用的都是单传感器。图像传感器自身只能完成光电转换而无法分辨颜色,数码相机通常使用色彩滤波阵列CFA来实现彩色输出。CFA的主要作用是让每个像素只感受单一颜色的光线。在这篇文章中,详细介绍如图1.1所示的Bayer CFA:
R G R G R G
G B G B G B
R G R G R G
G B G B G B
R G R G R G
G B G B G B
图1.1 Bayer CFA
Bayer CFA[2] 是应用最为广泛的色彩滤波阵列,有着很好的彩色信号敏感特性和彩色恢复特性。Bayer CFA中绿色像素占50%,而红色和蓝色像素各占25%。因为人眼对绿色更敏感,能分辨出更多的细节,绿色也占据了可见光谱中最重要和最宽的位置,所以这样布置效率最高。
用Bayer CFA制作的传感器,我们得到的结果只是三种原色不同亮度的像素组成的马赛克图像。实际的得到的效果图如图1.2。这是Bayer格式的马赛克图像,可以依稀看出线条,但是图像的颜色并不鲜明,整体呈现灰黑色。为了全彩色图像的重建,我们进行色彩插值,将那些丢失的色彩信息经过对相邻像素的色彩信息分析之后被重新估算出来。最终每个像素点都同时记录了R、G、B 三种颜色。这种色彩插值的过程就称为去马赛克(DEMOSAICKING)。
图1.2 Bayer模式图片
1.3去马赛克算法的研究现状
过去的数十年中,去马赛克算法一直是图像处理领域的热点。许多的去马赛克算法在插值中结合边缘方向性。已有的去马赛克方法包括近邻复制,线性插值和三次B样条插值法[3]。这些方法实施方便,但是会产生阻断,模糊和边缘的拉链效应。假设图像的色调变化很缓慢,平滑色调过渡的方法对绿色通道和红蓝通道进行了分别插值。通过线性插值对恢复绿色通道后,红色和蓝色通道通过R/G和B/G的双线性插值来恢复。尽管平滑色调过渡的方法利用了三种颜色通道的相关性,但是当绿色的值突然变化时,会在红色和蓝色通道出现大的插值错误。
因为人的视觉系统对图像的边缘非常敏感,许多的去马赛克方法试图避免通过边缘进行插值。在每个像素点,梯度是被估计的,色彩的插值也是定向的基于所估计的梯度的。方向滤波是去马赛克最热门的方法。最有名的定向插值方案是Hamilton和Adams提出的二阶拉普拉斯滤波[4]。他们用蓝色和红色通道的二阶梯度作为校正项对绿色通道进行差值。将水平和竖直方向的二阶梯度中的较小值沿着选择的方向加到绿色抽样的平均值。一旦绿色的抽样满足,那么红色和蓝色抽样就类似的按照绿色通道的二阶梯度校正进行相似插值。第五篇参考文献中提出了一种更为复杂的基于梯度的去马赛克方法。他们在要进行插值的像素点为中心的 的区域内,计算出了一系列不同方向的梯度。这些梯度的一个子集被自适应阈值所选中。最后,缺失的样值可以由沿着选取梯度分布的已知抽样估计出[5]。近期,Ramanath 和Snyder提出一种基于双边带滤波的方法[6],可以同时对图像进行去噪,锐化和去马赛克。Alleysson提出彩色像素是亮度和色度之和,并通过在傅里叶域中选择亮度和色度分量进行图像的重构[7]。
另一类去马赛克技术是迭代方法。迭代方法可以跟基于梯度的方法结合在一起。Kimmle发展了一种两步迭代去马赛克的方法,这两步分别是迭代步骤和增强步骤。他基于每个像素点的八个领域计算出了8个方向导数。基于这些边缘指标,先计算出色调值,然后缺失的绿色,红色和蓝色采样就通过比率规则迭代校正。最后,运用逆颜色扩散处理来增强整个图像[8]。Gunturk提出的另一种迭代去马赛克方法,揭示了一幅自然图像的三种颜色通道是高度相关的。Gunturk通过将初步估计投影到约束集来重构彩色图像。他们首先利用双线性或者其他的去马赛克方法来对图像进行插值,然后通过红色和蓝色通道的高频信息来更新绿色通道的信息。最后,根据绿色通道,运用一种基于小波变换的迭代过程来更新红色和蓝色通道的高频细节[9]。其他去马赛克的方法也被提出,如最小均方误差估计[10]、模式匹配[11]、中值滤波[12]等。
1.4本文内容与结构安排
本文在分析了马赛克成因以及一些数字图像处理的基本信息的基础上,研究了几种经典的去马赛克算法。除此之外,还对三种较为先进的去马赛克算法进行了深入学习和研究。这三种去马赛克算法分别是:线性均方最小误差去马赛克(LMMSE),局部多项式逼近和置信区间交集去马赛克(LPA-ICI)和非局部增强去马赛克(NAT)。最后,采用多组图片,进行多次实验,用峰值信噪比(PSNR)对三种方法进行比较。本文主要分为5个章节,各个章节主要内容安排如下:
第一章主要介绍了数码相机的主要结构及工作原理,图像马赛克的成因以及去马赛克算法的研究现状。
第二章介绍了与本文相关的图像处理基础知识。并且介绍了几种基本的去马赛克方法,分别是最近邻插值法,双线性插值法,基于边缘检测的插值方法,自适应插值法以及Lu算法。在第二章的最后,对几种常见的插值方法进行了比较。
第三章中,先介绍了信道估计的常见方法以及分类,并且对线性均方最小误差估计(LMMSE)的方法进行了较为详细的描述。相较于经典的算法,LMMSE去马赛克的方法的优势。然后我对LMMSE去马赛克算法的具体步骤进行了详尽的描述。最后,对去马赛克的结果进行了分析。
第四章中,先介绍了LPA的基本原理,然后对LPA-ICI算法进行了综述,介绍了其相比于其他算法的优势。然后,对LPA-ICI去马赛克算法的实现进行了分步研究。最后,对去马赛克结果进行了分析。
第五章中,主要对LDI-NAT去马赛克的原理做了具体的阐述,并分析了算法实现的具体步骤。除此之外,在这一章中,还将LDI-NAT去马赛克算法与LDI-NLM去马赛克方法进行了比较。最后,对本文中详细介绍的四种方法进行了比较。
第2章 经典的图像去马赛克算法研究
2.1数字图像处理理论基础
2.1.1图像相关性

版权保护: 本文由 hbsrm.com编辑,转载请保留链接: www.hbsrm.com/dzxx/dzkxyjs/2509.html

好棒文