叨叨游戏网
您的当前位置:首页基于色彩与结构相似性的伪彩色图像融合质量评价

基于色彩与结构相似性的伪彩色图像融合质量评价

来源:叨叨游戏网
第32卷第10期 四川兵工学报 201 1年l0月 【自动化技术】 基于色彩与结构相似性的伪彩色图像 融合质量评价 齐 鸥 ,黄应清 ,蒋晓瑜 (装甲兵工程学院a.控制工程系;b.兵器_T稗系,北京 100072) 摘要:提出一个颜色与结构相似性指标CSSIM(color and structural similarity index metric)用于评估伪彩色融合 像的 质量。该指标摒弃复杂的色彩空间变换,直接在RGB空间计算融合图像质量,大大降低r计算量。通过实验探究r 该指标与人的感知质量之间的关系。实验结果证实该指标的评价结果和人的感知质 基本一致。 关键词:伪彩色图像融合;结构相似性;质量评价;色彩相似性 中图分类号:TN911.73 文献标识码:A 文章编号:1006—0707(2011)l0—0l1O—O4 伪彩色图像融合是信息融合领域的一项重要技术,图像 的质量是该技术的关键。过去国际上对伪彩色融合图像主 1 伪彩色图像融合技术 目前常用的伪彩色图像融合算法主要有NRL 力‘法、 MlT “。。 方法、TNOj 方法等 要采取主观的评价方式 I2 J,但评价过程非常繁琐,不能植 入到图像融合系统中,无法满足人们对图像融合实时化、自 动化的要求。随着伪彩色图像融合技术的发展,客观评价已 成为研究的重点内容。 NRL算法是由美国海军研究院(national research labora— tory,NRL)提出的。在该方法中:红外图像的从度值从红色 近年来,图像融合的客观评价指标不断被开发出米。 2000年,Petrovic和Xydeasljl 率先提出一个基于图像边缘信 LUT表中选取,微光图像的厌度值从青色LUT表中选取。融 合映射关系如式(1)所示,其中: 表示红外图像;LL表爪微 息的像素级融合图像质量评价指标。2003年,Qu等 结合 信息理论知识,提出一种运用共用信息评价融合图像质量的 指标。不久之后,Piella和He ̄mans 将Zhou Wang。。 的结构 相似性理论应用于质量评价,提出一个基于该理论的评价指 标。以上指标多用于评价灰度融合图像质量,不能评估色彩 对人眼的作用,且直接应用于伪彩色融合图像会对评价的精 度带来很大的影响。为了解决这个问题,Toet和M.P.Lucas— sen 将全局灰度评价指标拓展到伪彩色领域,提出一个伪 光图像。该算法计算简单,容易实现,在实际 取僻rJ’。泛 的应用。 Ⅳ尺L:『L ]:『LIR ] B LLLJ , Toet算法是基于生物学中颜色对抗原 提…的・种伪 彩色图像融合算法,其摹本的思 是通过2幅罔像的联合处 彩色图像融合质量评价指标。该指标解决了色彩对人眼作 理,增强各自的独有信息,减弱相互之问的共有信息,从 用的评估问题,但算法过于复杂,计算量太大,严重影响了融 合系统的实时性。最近张秀琼 在以往算法的基础上,提出 一融合图像中增强每个传感器的独有特性。具体做法为:对2 个输入图像4和B,首先求出它们的共有部分C;然后,川2 幅原图像分别减去共有部分,得到2幅图像的特有成分 像 和B ;最后,用图像4和 的差异图像送入 (红色)迎 道,用图像B和4 的差异图像送入G(绿色)通道。这样就 个新的伪彩色融合图像的指标。该指标的评价结果和人 主观感知质量的相关程度很高,效果很好。但张的算法仍旧 复杂。为了解决以上为题,本文提出一个基于色彩和结构相 似性评价指标。该指标不需要色彩空间转换,直接在RGB 得到了伪彩色融合图像。融合映射关系如式(2)所示。 空间计算图像的质量。实验结果显示,本指标大大降低了计 算量,评价结果和人的主观感觉基本保持一致。 r尺]rA—B ] : j 收稿日期:2011—08—02 基金项目:军内科研项目 作者简介:齐鸥(1987一),男,硕士研究生,主要从事计算机图像学研究。 齐鸥,等:基于色彩与结构相似性的伪彩色图像融合质量评价 111 MIT方法运用生物的视觉特性来融合红外和可见光图 合图像的重要程度,A +A =1。一般来说,图像所含的信息 量越大,图像的重要程度越大,本文用源图像信息熵H代表 图像的重要程度: 像。在人眼视觉信息的传递过程中,各种神经细胞交互作 用,视网膜的一些区域(ON域)接受光照射兴奋,而另外的 区域(OFF域)受到光照射抑制兴奋。ON域和OFF域结合 在一起称作感受野(receptive fields)。在一个ON中心的感 受野模型中,如果光照充满中心,则光照引起最强的兴奋激 打B 活反应;如果光照充满了周围的全部环形,则对细胞的兴奋 A8 产生很大的抑制;如果ON域和OFF域同时被照亮,则它们 之间的作用彼此抵消。同理,OFF中心感受野具有与ON中 心感受野相反的特性。 2结构与色彩相似性评价指标 目前,伪彩色融合图像质量评价大多建立在色彩空间变 换的基础上 J。通过色彩空间变换,将RGB空间的色彩 转换到和人眼感知相类似的色彩空间(例如LAB空间、HIS 空间)。然而空间变换大多计算量大,对指标的实时性带来 很大的挑战,且空间变换荠未对原始图像提供更多的可用信 息,在RGB空间只要选择合适的评价方法,同样可以达到空 间变换所带来的效果。本文提出的CSSIM指标由色彩相似 性指标CSSIM(color similarity index metric)和结构相似性指 标组成(structural similarity index metric)组成。该指标直接 在RGB空间计算融合图像的质量,摒弃了色彩空间变换环 节,大大降低了计算量。 2.1 结构相似-眭指标 Wang Zhou和Alan Bovik 14]在多年对图像质量的研究基 础上,于2002年首次提出结构相似性的理论。该理论认为: 人眼视觉的主要功能是高度自适应的从图像中提取结构化 信息,因此对图像结构失真程度的度量是对图像视觉质量的 最好近似。设 、y是2幅待比较图像,则它们之间的结构相 似性为 SSIM(X,Y)=Z(X,Y) C(X,Y) S(X,Y) (3) l(x,y): x+tzr+÷ 乙 c( ,y)=半 (JX十rJ Y十I-,2 (x,y): O'xO-Y十乙3 式中: 、 、 2 分别代表图像的均值、方差、协方差; C 、C2、C,为小的常数用于维持算法的稳定。假定X是源图 像,y是X经过扭曲处理后的图像,SSIM的值越接近1,说明 y保持 的结构越完整,y的质量也就越好。由于融合过程 中两幅输入图像对融合结果的重要性是不等的,重要性越大 的图像对融合结果的决定作用越大。因此定义融合图像质 量公式: Q(A,B,F):A Q(A,F)+A Q(B,F) (4) 式中:F代表融合图像;A 、A 分别代表输入图像A、B对融 日=一∑P lo 式中: 为图像的灰度级;P为灰度值为i的像素出现的 概率。 2.2色彩相似性指标 对于色度分量我们采用色彩相似性的方法计算其质量。 色彩相似性假定图日的颜色完全来自于图A,如果图B的颜 色种类越接近于图A,则颜色从 传向日的过程中颜色损失 的就越少,称图曰和图A的颜色相似性越高。Hasler和Sus— strunk 提出一种在RGB空间计算图像颜色种类丰富程度 方法。设r,g、b分别代表一幅图像的红色、绿色、蓝色分量, 则该幅图像的颜色丰富程度 M=√ + 2 +0.37 、, 2 式中:rg=r-g;yb=(r g)/2;Ix 、 、 ,2、g 分别代表分量 差制图的均值和方差。为了后续计算方便,将其归一化: CM= Hasler和Sussturnk在文献中指出,当r,g、b三分量的取值范 围为0-255时,M…取109,则彩色融合图像的颜色相似性 c( , (5) 式中:A和 代表2幅输入图像;T代表目标彩色图像;F代 表融合图像。C越接近1,表示融合结果和目标彩色图之间 的颜色相似性越高;反之,c越接近0颜色相似性越低。 2.4融合图像整体质量 将结构相似性和颜色相似性综合起来得到色彩与结构 相似性指标 CSSIM(A,B,F):AGs Q(A,B,F)+AcC(A,B,F)(6) 式中A。 +A。=1,A。 、A 分别代表结构和色彩对融合图 像的重要程度。通过实验得知当A。。 =0.8,A =0.2时,评 价效果和人眼一致性较好,因此本文取A。 :0.8=0,A。= 0.2 3 实验结果与分析 3.1主观评价实验 实验条件:本文实验的所有图像均来自于标准图像融合 数据库ww.imagefusion.org。实验图像采用前面介绍的3 种融合算法附Dune、OCTEC、Trees、UNcamp、road、ship、street 7幅场景的微光和红外图像进行融合,得到21幅融合图像, 场景包括车、人、路、房子、船、营房、深林等目标。有20名本 112 四川兵工学报 http://scbg.jourserv.com/ 科生组成的质量评价组对上面所得到的融合图像进行评价。 他们有正常的色觉,有正常或经过校正正常的视觉,具备基 本的图像处理知识,了解本实验的目的、评价标准及相关流 程。参与评价人员采取5级绝对质量尺度对伪彩色融合图 像进行打分,如表1所示。 表1主观评价打分标准 分数 主观感觉 图像质量好 图像质量较好 图像质量一般 图像质量较差 图像质量差 所有主观实验在一问密闭的暗室中进行,光照约为0.60 lx;显示器采用ViewSonic VG510b,经过检查,无坏点和色差, 分辨率设置为1024×768,显示背景设置为中灰;实验者距离 屏幕预先设定为60 cm,实验过程中可自由调节自身到屏幕 距离至感觉舒服为止,视场角约为8。。 实验过程:实验前对评价者做初步的培训,使其理解实 验的目的、流程和打分标准,并对场景的内容有一个大致的 印象。实验过程中所有伪彩色融合图像随机出现,评价者判 断时间不作。在上一幅图像评价完成后和下一幅图像 出现前,插入一幅和实验无关青色图,以减少2幅评价图之 问的相互干扰。 每个观测者评价时采用的度量零点和度量尺度不同,为 了减少每个人度量标准的不同对实验的影响,对所得数据做 Z变换,得到每一幅融合图像感知质量 1 N qi’厂 qi,J Z J= ZJ= ∑ 式中:i=1,…, 代表不同的观察者; =1,…,Ⅳ代表不同的 图像;q代表观测者对图像的原始打分。 3.2实验结果 对7幅场景分别采用NRL、MIT、TNO算法得到的21幅 图像进行评价,评价的结果如表2所示,其中N、M、T分别代 表NRL、MIT、TNO算法。 主观评价质量如图2所示。图中,横轴上的数字1,2, …,7分别代表场景Tune,OCTEC,…,street。每个场景中,从 左至右分别为NRL、MIT、TNO算法。从图中可以看出:在选 定的7幅场景中,NRL算法得到的融合图像,除Dune和 Trees两幅场景外,其他场景的感知质量均低于MIT和TNO 算法,融合效果较差。M1T和TNO算法相对较好,但互有 优劣。 表2融合图像的评价结果 图2主观评价质量 分别对CFOI、ZHANG、本文提出的CSSIM指标与人的感 知质量之间求相关性,结果如图3所示。 从图3中可以看出,CFIO指标与感知质量的相关性较 齐鸥,等:基于色彩与结构相似性的伪彩色图像融合质量评价 指标。 113 低,尤其是对感知质量为0.4和0.6左右的几个点,偏离度 很大。CFOI引入信息理论评价融合图像的质量,然而融合 本文摒弃了颜色空间变化环节,直接在RGB空间进行 结构和颜色相似性计算,大大减少了算法的计算量,提高了 图像的质量并不随着信息量的增加而绝对提高,因此在图像 噪声较大的情况下,运用信息量评价融合图像质量,效果就 算法的实时性。3种评价指标均由MATLAB 7.1 SP3来实 现,机器所装的系统为Windows XP SP3,硬件配置为:Intrel 会降低。本文采用结构相似性指标评价图像指标,在不增加 系数r=0.87,基本接近经过复杂彩色变化的ZHANG的 算法计算量的情况下,基本保持了和人眼的一致性,其相关 兰  一0 5 l 0 (R)Pentium Dual E2200@2.20 GHZ的CPU,内存为0.99 GB。程序执行时间如表3所示。 O 5 l O . 0 5 l 0 感知质量 一一 表3 3种评价指标的执行时间 感知质量 感知质量 图3 3种评价指标和感知质量的相关性 从表3中可以看出,本文的算法实现速度快,所需的计 算时间远远小于CFOI和ZHANG的算法。 4 结束语 叁 —[4]Qu G,Zhang D,Yan P.Information measure for perform— ance of image fusion[J].Electronics Letters,2002,38:313 315. [5]Piella,G.and H H.A new quality metric for image fusion [C]//Proc.of Int.Conf.of Image Processing.[s.1.]: 本文通过对结构相似性理论和色彩相似性理论的研究, 提出一个用于伪彩色融合图像质量评价的客观指标CSSIM。 该指标能在不降低指标性能的情况下,降低算法的复杂性, 提高评价指标的实时性。实验结果本指标在伪彩色图像融 合质量评价上的有效性。 ‘ [S.n.],2003. [6]Zhou Wang,Bovik A,Eero P.Simoneelli.Image quality assessment:From error visibility to structural similarity [J].IEEE Trans Ifonm rTheory,2004,13(4). [7]Toet A,Lucassen M P.A new universal eolour image ifdel— ity metric[J].Displays,2003,24:197—207. 参考文献: [1]Toet A,Jan Kees.Ijspeert Perceptual evaluation of differ— ent image fusion schemes[J].SPIE,2001,4380,427 —[8]Zhang X.A novel quality metric for image fusion based on color and stuctrural similarity[C]//Proc.of International Conf.on Signal Processing Systems.Singapore:[S. n.],2009. 435. [9] 张文峦.基于伪彩色的图像融合算法研究[D].西安:西 北工业大学,2007. [2]Toet A,Frankenb E M.Perceptual evaluation of different image fusion schemes[J].Displays,2003,24:25—37. [3]Xydeas C,Petrovic V.Objective image fusion performance [10]蔡炜涛.微光和红外图像假彩色融合与处理算法研究 [D].南京:南京理工大学,2003. (下转第116页) measure[J].Electronics Letters,2000,36:308—309. 116 四川兵工学报 http://scbg.jourserv.toni/ P =∑c ir i(1一Pe) i=t+1 (4) 合的编码方式。在多径传播的环境中传播信息误字率可达 10 量级,其性能能够很好地满足水声遥控系统稳定工作的 要求。 其中:t是纠错编码可纠错的位数,对(7,4)汉明码而言,t= 1; 为信元位数。 那么虚警概率Pwf为 P 参考文献: ( 一P e)~ ( ∑j=m 漏报率尸一为 [1] 彭继肖,张歆,程刚.频移键控调制的直序列扩频技术 [J]探测与控制学报,2006(3):25—29. .尸 = ∑ (1一Pw.) (6) [2] Green M D,Rice J A・Channel_【01erant FH—MFSK ac㈣tic signaling 。 “d。 。 。。mm““ an。“ ”d“。 。 k l J J・ IEEE J・0。 “i E“g.2000,25(1):28—39・ [3] s 0j ”。 i M,c ip。 i J A,Proakis J G・Adap iVe muJ【i_ channe combining and equalization for unde er acou 式中: 是认为码字有效的门限值; 是码字发送次数。 本编码采用分集技术,发送一帧数据,相同指令发送了6 次,n:6。发送一组数据,相同指令发送18次,n:l8。当码 元误码率P :0.09时。采用信道编码门限值为6时的虚警 概率为6.321 4×10一,采用信道编码后虚警概率明显降低。 i com ““i i。“ [J]・j。 l。f A 。“ i s。。i。 y。f A一 控系统稳定性的保证篓竖2 ’兰 : 耋: 而采用了分集技术后误码率将远远小 ,, 。’’一 -。..水 声 安全起爆系统的研究与实现 . …一’ 。…… … 。一 …’  。遥控系统的稳定工作, 可…水声 葚: . . . … 讯华 ’… 一一 。 4 结束语 讨论了基于FSK和分集技术的水声遥控编码设计,并利 用信道编码降低误字率,提出使用分集技术与频移键控相结 [6] 杨俊杰・水声遥控编码的误-f-m[ ]・声学与电子工 (责任编辑陈松) (上接第113页) fusion[J].Optical Engineering,1996,35(3):650—658. [11]Waxman A M,Aguilar M.Opponent color fusion of muli— tisensor imagery:visible,IR and SAR[c]//Proc.of the Meeting of the IRIS Specialty Group on Passive Sensor. [14]Wang Zhou,Bovik A C.A universla image quality index [J].IEEE Signal Processing Letters,2002,9(3):81—84. [15]Haler D,Suesstrunk S E.Measuring colorfulness in natural images[C]//Proc of Human Vis and Elect.Image.VIII. [S.1.]:[S.n.],1998:43—61. [12]Waxman A M.Color night vision:fusion of intensified visi— ble and thermal IR imagery.Synthetic Visionfor Vehicle Santa Clara,CA,USA:[S.n.],2003. Guidance and Control[Z].Proc SPIE 1995,2463:58—68. [13]Toet A,Jan Walraven.New flsae color mapping for image (责任编辑刘舸) 

因篇幅问题不能全部显示,请点此查看更多更全内容