(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 CN 105069768 A (43)申请公布日 2015.11.18
(21)申请号 201510473667.8(22)申请日 2015.08.05
(71)申请人武汉高德红外股份有限公司
地址430205 湖北省武汉市东湖开发区黄龙
山南路6号(72)发明人黄立 林道庆 王鹏 周汉林
刘飞 孙小敏(74)专利代理机构武汉开元知识产权代理有限
公司 42104
代理人唐正玉(51)Int.Cl.
G06T 5/50(2006.01)
权利要求书1页 说明书3页 附图2页
(54)发明名称
一种可见光图像与红外图像融合处理系统及融合方法(57)摘要
本发明涉及一种可见光图像与红外图像融合处理系统及图像融合方法，融合处理系统包含图像采集模块、图像融合模块、图像显示模块；其特征在于：图像融合模块分别与图像采集模块及图像显示模块相连。本发明的方法可根据需求调整可见光图像与红外图像的融合比例，并对图像细节进行滤波和比较，再进行增强，提高融合图像的细节信息，避免了噪声的干扰。通过外部参数调整可以灵活控制可见光和红外图像的融合权重，细节增强程度，满足多类显示需求。
C N 1 0 5 0 6 9 7 6 8 A CN 105069768 A
权 利 要 求 书
1/1页
1.一种可见光图像与红外图像融合处理系统，包含图像采集模块、图像融合模块、图像显示模块；其特征在于：图像融合模块分别与图像采集模块及图像显示模块相连；
所述图像采集模块包括红外图像采集装置和可见光图像采集装置，所述图像融合模块对红外图像和可见光图像进行融合处理，获得融合结果；所述图像显示模块将融合图像传送至显示设备显示。
2.根据权利要求1所述的可见光图像与红外图像融合处理系统，其特征在于：所述红外图像采集装置和可见光图像采集装置的镜头安装在相同位置，镜头光轴同方向且平行；红外图像采集装置和可见光图像采集装置输出的视频图像需要帧同步输出，并根据分辨率对视场角范围进行配准，使图像场景区域相同；配准图像的区域选择预先设定选取区域，避免使用复杂运算实现图像配准。
3.利用权利要求1所述的可见光图像与红外图像融合处理系统的融合方法，其特征在于按以下步骤进行：
步骤1：将选取的可见光图像目标区域进行格式变换，将彩色图像转变为灰度图像或只选择彩色图像的亮度分量图像；
步骤2：将可见光的灰度图像或亮度分量进行低通滤波，得到可见光图像低频分量图；然后用滤波前可见光灰度图像与可见光低频分量进行差分运算，获得可见光高频分量图；
步骤3：对红外图像进行低通滤波，得到红外图像低频分量图；然后用滤波前红外灰度图像与红外图像低频分量图进行差分运算，得到红外图像高频分量图；
步骤4：用查表法实现红外图像低频分量的伪彩色增强现实，并提取伪彩色图像中的亮度分量
步骤5：融合低频分量图，即对红外图像低频的亮度分量与可见光灰度图像的低频分量进行加权求和，每个像素的权重和均为1；
步骤6：增强高频分量图，即用控制参数调节红外图像高频分量图和可见光高频分量图的增强程度；
步骤7：将增强后的红外图像高频分量图和可见光高频分量图像一起叠加到步骤5中得到融合低频分量图像上，得到融合亮度分量图像；
步骤8：用融合亮度分量图像替代红外伪彩色图像中的亮度分量，得到最终的融合结果图像。
4.根据权利要求3所述的可见光图像与红外图像融合处理系统的融合方法，其特征在于：所述步骤6具体按以下步骤进行：
步骤6.1：为了减弱细节图像的噪声，对细节图像进行增强之前，需要先对高频图像进行双边滤波，去除噪声；
步骤6.2：比较红外图像细节与可见光图像细节的取值，当细节图像像素值均为正数时，取两者中的最大值作为细节值；当细节图像的像素值均为负数时，取两者中最小值作为细节值，得到一幅新的细节图像；
步骤6.3：用外部增强参数对细节图像进行增强得到增强后的高频分量图。
2
CN 105069768 A
说 明 书
1/3页
一种可见光图像与红外图像融合处理系统及融合方法
技术领域
本发明属于数字图像处理领域，具体涉及一种可见光图像与红外图图像融合处理系统及融合方法。
[0001]
背景技术
在数字图像处理领域中，各种图像传感器的成像原理存在差异，实现光电转换功
能的核心器件响应波长范围不同，单一的图像传感器不能满足各种成像需求。
[0002]
发明内容
针对单一图像传感器成像的不足，本发明的目的在于提供一种可见光图像与红外图像融合处理系统及融合方法，满足不同情况下对不同传感器成像的需求差别，对细节图像进行去噪滤波，并筛选最值，再增强处理，本发明解决了传统融合系统的细节不足和噪声较大的问题。本发明可根据需求调整可见光图像与红外图像的融合比例，并对图像细节进行增强，提高融合图像的细节信息。[0004] 本发明的技术方案为：[0005] 1、一种可见光图像与红外图像融合处理系统，包含图像采集模块、图像融合模块、图像显示模块；其特征在于：图像融合模块分别与图像采集模块及图像显示模块相连；[0006] 所述图像采集模块包括红外图像采集装置和可见光图像采集装置，所述图像融合模块对红外图像和可见光图像进行融合处理，获得融合结果；所述图像显示模块将融合图像传送至显示设备显示。
[0007] 所述红外图像采集装置和可见光图像采集装置的镜头安装在相同位置，镜头光轴同方向且平行；红外图像采集装置和可见光图像采集装置输出的视频图像需要帧同步输出，并根据分辨率对视场角范围进行配准，使图像场景区域相同；配准图像的区域选择预先设定选取区域，避免使用复杂运算实现图像配准。
[0008] 利用一种可见光图像与红外图像融合处理系统的融合方法，其特征在于按以下步骤进行：
[0009] 步骤1：将选取的可见光图像目标区域进行格式变换，将彩色图像转变为灰度图像或只选择彩色图像的亮度分量图像；[0010] 步骤2：将可见光的灰度图像或亮度分量进行低通滤波，得到可见光图像低频分量图；然后用滤波前可见光灰度图像与可见光低频分量进行差分运算，获得可见光高频分量图；
[0011] 步骤3：对红外图像进行低通滤波，得到红外图像低频分量图；然后用滤波前红外灰度图像与红外图像低频分量图进行差分运算，得到红外图像高频分量图；
[0003]
步骤4：用查表法实现红外图像低频分量的伪彩色增强现实，并提取伪彩色图像中的亮度分量
[0013] 步骤5：融合低频分量图，即对红外图像低频的亮度分量与可见光灰度图像的低
[0012]
3
CN 105069768 A
说 明 书
2/3页
频分量进行加权求和，每个像素的权重和均为1；[0014] 为了保持人眼关注目标不受影响，融合时根据场景信息自适应计算每个像素的权重值，符合以下原则，原则一：红外图像低频图像的亮度分量图的取值范围是[0,255]；可见光图像低频分量的取值范围也是[0,255]；原则二：当关注场景以红外图像为主时，如果红外低频图像的亮度分量图的灰度值大于可见光图像低频分量图的灰度值，红外图像像素点的权重值取值为1；否则根据外部输入参数取值；原则三：当关注场景以可见光图像为主时，如果红外低频图像的亮度分量图的灰度值大于可见光图像低频分量的灰度值，红外图像的权重根据外部输入参数取值，否则红外图像权重取值为0；原则四：无论关注场景是红外还是可见光，二者权重和始终是1。[0015] 步骤6：增强高频分量图，即用控制参数调节红外图像高频分量图和可见光高频分量图的增强程度；[0016] 步骤7：将增强后的红外图像高频分量图和可见光高频分量图像一起叠加到步骤5中得到融合低频分量图像上，得到融合亮度分量图像；[0017] 步骤8：用融合亮度分量图像替代红外伪彩色图像中的亮度分量，得到最终的融合结果图像。
[0018] 所述步骤6具体按以下步骤进行：[0019] 步骤6.1：为了减弱细节图像的噪声，对细节图像进行增强之前，需要先对高频图像进行双边滤波，去除噪声；[0020] 步骤6.2：比较红外图像细节与可见光图像细节的取值，当细节图像像素值均为正数时，取两者中的最大值作为细节值；当细节图像的像素值均为负数时，取两者中最小值作为细节值，得到一幅新的细节图像；[0021] 步骤6.3：用外部增强参数对细节图像进行增强得到增强后的高频分量图。[0022] 本发明的有益效果：本发明可根据关注需求调整可见光图像与红外图像的融合比例，并对图像细节进行滤波和比较，再进行增强，提高融合图像的细节信息，避免了噪声的干扰。通过外部参数调整可以灵活控制可见光和红外图像的融合权重，细节增强程度，满足多类显示需求。附图说明
图1为本发明系统的示意图。
[0024] 图2为本发明的图像融合方法流程图。
[0023]
具体实施方式
[0025] 结合附图对本发明作进一步的描述。[0026] 如图1所示，本发明包含图像采集模块、图像融合模块、图像显示模块；其特征在于：图像融合模块分别与图像采集模块及图像显示模块相连；所述图像采集模块包括红外图像采集装置和可见光图像采集装置，所述图像融合模块对红外图像和可见光图像进行融合处理，获得融合结果；所述图像显示模块将融合图像传送至显示设备显示。图像采集模块分为红外图像采集装置与可见光图像采集装置两部分，两者的镜头必须安装在相同位置，镜头光轴同方向且平行；不同图像采集装置输出的视频图像需要帧
[0027]
4
CN 105069768 A
说 明 书
3/3页
同步输出，并根据分辨率对视场角范围进行配准，使图像场景区域相同；配准图像的区域选取可以选择预先设定选取区域的方法，避免使用复杂运算实现图像配准。图像采集模块将采集红外图像数据和可见光图像数据传送给图像融合处理模块。
[0028] 图像融合模块是通过软件运算将选取的红外和可见光图像的感兴趣区域进行图像融合，具体实现流程如图2所示，详细步骤如下：[0029] 步骤1：将选取的可见光图像目标区域进行格式变换，将彩色图像转变为灰度图像或只选择彩色图像的亮度分量图像；[0030] 步骤2：将可见光的灰度图像或亮度分量进行低通滤波，得到可见光图像低频分量图；然后用滤波前可见光灰度图像与可见光低频分量进行差分运算，获得可见光高频分量图；
[0031] 步骤3：对红外图像进行低通滤波，得到红外图像低频分量图；然后用滤波前红外灰度图像与红外图像低频分量图进行差分运算，得到红外图像高频分量图；[0032] 步骤4：用查表法实现红外图像低频分量的伪彩色增强现实，并提取伪彩色图像中的亮度分量
[0033] 步骤5：融合低频分量图，即对红外图像低频的亮度分量与可见光灰度图像的低频分量进行加权求和，每个像素的权重和均为1；[0034] 为了保持人眼关注目标不受影响，融合时根据场景信息自适应计算每个像素的权重值，符合以下原则，原则一：红外图像低频图像的亮度分量图的取值范围是[0,255]；可见光图像低频分量的取值范围也是[0,255]；原则二：当关注场景以红外图像为主时，如果红外低频图像的亮度分量图的灰度值大于可见光图像低频分量图的灰度值，红外图像像素点的权重值取值为1；否则根据外部输入参数取值；原则三：当关注场景以可见光图像为主时，如果红外低频图像的亮度分量图的灰度值大于可见光图像低频分量的灰度值，红外图像的权重根据外部输入参数取值，否则红外图像权重取值为0；原则四：无论关注场景是红外还是可见光，二者权重和始终是1。[0035] 步骤6：增强高频分量图，即用控制参数调节红外图像高频分量图和可见光高频分量图的增强程度；具体步骤按以下方法进行：[0036] 步骤6.1：为了减弱细节图像的噪声，对细节图像进行增强之前，需要先对高频图像进行双边滤波，去除噪声；[0037] 步骤6.2：比较红外图像细节与可见光图像细节的取值，当细节图像像素值均为正数时，取两者中的最大值作为细节值；当细节图像的像素值均为负数时，取两者中最小值作为细节值，得到一幅新的细节图像；[0038] 步骤6.3：用外部增强参数对细节图像进行增强得到增强后的高频分量图。[0039] 步骤7：将增强后的红外图像高频分量图和可见光高频分量图像一起叠加到步骤5中得到融合低频分量图像上，得到融合亮度分量图像；[0040] 步骤8：用融合亮度分量图像替代红外伪彩色图像中的亮度分量，得到最终的融合结果图像。
5
CN 105069768 A
说 明 书 附 图
1/2页
图1
6
CN 105069768 A
说 明 书 附 图
2/2页
图2
7