一种基于双层优化的红外和可见光融合方法技术

本发明专利技术属于图像处理和计算机视觉领域，提出了一种基于双层优化的红外和可见光融合方法，采用一对红外相机和可见光相机获取图像，涉及构建双层范式的红外和可见光图像融合算法，是一种利用数学建模手段的红外与可见光融合算法。利用双目相机和NVIDIA TX2构建高性能运算平台，并构建高性能求解算法以获高质量的红外和可见光融合图像。系统容易构建，分别使用立体双目红外和可见光相机即可完成输入数据的采集；程序简单，易于实现；利用红外和可见光相机成像的不同原理，通过用于数学建模手段，将融合图像分成图像域和梯度进行融合，有效的处理了融合时产生的伪影并提高了融合质量，最后通过GPU加速达到实时。

A fusion method of infrared and visible light based on double-layer optimization

【技术实现步骤摘要】
一种基于双层优化的红外和可见光融合方法
本专利技术属于图像处理和计算机视觉领域，采用一对红外相机和可见光相机获取图像，涉及构建双层范式的红外和可见光图像融合算法，是一种利用数学建模手段的红外与可见光融合算法。
技术介绍
基于可见光波段的双目立体视觉技术发展较为成熟，可见光成像具有丰富的对比度、颜色、形状信息，因而可以准确、迅速的获得双目图像之间的匹配信息，进而获取场景深度信息。但可见光波段成像存在其缺陷，如在强光、雾雨、雪天或夜晚，其成像质量大大下降，影响匹配的精度。因此利用不同波段信息源的互补性建立彩色融合系统，是实现特殊环境下产生更可信的图像的有效途径。如利用可见光波段双目相机与红外波段双目相机构成多波段立体视觉系统，利用红外成像不受雾雨雪、光照影响优势，弥补可见光波段的成像不足，从而获取更完整、精确的融合信息。多模态图像融合技术是利用多个图像之间的互补性和冗余性，采用特定的算法或规则进行融合，得到高可信度、视觉更优图像的一种图像处理算法。相比于同模态融合图像单一性，多模态图像融合可以更好的获取不同模态下图像的交互信息，逐渐成为解决灾害监测，无人驾驶，军事监控，深空探测的重要手段。其目标是利用不同模态传感器成像的差异性和互补性，极大限度地提取各模态的图像信息，使用不同模态的源图像融合出一张信息丰富、真实度高的合成图像。因此多模态图像融合会对图像产生更全面的认识和更准确的定位。近年来，大多融合方法都是基于变换域进行研究设计，没有考虑到图像多尺度的细节信息，导致融合后的图像中细节丢失，如公开专利CN208240087U一种红外与可见光融合系统及图像融合装置。因而本专利技术在通过对红外和可见光进行数学建模后对其进行最优化求解，在保留红外和可见光图像的有效信息的基础上，实现细节的增强且去除伪影。
技术实现思路
本专利技术旨在克服现有技术的不足，提供了一种基于双层范式的红外与可见光实时融合算法。通过设计针对红外和可见光图像进行基于双层范式的数学建模，分别在图像的图像域和梯度域进行求解，最后通过GPU加速达到实时。本专利技术的具体技术方案：一种基于双层优化的红外和可见光融合方法，包括步骤如下：1)获取配准好的红外和可见光图像，分别对可见光双目相机及红外双目相机进行每个镜头的标定及各自系统的联合标定；1-1)利用张正友标定法对每台红外相机、可见光相机分别进行标定，获得每台相机的内部参数包括焦距、主点位置和外部参数包括旋转、平移；1-2)利用联合标定获得的RT(旋转矩阵与平移向量)及检测的棋盘格角点计算同一平面在可见光图像与红外图像中的位置关系运用单应性矩阵进行可见光图像到红外图像的配准；2)对可见光图像进行色彩空间的转换，从RGB图像转成HSV图像，提取彩色图像的明度信息作为图像融合的输入，保留其原有色调及饱和度；2-1)针对可见光图像是RGB三通道的问题，进行RGB色彩空间到HSV色彩空间的转换，V为明度，H为色调，S为饱和度；提取可见光图像的明度信息与红外图像进行融合，保留其色调和饱和度，具体转换如下所示：R′＝R/255G′＝G/255B′＝B/255Cmax＝max(R′,G′,B′)Cmin＝min(R′，G′，B′)Δ＝Cmax-CminV＝Cmax2-2)提取V通道作为可见光的输入，保留H和S到对应的矩阵为后面融合后的色彩还原保留颜色信息。3)对输入的红外图像和进行色彩空间转换后的可见光图像进行于基于双层范式的数学建模；该思想的核心是建立两个单独的模型，即上层子问题Leader和下层子问题Follower来解决同一个问题。首先假设优化中的目标函数和问题约束是博弈中的两个参与者，其中目标函数被视为领导者，问题约束是跟随者。在这种竞争中，领导者的下一步优化需要考虑跟随者的结果。将这两个竞争对手定义为两个复合最小化子问题：β||▽F-▽V||1其中，F代表融合后的图像，红外图像和可见光图像被分别用I,V表示，▽代表求梯度的算子，γ,β分别表示Leader和Follower的参数；4)求解上层子问题，得到目标在图像域的融合结果；目标结果通过求解下式得到：其中Flk+1表示上层问题的结果；因为该目标有简单的闭式解，因此使用如下公式的闭形式解直接得到：其中，F代表融合后图像，I代表红外图像，V代表可见光图像，γ代表可见光与红外图像权重参数，α代表权重变量参数。5)求解下层子问题，得到目标在梯度域的融合结果；可以发现该问题是非凸非光滑的，很难被直接求解，应用交替方向乘子法，通过引入辅助变量将无约束问题转化为约束问题，然后在该框架下进行求解；求解方法为：首先引入两个辅助变量u,w，其中u＝▽F-▽I,w＝▽F-▽V；通过变量替换，转化为最小化如下问题：其中▽表示梯度算子，λ1,λ2是两个乘子，ρ1，ρ2是惩罚项的参数，通过变量分离，得到了三个分别关于u,w,F的子问题：5-1)对于下层问题的的更新，使用公式的闭形式解得到：5-2)每一次迭代之后都需要对乘子λ1,λ2进行更新，具体更新方式如下：6)通过对上、下层两个子问题的求解，得到了两个对融合结果在不同特征下的估计Flk+1,为了将这两个成分融合到一张图像F上，对这两个成分进行一个线性的组合，表示为如下形式：其中Fk+1是每次迭代的最终结果，α是权衡两个成分的参数，该参数根据经验手工选取。7)色彩空间转换：将融合的图像转回RGB图像并添加之前保留下的色调和饱和度；通过把融合图像存入的V信息进行更新，结合之前保留的H和S进行HSV到RGB色彩空间的还原；具体公式如下所示：C＝V×SX＝C×(1-|(H/60°)mod2-1|)m＝V-CR′,G′,B′＝((R′+m)×255，(G′+m)×255，(B′+m)×255)其中，C为明度与饱和度的成绩，m为明度与C的差。8)色彩增强：对融合的图像进行色彩增强，从而生成一幅清晰度和对比度更优的融合图像；针对每个像素点的对比度，进行像素级的图像增强；还原的图像进行颜色校正与增强，生成符合观察与检测的三通道图片；分别对R通道、G通道、B通道进行色彩增强，获得最终融合图像。具体如下公式所示：Rout＝(Rin)1/gammaRdisplay＝(Rin(1/gamma))gammaGout＝(Gin)1/gammaG＝(Gin(1/gamma))gammaBout＝(Bin)1/gammaBdisplay＝(Bin(1/gamma))gamma其中gamma是矫正参数，Rin，Gin，Bin分别是输入R，G，B三个通道的值Rout，Gout，Bout是中间参数Rdisplay，Gdisplay，Bdispl本文档来自技高网...

【技术保护点】
1.一种基于双层优化的红外和可见光融合方法，其特征在于，包括步骤如下：/n1)获取配准好的红外和可见光图像，分别对可见光双目相机及红外双目相机进行每个镜头的标定及各自系统的联合标定；/n1-1)利用张正友标定法对每台红外相机、可见光相机分别进行标定，获得每台相机的内部参数包括焦距、主点位置和外部参数包括旋转、平移；/n1-2)利用联合标定获得的RT及检测的棋盘格角点计算同一平面在可见光图像与红外图像中的位置关系运用单应性矩阵进行可见光图像到红外图像的配准；/n2)对可见光图像进行色彩空间的转换，从RGB图像转成HSV图像，提取彩色图像的明度信息作为图像融合的输入，保留其原有色调及饱和度；/n3)对输入的红外图像和进行色彩空间转换后的可见光图像进行于基于双层范式的数学建模；建立两个单独的模型，即上层子问题Leader和下层子问题Follower来解决同一个问题：/n

【技术特征摘要】
1.一种基于双层优化的红外和可见光融合方法，其特征在于，包括步骤如下：
1)获取配准好的红外和可见光图像，分别对可见光双目相机及红外双目相机进行每个镜头的标定及各自系统的联合标定；
1-1)利用张正友标定法对每台红外相机、可见光相机分别进行标定，获得每台相机的内部参数包括焦距、主点位置和外部参数包括旋转、平移；
1-2)利用联合标定获得的RT及检测的棋盘格角点计算同一平面在可见光图像与红外图像中的位置关系运用单应性矩阵进行可见光图像到红外图像的配准；
2)对可见光图像进行色彩空间的转换，从RGB图像转成HSV图像，提取彩色图像的明度信息作为图像融合的输入，保留其原有色调及饱和度；
3)对输入的红外图像和进行色彩空间转换后的可见光图像进行于基于双层范式的数学建模；建立两个单独的模型，即上层子问题Leader和下层子问题Follower来解决同一个问题：






其中，F代表融合后的图像，红外图像和可见光图像被分别用I,V表示，▽代表求梯度的算子，γ,β分别表示Leader和Follower的参数；
4)求解上层子问题，得到目标在图像域的融合结果；目标结果通过求解下式得到：



其中Flk+1表示上层问题的结果；因为该目标有简单的闭式解，因此使用如下公式的闭形式解直接得到：



其中，F代表融合后图像，I代表红外图像，V代表可见光图像，γ代表可见光与红外图像权重参数，α代表权重变量参数；
5)求解下层子问题，得到目标在梯度域的融合结果；应用交替方向乘子法，通过引入辅助变量将无约束问题转化为约束问题，然后在该框架下进行求解；
6)通过对上、下层两个子问题的求解，得到了两个对融合结果在不同特征下的估计Flk+1,为了将这两个成分融合到一张图像F上，对这两个成分进行一个线性的组合，表示为如下形式：



其中Fk+1是每次迭代的最终结果，该参数根据经验手工选取；
7)色彩空间转换：将融合的图像转回RGB图像并添加之前保留下的色调和饱和度；
通过把融合图像存入的V信息进行更新，结合之前保留的H和S进行HSV到RGB色彩空间的还原；
8)色彩增强：对融合的图像进行色彩增强，从而生成一幅清晰度和对比度更优的融合图像；针对每个像素点的对比度，进行像素级的图像增强；
还原的图像进行颜色校正与增强，生成符合观察与检测的三通道图片；分别对R通道、G通道、B通道进行色彩增强，获得最终融合图像。


...

【专利技术属性】
技术研发人员：刘日升，樊鑫，刘晋源，仲维，罗钟铉，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：辽宁;21