【技术实现步骤摘要】
一种基于双层优化的红外和可见光融合方法
本专利技术属于图像处理和计算机视觉领域，采用一对红外相机和可见光相机获取图像，涉及构建双层范式的红外和可见光图像融合算法，是一种利用数学建模手段的红外与可见光融合算法。
技术介绍
基于可见光波段的双目立体视觉技术发展较为成熟，可见光成像具有丰富的对比度、颜色、形状信息，因而可以准确、迅速的获得双目图像之间的匹配信息，进而获取场景深度信息。但可见光波段成像存在其缺陷，如在强光、雾雨、雪天或夜晚，其成像质量大大下降，影响匹配的精度。因此利用不同波段信息源的互补性建立彩色融合系统，是实现特殊环境下产生更可信的图像的有效途径。如利用可见光波段双目相机与红外波段双目相机构成多波段立体视觉系统，利用红外成像不受雾雨雪、光照影响优势，弥补可见光波段的成像不足，从而获取更完整、精确的融合信息。多模态图像融合技术是利用多个图像之间的互补性和冗余性，采用特定的算法或规则进行融合，得到高可信度、视觉更优图像的一种图像处理算法。相比于同模态融合图像单一性，多模态图像融合可以更好的获取不同模态下图像的交...
【技术保护点】
1.一种基于双层优化的红外和可见光融合方法，其特征在于，包括步骤如下：/n1)获取配准好的红外和可见光图像，分别对可见光双目相机及红外双目相机进行每个镜头的标定及各自系统的联合标定；/n1-1)利用张正友标定法对每台红外相机、可见光相机分别进行标定，获得每台相机的内部参数包括焦距、主点位置和外部参数包括旋转、平移；/n1-2)利用联合标定获得的RT及检测的棋盘格角点计算同一平面在可见光图像与红外图像中的位置关系运用单应性矩阵进行可见光图像到红外图像的配准；/n2)对可见光图像进行色彩空间的转换，从RGB图像转成HSV图像，提取彩色图像的明度信息作为图像融合的输入，保留其原有...
【技术特征摘要】
1.一种基于双层优化的红外和可见光融合方法，其特征在于，包括步骤如下：
1)获取配准好的红外和可见光图像，分别对可见光双目相机及红外双目相机进行每个镜头的标定及各自系统的联合标定；
1-1)利用张正友标定法对每台红外相机、可见光相机分别进行标定，获得每台相机的内部参数包括焦距、主点位置和外部参数包括旋转、平移；
1-2)利用联合标定获得的RT及检测的棋盘格角点计算同一平面在可见光图像与红外图像中的位置关系运用单应性矩阵进行可见光图像到红外图像的配准；
2)对可见光图像进行色彩空间的转换，从RGB图像转成HSV图像，提取彩色图像的明度信息作为图像融合的输入，保留其原有色调及饱和度；
3)对输入的红外图像和进行色彩空间转换后的可见光图像进行于基于双层范式的数学建模；建立两个单独的模型，即上层子问题Leader和下层子问题Follower来解决同一个问题：
其中，F代表融合后的图像，红外图像和可见光图像被分别用I,V表示，▽代表求梯度的算子，γ,β分别表示Leader和Follower的参数；
4)求解上层子问题，得到目标在图像域的融合结果；目标结果通过求解下式得到：
其中Flk+1表示上层问题的结果；因为该目标有简单的闭式解，因此使用如下公式的闭形式解直接得到：
其中，F代表融合后图像，I代表红外图像，V代表可见光图像，γ代表可见光与红外图像权重参数，α代表权重变量参数；
5)求解下层子问题，得到目标在梯度域的融合结果；应用交替方向乘子法，通过引入辅助变量将无约束问题转化为约束问题，然后在该框架下进行求解；
6)通过对上、下层两个子问题的求解，得到了两个对融合结果在不同特征下的估计Flk+1,为了将这两个成分融合到一张图像F上，对这两个成分进行一个线性的组合，表示为如下形式：
其中Fk+1是每次迭代的最终结果，该参数根据经验手工选取；
7)色彩空间转换：将融合的图像转回RGB图像并添加之前保留下的色调和饱和度；
通过把融合图像存入的V信息进行更新，结合之前保留的H和S进行HSV到RGB色彩空间的还原；
8)色彩增强：对融合的图像进行色彩增强，从而生成一幅清晰度和对比度更优的融合图像；针对每个像素点的对比度，进行像素级的图像增强；
还原的图像进行颜色校正与增强，生成符合观察与检测的三通道图片；分别对R通道、G通道、B通道进行色彩增强，获得最终融合图像。
...
【专利技术属性】
技术研发人员：刘日升，樊鑫，刘晋源，仲维，罗钟铉，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：辽宁;21
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。