多路图像一致性融合方法技术

本发明专利技术提供了一种多路图像一致性融合方法，本发明专利技术根据球面成像模型进行360°全景图像拼接融合，并在此基础上通过FPGA进行颜色和亮度一致性的调整消除传感器差异性，达到多路图像一致性融合的目的。本发明专利技术适用于在太空拍摄背景单一，亮度动态范围广的情况下利用四路鱼眼相机360°环绕拍摄，根据球面成像模型进行360°全景图像拼接融合，并在此基础上通过FPGA进行颜色和亮度一致性的调整消除传感器差异性，实现实时传输360°高分辨率全景拼接图像，主要应用于航天、国防领域。

【技术实现步骤摘要】
多路图像一致性融合方法
本专利技术涉及一种多路图像一致性融合方法。
技术介绍
随着人类社会的发展和科学技术的进步，传统的图像视觉需求已无法满足人类需要。在实际的科研和生产中，越来越多的需要近距离获取超过人眼视角的场景，但使用普通照相机无法拍摄庞大的场景，调整焦距虽然可以得到宽视角图像，但是所拍摄到的物体会相对较小，而放大所拍摄的图像会出现马赛克现象，图像质量较差；在实际的科研和生产中，宽视角图像可以通过超广角镜头等直接获取宽视角的取景器材、成像设备获取，但此类设备价格昂贵，使用方法复杂，并不能满足普通生产和科研需要。随着计算机图形学的发展，全景图像拼接技术在宇宙空间探测、遥感测量、医学图像处理等领域具有非常重要的意义。全景图像是指给人以宽视角、立体感觉的全场景图像，全景图像一般具有以下特点：①能够全面显示较多图像信息；②利用实际拍摄的图像拼接而成，原场景中的真实图像信息得到较好的保留；③平面的全景图像让观察者有身历其境的感觉，能够全面展示场景信息，给人以三维立体感。目前获取全景图像的方法有：(1)普通视觉传感器+旋转云台的方法，普通视觉传感器视场有限，依靠云台旋转增大视场；(2)复眼技术+图像拼接的方法，利用多台视觉传感器同时获取视场不同角度的视觉图像，然后实现图像的无缝拼接；(3)利用鱼眼成像技术，鱼的眼睛可以一次观察到接近半球的视场范围，根据鱼眼成像的原理特殊制造的鱼眼镜头是利用多组透镜组合而成，成像原理复杂，价格也相对昂贵；(4)利用凸面反射镜+普通视觉传感器的方法。目前在视频图像合成领域里基于全景图像拼接的多路图像一致性融合方法有：陈蓉、马昊辰，“一种全景环视系统中的图像拼接方法”，专利申请号：201710237136.8，提出了一种亮度调和处理算法解决两两拼接图像间的亮度差别，将重叠区域的像素值相比后得出加权系数，图像中的每一个像素的像素值与该系数相乘加权，实现拼接图像之间的平滑过渡。以上方法来提升全景图像一致性虽然可以部分消除拼接图像之间的亮度差异，但该方法过于简单，没有考虑到图像颜色不一致的问题，且全图乘以同一个系数，会造成拼接图像亮度的失真，并不能完全消除各路传感器之间的亮度差异性。综上所述，利用目前现有多路图像一致性融合方法，不能满足消除不同传感器之间颜色和亮度差异性的需求。
技术实现思路
本专利技术的目的在于提供一种多路图像一致性融合方法。为解决上述问题，本专利技术提供一种多路图像一致性融合方法，包括：进一步的，在上述方法中，进一步的，在上述方法中，进一步的，在上述方法中，进一步的，在上述方法中，进一步的，在上述方法中，进一步的，在上述方法中，进一步的，在上述方法中，进一步的，在上述方法中，进一步的，在上述方法中，根据本专利技术的另一面，提供一种系统，包括：进一步的，在上述系统中，进一步的，在上述系统中，进一步的，在上述系统中，进一步的，在上述系统中，进一步的，在上述系统中，进一步的，在上述系统中，进一步的，在上述系统中，进一步的，在上述系统中，进一步的，在上述系统中，与现有技术相比，本专利技术取得了如下有益效果：第一，本专利技术实现了四路鱼眼相机组成的全景摄像机，通过FPGA硬件平台完成全景图像的一致性融合算法，整机结构简易，工程成本低，算法简单，易于FPGA实现；第二，本专利技术成功实现了实时的高分辨率的360°全景图像拍摄，且成像一致性效果好，适用于太空环境下拍摄背景单一、视场开阔、亮度变化大的场景。附图说明图1：本专利技术的路图像一致性融合方法的流程图；图2：本专利技术中全景摄像机视场图；图3：本专利技术中传感器配置流程图；图4：本专利技术中图像预处理流程图；图5：本专利技术中图像拼接融合流程图；图6：本专利技术中亮度一致性调节流程图；图7：本专利技术中图像重叠区域示意图；图8：本专利技术中校正权重系数示意图；图9：本专利技术中无一致性调节的360°拼接图；图10：本专利技术中一致性调节后的360°拼接图。具体实施方式为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本专利技术作进一步详细的说明。如图1所示，本专利技术提供一种多路图像一致性融合方法，包括：步骤S1，获取全景摄像机的四路传感器如四路鱼眼相机的360°环绕拍摄的四路原始Bayer图像；步骤S2，对所述四路原始Bayer图像进行预处理，得到四路预处理后的图像，所述预处理包括：黑电平校正、坏点校正、图像差值、白平衡、gamma校正和自动曝光等操作；步骤S3，根据鱼眼相机的鱼眼成像特点，利用球面成像模型对所述四路预处理后的图像进行360°拼接，得到拼接后的图像；步骤S4，以第二路鱼眼相机为参考，调节四路鱼眼相机的Vramp寄存器、offset寄存器、模拟增益寄存器等的配置参数，调节拼接后的图像中的相邻两路预处理后的图像的数字增益和白平衡参数，使拼接后的图像中的预处理后的图像的画面颜色接近一致；步骤S5，统计所述拼接后的图像中的各路预处理后的图像的拼接区域的灰度直方图，采用线性渐进方式进行平滑过渡，对局部亮度差异较大场景进行优化，使四路预处理后的图像的画面的亮度接近一致，以得到一致性调整后的360°全景图像数据。本专利技术软件部分为Verilog代码，使用的平台为XILINX公司XC4VSX55-1148I芯片。在此，所述的一致性融合方法在FPGA上实现，具有硬件资源受限、图像并行处理、较强实时性的特点。针对太空拍摄背景单一，亮度动态范围广的情况，通过四路鱼眼相机360°环绕拍摄，根据鱼眼成像特点，利用球面成像模型进行了360°全景图像拼接融合，并在此基础上通过FPGA进行颜色和亮度一致性的调整，实现了实时全景拼接。本专利技术适用于在太空拍摄背景单一，亮度动态范围广的情况下利用四路鱼眼相机360°环绕拍摄，根据球面成像模型进行360°全景图像拼接融合，并在此基础上通过FPGA进行颜色和亮度一致性的调整消除传感器差异性，实现实时传输360°高分辨率全景拼接图像，主要应用于航天、国防领域。本专利技术根据球面成像模型进行360°全景图像拼接融合，并在此基础上通过FPGA进行颜色和亮度一致性的调整消除传感器差异性，达到多路图像一致性融合的目的。本专利技术的多路图像一致性融合方法一实施例中，所述的全景摄像机是由四路鱼眼相机360°环绕组成，各鱼眼相机的光心夹角为90°，水平有效视场角度为120°，保证了相邻相机之间的重叠区满足图像拼接条件。在此，本专利技术针对太空环境下拍摄背景单一、视场开阔、亮度变化大、硬件资源有限、多路传感器输出之间的差异性等特殊情况，利用四路鱼眼相机360°环绕拍摄，根据球面成像模型进行360°全景图像拼接融合，并在此基础上通过FPGA进行颜色和亮度一致性的调整本文档来自技高网...

【技术保护点】
1.一种多路图像一致性融合方法，其特征在于，包括：/n获取全景摄像机的四路鱼眼相机的360°环绕拍摄的四路原始Bayer图像；/n对所述四路原始Bayer图像进行预处理，得到四路预处理后的图像；/n根据鱼眼相机的鱼眼成像特点，利用球面成像模型对所述四路预处理后的图像进行360°拼接，得到拼接后的图像；/n以第二路鱼眼相机为参考，调节四路鱼眼相机的配置参数，调节拼接后的图像中的相邻两路预处理后的图像的数字增益和白平衡参数，使拼接后的图像中的预处理后的图像的画面颜色接近一致；/n统计所述拼接后的图像中的各路预处理后的图像的拼接区域的灰度直方图，采用线性渐进方式进行平滑过渡，对局部亮度差异较大场景进行优化，使四路预处理后的图像的画面的亮度接近一致，以得到一致性调整后的360°全景图像数据。/n

【技术特征摘要】
1.一种多路图像一致性融合方法，其特征在于，包括：
获取全景摄像机的四路鱼眼相机的360°环绕拍摄的四路原始Bayer图像；
对所述四路原始Bayer图像进行预处理，得到四路预处理后的图像；
根据鱼眼相机的鱼眼成像特点，利用球面成像模型对所述四路预处理后的图像进行360°拼接，得到拼接后的图像；
以第二路鱼眼相机为参考，调节四路鱼眼相机的配置参数，调节拼接后的图像中的相邻两路预处理后的图像的数字增益和白平衡参数，使拼接后的图像中的预处理后的图像的画面颜色接近一致；
统计所述拼接后的图像中的各路预处理后的图像的拼接区域的灰度直方图，采用线性渐进方式进行平滑过渡，对局部亮度差异较大场景进行优化，使四路预处理后的图像的画面的亮度接近一致，以得到一致性调整后的360°全景图像数据。


2.如权利要求1所述的多路图像一致性融合方法，其特征在于，所述预处理包括：黑电平校正、坏点校正、图像差值、白平衡、gamma校正和自动曝光。


3.如权利要求1所述的多路图像一致性融合方法，其特征在于，调节四路鱼眼相机的配置参数，包括：
调节四路鱼眼相机的Vramp寄存器、offset寄存器、模拟增益寄存器的配置参数。


4.如权利要求1所述的多路图像一致性融合方法，其特征在于，鱼眼相机的光心夹角为90°，水...

【专利技术属性】
技术研发人员：王琰，徐起，叶盛，方彩婷，郑璧青，沈剑锋，张震，黎泽清，冯书谊，
申请(专利权)人：上海航天测控通信研究所，
类型：发明
国别省市：上海;31