双目鱼眼图像拼接方法及系统技术方案

本发明专利技术公开了双目鱼眼图像拼接方法及系统，属于图像处理技术领域，要解决的技术问题为双目鱼眼图像拼接存在的全景图像拼接耗时长、在全景图像拼接中出现重影。包括如下步骤：通过双目鱼眼镜头同时采集两张鱼眼图像；通过相机标定方法获取相机的参数，并基于相机的参数对每张鱼眼图形进行畸变校正；基于图像拼接框架对校正后鱼眼图像进行图像粗对齐以及图像重建；通过将拼接图像从预测的初始网格扭曲到预定义的目标网格的方式对拼接图像进行矩形化，得到矩形图像。得到矩形图像。得到矩形图像。

【技术实现步骤摘要】
双目鱼眼图像拼接方法及系统


[0001]本专利技术涉及图像处理
，具体地说是双目鱼眼图像拼接方法及系统。

技术介绍

[0002]随着科技的发展，全景视觉是当下非常火热的技术概念,不仅在虚拟现实领域应用广泛，而且能够影响到我们生活的方方面面，全景视觉的应用越来越广泛,其中包括国防、抢险救援、安全监控、医疗等方面的应用。达成全方位视觉的前提是获取包含全部周围景象信息的全景图像。这样的图像一般需要通过造价高昂的专业设备进行拍摄，并且经过复杂的后期处理才能得到，十分不利于普通民众的使用和传播。因此更加方便地获取全景图片是全景视觉领域的热点。
[0003]全景图像作为一种能为用户提供超大视野观察的实景图片，其中基于图像拼接的全景图像生成主要包括以下两种方式：
[0004](1)采用多镜头的特制设备：这类设备一般价格昂贵，普通大众往往承受不起，不适合推广；
[0005](2)通过单镜头采集多张图像拼接等：这类方法不仅操作复杂、效率低下而且在实际工程应用中的适用性不高，仅适用于静态场景。
[0006]鱼眼镜头具有比普通摄像头更广阔的视角，为了简化多方位拍摄覆盖全景的摄像头摆放装置模型，双目像机通过在相反方向上同时拍摄获取覆盖全景的两张鱼眼图像，经过一系列图像处理过程,实现全景图像的拼接,这种方法成本较低、操作简单、快速、可行性高。要获取较好的全景图像，需要对双目鱼眼图像进校正及拼接，这是影响鱼眼镜头实际应用的难点。
[0007]目前鱼眼校正的方式主要分为基于投影变换模型的方法和基于标定的方法。基于球面透视投影主要是通过拟合多项式以优化目标函数，从而估计校正模型参数,推导出校正后的图像，该方法计算复杂、实时性差。基于标定的校正方法主要是借助外部设备对鱼眼图像的内外参数进行标定，通过真实坐标与鱼眼成像平面坐标之间坐标转换，实现鱼眼图像畸变校正，该方法校正精度高。
[0008]如何解决双目鱼眼图像拼接存在的全景图像拼接耗时长、在全景图像拼接中出现重影的问题，是需要解决的技术问题。

技术实现思路

[0009]本专利技术的技术任务是针对以上不足，提供双目鱼眼图像拼接方法及系统，来解决双目鱼眼图像拼接存在的全景图像拼接耗时长、在全景图像拼接中出现重影的技术问题。
[0010]第一方面，本专利技术一种双目鱼眼图像拼接方法，包括如下步骤：
[0011]图像采集：通过双目鱼眼镜头同时采集两张鱼眼图像；
[0012]图像校正：通过相机标定方法获取相机的参数，并基于相机的参数对每张鱼眼图形进行畸变校正，得到校正后鱼眼图像；
[0013]图像拼接：基于无监督的粗对齐方法以及无监督的图像重建方法构建图像拼接框架，基于所述图像拼接框架对校正后鱼眼图像进行图像粗对齐以及图像重建，得到拼接图像；
[0014]图像矩形化：基于完全卷积网络和残差渐进回归策略预测一个初始网格，并预定义一个刚性形状的目标网格，通过将拼接图像从预测的初始网格扭曲到预定义的目标网格的方式对拼接图像进行矩形化，得到矩形图像。
[0015]作为优选，通过相机标定方法获取相机的参数，包括如下步骤：
[0016]选取一个点作为世界坐标系的原点，并构建世界坐标系；
[0017]对于鱼眼图像，通过图像检测算法得到鱼眼图像中每个像素点在世界坐标系中的三维坐标；
[0018]对于每个像素点的三维坐标，将三维坐标通过刚体变换与投影后、经由相机坐标系与像平面坐标系转换为像素坐标；
[0019]对于每个像素点的像素坐标，通过确定图像中心的位置、经过平移转换变为最终的像素坐标系。
[0020]作为优选，基于图像拼接框架对校正后鱼眼图像进行图像粗对齐，包括如下步骤：
[0021]基于消融约束一个无监督单应网络，并引入一个拼接域变换层用于减少图像大小；
[0022]对于每个校正后鱼眼图像，通过卷积网络对校正后鱼眼图像进行特征提取，以提取的特征为输入、通过无监督单应网络估计图像的单应性，以扭曲校正后图像并进行粗对齐，得到扭曲的图像；
[0023]将扭曲的图像投入到拼接域变换层以减少图像中多余的黑色像素，得到最终扭曲的图像。
[0024]作为优选，基于图像拼接框架对校正后鱼眼图像进行图像重建时，通过无监督重建网络消除特征到像素的重影，重建网络包括低分辨率变形分支网络和高分辨率细化分支网络，通过低分辨率变形分支网络学习图像拼接的变形规则，通过高分辨率细化分支网络提高拼接图像的分辨率；
[0025]通过低分辨率变形分支网络学习图像拼接的变形规则，包括如下操作：
[0026]对扭曲的图像进行下采样以降低图像分辨率，得到下采样后图像；
[0027]将下采样后图像输入到由池化层和反卷积层组成的编码器
‑
解码器结构；
[0028]通过编码器
‑
解码器结构进行跳跃连接以对下采样后图像进行变形，得到下采样后图像的内容掩码和接缝掩码，内容掩码用于约束重建图像的特征接近扭曲图像，接缝掩码用于约束重叠区域的边缘自然和连续，其中重叠区域为两个鱼眼图像之间的重叠区域；
[0029]所述高分辨率细化分支网络由卷积层和资源块组成，其中，资源块依次由卷积层、relu激活函数、卷积层、sum函数以及relu激活函数组成；
[0030]计算扭曲的图像在高分辨率细化分支网络下的内容损失和接缝损失，并结合扭曲的图像在低分辨率下的内容掩码和接缝掩码，细化拼接图像，得到两个扭曲后鱼眼图像的拼接图像。
[0031]作为优选，通过将拼接图像从预测的初始网格扭曲到预定义的目标网格的方式对拼接图像进行矩形化，包括如下步骤：
[0032]以拼接图像和拼接图像对应的掩膜为输入，通过特征提取器从输入中提取高级语义特征，得到特征图像，其中，所述特征提取器由堆叠的卷积池块组成；
[0033]通过网格运动回归器、以基于常规网格预测特征图像中每个顶点的水平运动和垂直运动，其中，所述网格运动回归器为全卷积结构；
[0034]基于残差回归策略构建两个相同结构的回归器，分别为第一回归器和第二回归器，第一回归器用于通过渐进的方式预测初级网格运动，所述第二回归器用于以渐进的方式预测残差网格运动；
[0035]对于网格运动回归器术输出的特征图，通过第一回归器预测初级网格运动、对特征图进行网格变形，并通过第二回归器预测残差网格运动、对扭曲的特征图进行网格变形，并在网格变形时、基于网格内约束和网格间约束保持变形网格的形状，得到矩形化的特征图。
[0036]第二方面，本专利技术一种双目鱼眼图像拼接系统，通过如第一方面任一项所述的一种双目鱼眼图像拼接方法进行图像拼接，所述系统包括：
[0037]图像采集模块，所述图像采集模块用于通过双目鱼眼镜头同时采集两张鱼眼图像；
[0038]图像校正模块，所述图像校正模块用于通过相机标定方法获取相机的参数，并基于相机的参数对每张鱼眼图形进行畸变校正，得到校正后鱼眼图像；
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种双目鱼眼图像拼接方法，其特征在于，包括如下步骤：图像采集：通过双目鱼眼镜头同时采集两张鱼眼图像；图像校正：通过相机标定方法获取相机的参数，并基于相机的参数对每张鱼眼图形进行畸变校正，得到校正后鱼眼图像；图像拼接：基于无监督的粗对齐方法以及无监督的图像重建方法构建图像拼接框架，基于所述图像拼接框架对校正后鱼眼图像进行图像粗对齐以及图像重建，得到拼接图像；图像矩形化：基于完全卷积网络和残差渐进回归策略预测一个初始网格，并预定义一个刚性形状的目标网格，通过将拼接图像从预测的初始网格扭曲到预定义的目标网格的方式对拼接图像进行矩形化，得到矩形图像。2.根据权利要求1所述的双目鱼眼图像拼接方法，其特征在于，通过相机标定方法获取相机的参数，包括如下步骤：选取一个点作为世界坐标系的原点，并构建世界坐标系；对于鱼眼图像，通过图像检测算法得到鱼眼图像中每个像素点在世界坐标系中的三维坐标；对于每个像素点的三维坐标，将三维坐标通过刚体变换与投影后、经由相机坐标系与像平面坐标系转换为像素坐标；对于每个像素点的像素坐标，通过确定图像中心的位置、经过平移转换变为最终的像素坐标系。3.根据权利要求1所述的双目鱼眼图像拼接方法，其特征在于，基于图像拼接框架对校正后鱼眼图像进行图像粗对齐，包括如下步骤：基于消融约束一个无监督单应网络，并引入一个拼接域变换层用于减少图像大小；对于每个校正后鱼眼图像，通过卷积网络对校正后鱼眼图像进行特征提取，以提取的特征为输入、通过无监督单应网络估计图像的单应性，以扭曲校正后图像并进行粗对齐，得到扭曲的图像；将扭曲的图像投入到拼接域变换层以减少图像中多余的黑色像素，得到最终扭曲的图像。4.根据权利要求3所述的双目鱼眼图像拼接方法，其特征在于，基于图像拼接框架对校正后鱼眼图像进行图像重建时，通过无监督重建网络消除特征到像素的重影，重建网络包括低分辨率变形分支网络和高分辨率细化分支网络，通过低分辨率变形分支网络学习图像拼接的变形规则，通过高分辨率细化分支网络提高拼接图像的分辨率；通过低分辨率变形分支网络学习图像拼接的变形规则，包括如下操作：对扭曲的图像进行下采样以降低图像分辨率，得到下采样后图像；将下采样后图像输入到由池化层和反卷积层组成的编码器
‑
解码器结构；通过编码器
‑
解码器结构进行跳跃连接以对下采样后图像进行变形，得到下采样后图像的内容掩码和接缝掩码，内容掩码用于约束重建图像的特征接近扭曲图像，接缝掩码用于约束重叠区域的边缘自然和连续，其中重叠区域为两个鱼眼图像之间的重叠区域；所述高分辨率细化分支网络由卷积层和资源块组成，其中，资源块依次由卷积层、relu激活函数、卷积层、sum函数以及relu激活函数组成；计算扭曲的图像在高分辨率细化分支网络下的内容损失和接缝损失，并结合扭曲的图
像在低分辨率下的内容掩码和接缝掩码，细化拼接图像，得到两个扭曲后鱼眼图像的拼接图像。5.根据权利要求4所述的双目鱼眼图像拼接方法，其特征在于，通过将拼接图像从预测的初始网格扭曲到预定义的目标网格的方式对拼接图像进行矩形化，包括如下步骤：以拼接图像和拼接图像对应的掩膜为输入，通过特征提取器从输入中提取高级语义特征，得到特征图像，其中，所述特征提取器由堆叠的卷积池块组成；通过网格运动回归器、以基于常规网格预测特征图像中每个顶点的水平运动和垂直运动，其中，所述网格运动回归器为全卷积结构；基于残差回归策略构建两个相同结构的回归器，分别为第一回归器和第二回归器，第一回归器用于通过渐进的方式预测初级网格运动，所述第二回归器用于以渐进的方式预测残差网格运动；对于网格运动回归器术输出的特征图，通过第一回归器预测初级网格运动、对特征图进行网格变形，并通过第二回归器预测残差网格运动、对扭曲的特征图进行网格变形，并在网格变形时、基于网格内约束和网格间约束保持变形网格的形状，得到矩形化的特征图。6.一种双目鱼眼图像拼接系统，其特征在于，通过如权利要求
‑
5任一项所述的一种双目鱼眼图...

【专利技术属性】
技术研发人员：董安明，金占杰，禹继国，臧传浩，主洪磊，宋守良，高斌，韩玉冰，李素芳，张丽，
申请(专利权)人：齐鲁工业大学山东省科学院，
类型：发明
国别省市：