一种语义分割信息指导深度学习鱼眼图像校正方法技术

本发明专利技术公开一种语义分割信息指导的深度学习鱼眼图像校正方法，首先构建鱼眼图像仿真数据集，然后构建用于鱼眼图像校正的深度学习模型，包括语义分割子网络、鱼眼图像畸变参数估计子网络和畸变校正子网络，利用仿真数据集对深度学习模型进行训练，得到训练完成的深度学习模型，对于待处理的鱼眼图像，直接将鱼眼图像输入训练完成的深度学习模型，快速得到校正后的无畸变图像。本发明专利技术的方法通过提取鱼眼图像的语义分割信息对后续鱼眼图像畸变参数估计过程进行约束，进一步提高鱼眼图像畸变参数的估计精度和鱼眼图像校正精度。

【技术实现步骤摘要】
一种语义分割信息指导深度学习鱼眼图像校正方法
本专利技术涉及图像处理技术，具体指一种语义分割信息指导的深度学习鱼眼图像校正方法。
技术介绍
鱼眼镜头作为一种超广角镜头，其视角可以达到或超过180°，即可拍摄的范围非常大，因此在视频监控、虚拟现实、三维建模、视觉导航领域有广泛的应用。具体地，鱼眼镜头将半球形物面成像为平面，因此所拍摄的图像严重畸变，使得人的视觉上感受不自然，因此需要将鱼眼镜头所拍摄的畸变图像校正为人的视觉可以接受的透视投影图像。现有技术中进行鱼眼图像校正的方法中，包括鱼眼成像面投影模型、二维图像畸变校正、三维图像畸变校正三类。其中较为常见的三维图像畸变校正方法，是基于球面坐标定位法实现的。除了这类需要人工提取鱼眼图像畸变特征来计算相应畸变参数的方法外，最近还出现了利用深度学习模型自动学习鱼眼图像畸变特征，并进行端到端鱼眼图像校正的方法。但是，现有的鱼眼图像畸变校正方法没有充分考虑图像的语义分割信息，因此在畸变参数的估计过程中缺乏约束，从而影响畸变参数估计精度和畸变校正效果。
技术实现思路
本专利技术为克服上述情况不足，旨在提供一种充分利用语义分割信息进行深度学习端到端鱼眼图像校正的方法，用于解决现有技术中鱼眼图像畸变参数估计过程中缺乏约束，从而影响畸变参数估计精度和畸变校正效果的问题。一种语义分割信息指导的深度学习鱼眼图像校正方法，其特征在于，包括以下步骤：步骤一：构建鱼眼图像仿真数据集。所述构建鱼眼图像仿真数据集的具体方法是：将无畸变图像通过鱼眼镜头成像模型公式计算得到仿真鱼眼图像，其中鱼眼镜头成像模型公式为：θd＝k0θ+k1θ3+k2θ5+k3θ7+k4θ9(1)其中，θ表示针孔相机成像过程中入射光线与光轴的夹角，θd表示鱼眼成像点与鱼眼图像平面坐标系的原点之间的距离，k0、k1、k2、k3和k4表示鱼眼图像的畸变参数。所述仿真数据集中的图像数量大于20000张。步骤二：构建用于鱼眼图像校正的深度学习模型，包括语义分割子网络、鱼眼图像畸变参数估计子网络和畸变校正子网络。所述步骤二中深度学习模型的输入为鱼眼图像，语义分割子网络包括编码部分和解码部分，其中编码部分包括6个卷积层，解码部分包括6个反卷积层，解码部分的每个反卷积层在作反卷积时，调用编码部分对应的卷积层图像特征，上一层的输出结果作为下一层的输入，语义分割子网络获得输入鱼眼图像的语义分割信息；鱼眼图像畸变参数估计子网络共13层，包括10个卷积层和3个全连接层，鱼眼图像畸变参数估计子网络在语义分割信息的指导下，根据输入的鱼眼图像估计出相应的畸变参数；畸变校正子网络包括1层，根据所估计的畸变参数得到校正后的无畸变图像。步骤三：利用仿真数据集对深度学习模型进行训练，得到训练完成的深度学习模型。训练所述深度学习模型使用Caffe框架。步骤四：对于待处理的鱼眼图像，直接将鱼眼图像输入训练完成的深度学习模型，快速得到校正后的无畸变图像。本专利技术有益效果：与现有技术中的鱼眼图像畸变校正方法相比，本专利技术的方法在深度学习模型中增加了语义分割子网络，通过提取鱼眼图像的语义分割信息对后续鱼眼图像畸变参数估计过程进行约束，进一步提高鱼眼图像畸变参数的估计精度和鱼眼图像校正精度。附图说明图1是本专利技术方法的流程图；图2是鱼眼图像仿真数据集示意图；其中，(a)表示无畸变图像，(b)表示根据鱼眼镜头成像模型公式生成的仿真鱼眼图像。图3是用于鱼眼图像校正的深度学习模型；图4是待处理的鱼眼图像；图5是所提取的鱼眼图像语义分割信息；图6是校正之后的鱼眼图像；具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1所示，本实施例提供的一种语义分割信息指导的深度学习鱼眼图像校正方法，包括如下步骤：步骤一：构建鱼眼图像仿真数据集。将无畸变图像通过鱼眼镜头成像模型公式计算得到仿真鱼眼图像，其中鱼眼镜头成像模型公式为：θd＝k0θ+k1θ3+k2θ5+k3θ7+k4θ9(1)其中，θ表示针孔相机成像过程中入射光线与光轴的夹角，θd表示鱼眼成像点与鱼眼图像平面坐标系的原点之间的距离，k0、k1、k2、k3和k4表示鱼眼图像的畸变参数。在具体实施过程中，采用10000张无畸变图像，图像大小为256×256，利用公式(1)表示的鱼眼镜头成像模型公式生成对应的仿真鱼眼图像，如图2所示，其中鱼眼图像的畸变参数k0、k1、k2、k3和k4的变化范围是0.8-1.2，适当调整畸变参数，最终得到包含30000张鱼眼图像的仿真数据集。步骤二：构建用于鱼眼图像校正的深度学习模型，包括语义分割子网络、鱼眼图像畸变参数估计子网络和畸变校正子网络。该深度学习模型如图3所示，输入是大小为256×256的鱼眼图像，语义分割子网络包括编码部分和解码部分，其中编码部分包括6个卷积层，其中特征图数量分别为64、128、128、256、256、512，卷积核尺寸为3×3，解码部分包括6个反卷积层，其中特征图数量分别为256、256、128、128、64、21，卷积核尺寸为2×2，解码部分的每个反卷积层在作反卷积时，调用编码部分对应的卷积层图像特征，上一层的输出结果作为下一层的输入，语义分割子网络获得输入鱼眼图像的语义分割信息；鱼眼图像畸变参数估计子网络共13层，包括10个卷积层和3个全连接层，其中卷积层的特征图数量依次为32、32、64、64、128、128、256、256、512和512，卷积核尺寸为3×3，全连接层的输出维数分别为1024、1024和5，鱼眼图像畸变参数估计子网络在所估计的语义分割信息指导下，根据输入的鱼眼图像估计出相应的畸变参数k0、k1、k2、k3和k4；畸变校正子网络包括1层，根据所估计的畸变参数，对输入鱼眼图像进行变换，得到校正后的无畸变图像，输出的无畸变图像大小同样为256×256。步骤三：利用仿真数据集对深度学习模型进行训练，得到训练完成的深度学习模型。利用安装在Ubuntu系统上的Caffe环境训练该深度学习模型，采用ADAGRAD优化算法进行训练，初始学习率为0.01，训练次数为600000次，其中，在训练次数为300000、400000和500000时，学习率分别除以10，降低学习率。步骤四：对于待处理的鱼眼图像，如图4，直接将鱼眼图像输入训练完成的深度学习模型，所提取的鱼眼图像语义分割信息如图5所示，然后快速得到校正后的无畸变图像，如图6所示。所提取的鱼眼图像语义分割信息在后续鱼眼图像畸变参数估计过程中可增加约束，从而进一步提高鱼眼图像畸变参数的估计精度和鱼眼图像校正精度。以上所揭露的仅为本专利技术一种较佳实施例而已，当然不能以此来限定本专利技术之权利范围，因此依本专利技术权利要求所作的等同变化，仍属本专利技术所涵盖的范围。本文档来自技高网...

【技术保护点】
一种语义分割信息指导的深度学习鱼眼图像校正方法，其特征在于，包括以下步骤：步骤一：构建鱼眼图像仿真数据集；步骤二：构建用于鱼眼图像校正的深度学习模型，包括语义分割子网络、鱼眼图像畸变参数估计子网络和畸变校正子网络；步骤三：利用仿真数据集对深度学习模型进行训练，得到训练完成的深度学习模型；步骤四：对于待处理的鱼眼图像，直接将鱼眼图像输入训练完成的深度学习模型，快速得到校正后的无畸变图像。

【技术特征摘要】
1.一种语义分割信息指导的深度学习鱼眼图像校正方法，其特征在于，包括以下步骤：步骤一：构建鱼眼图像仿真数据集；步骤二：构建用于鱼眼图像校正的深度学习模型，包括语义分割子网络、鱼眼图像畸变参数估计子网络和畸变校正子网络；步骤三：利用仿真数据集对深度学习模型进行训练，得到训练完成的深度学习模型；步骤四：对于待处理的鱼眼图像，直接将鱼眼图像输入训练完成的深度学习模型，快速得到校正后的无畸变图像。2.根据权利要求1所述的语义分割信息指导的深度学习鱼眼图像校正方法，其特征在于：所述步骤一中构建鱼眼图像仿真数据集的具体方法是：将无畸变图像通过鱼眼镜头成像模型公式计算得到仿真鱼眼图像，其中鱼眼镜头成像模型公式为：θd＝k0θ+k1θ3+k2θ5+k3θ7+k4θ9(1)其中，θ表示针孔相机成像过程中入射光线与光轴的夹角，θd表示鱼眼成像点与鱼眼图像平面坐标系的原点之间的距离，k0、k1、k2、k3和k4表示鱼眼图像的畸变参数。3.根据权利...

【专利技术属性】
技术研发人员：张智福，余思洋，陈捷，
申请(专利权)人：长沙全度影像科技有限公司，
类型：发明
国别省市：湖南,43