一种基于鱼眼畸变特性的相机位姿测量方法技术

本发明专利技术公开了一种基于鱼眼畸变特性的相机位姿测量方法，包括：生成虚拟鱼眼图像数据集；对虚拟鱼眼图像数据集中的鱼眼图像进行等畸变区域划分；构建相机位姿测量深度学习网络，利用等畸变区域对相机位姿测量深度学习网络进行训练；利用训练后的相机位姿测量深度学习网络对相机位姿进行测量。本申请提出的一种基于鱼眼畸变特性的相机位姿测量方法，为相机位姿测量提供了数据基础和支撑，保证了鱼眼局域图像的基本平移不变性，提高了图像匹配精度，实现了直接利用鱼眼图像进行相机位姿测量。量。量。

【技术实现步骤摘要】
一种基于鱼眼畸变特性的相机位姿测量方法


[0001]本专利技术涉及图像测量
，特别涉及一种基于鱼眼畸变特性的相机位姿测量方法。

技术介绍

[0002]环境感知技术在陆地交通、航天航空、医疗器械和工业等多个领域广泛应用，其中视觉感知是环境感知的主要技术手段。相机位姿测量是环境感知技术的实际任务之一，其实际任务的执行必须依赖于一个信息充分的观察环境，即扩大相机的感知视场范围是解决当前问题最经济、快速的方法。对于扩大视觉感知范围，鱼眼镜头具有超大视场、体积小且安装紧凑等优点，是一种可用于宽视角相机位姿测量的方法。
[0003]但是鱼眼成像在实现宽视野成像的同时伴随着严重的非线性畸变，在不同的方位和距离下具有不同畸变扩散，从光轴不同角度看过去的相同物体大不相同。鱼眼镜头的非线性畸变特性导致其在宽视角相机位姿测量方法研究中存在校正后图像存在伪影或者模糊影响匹配精度、缺乏用于宽视角相机位姿测量的数据集和无法直接利用鱼眼图像进行相机位姿测量等问题。

技术实现思路

[0004]本专利技术实施例提供了一种基于鱼眼畸变特性的相机位姿测量方法，用以解决现有技术中没有比较可靠的针对校正后图像存在伪影或者模糊影响匹配精度、缺乏用于宽视角相机位姿测量的数据集和无法直接利用鱼眼图像进行相机位姿测量的问题。
[0005]一方面，本专利技术实施例提供了一种基于鱼眼畸变特性的相机位姿测量方法，包括：
[0006]生成虚拟鱼眼图像数据集。
[0007]对所述虚拟鱼眼图像数据集中的鱼眼图像进行等畸变区域划分。
[0008]构建相机位姿测量深度学习网络，利用所述等畸变区域对所述相机位姿测量深度学习网络进行训练。
[0009]利用训练后的所述相机位姿测量深度学习网络对相机位姿进行测量。
[0010]在一种可能的实现方式中，所述生成虚拟鱼眼图像数据集包括：
[0011]建立线性图像转换为虚拟鱼眼图像的非线性变换模型,生成虚拟鱼眼相对位姿数据集。
[0012]生成不同参数鱼眼镜头下的鱼眼图像，增强所述虚拟鱼眼相对位姿数据集。
[0013]在一种可能的实现方式中，所述建立线性图像转换为虚拟鱼眼图像的非线性变换模型包括：
[0014]通过标定，确定相机内参，建立鱼眼多项式模型，确定相机参数。
[0015]读取针孔图像中所有像素点的坐标。
[0016]求出鱼眼图像上的相对应坐标。
[0017]将鱼眼图像上的相对应坐标转换为像素坐标。
[0018]在一种可能的实现方式中，所述对所述虚拟鱼眼图像数据集中的鱼眼图像进行等畸变区域划分包括：
[0019]将鱼眼图像分成互不重叠的最小图像块。
[0020]计算鱼眼图像中心点到图像边缘点的最大距离，设置属于等畸变区域中最小图像块的中心坐标与图像中心点距离的阈值。
[0021]根据所述最小图像块的中心坐标与图像中心点距离进行等畸变区域划分。
[0022]在一种可能的实现方式中，所述构建相机位姿测量深度学习网络，利用所述等畸变区域对所述相机位姿测量深度学习网络进行训练包括：
[0023]采用卷积神经网络和长短时记忆网络作为基本深度学习网络框架，将所述等畸变区域的权重共享的非线性特征提取方法应用于卷积神经网络中，进行双向循环训练。
[0024]在一种可能的实现方式中，所述利用训练后的所述相机位姿测量深度学习网络对相机位姿进行测量包括：
[0025]利用特征迁移学习的方法，将所述相机位姿测量深度学习网络迁移至实际场景的鱼眼相机姿态测量中，并通过实际测量误差对实际场景相机位姿测量进行验证。
[0026]本专利技术中的一种基于鱼眼畸变特性的相机位姿测量方法，具有以下优点：
[0027]提出的生成虚拟鱼眼图像数据集，为相机位姿测量提供了数据基础和支撑；提出的对所述虚拟鱼眼图像数据集中的鱼眼图像进行等畸变区域划分，保证了鱼眼局域图像的基本平移不变性，提高了图像匹配精度，提出的构建相机位姿测量深度学习网络，利用所述等畸变区域对所述相机位姿测量深度学习网络进行训练，利用训练后的所述相机位姿测量深度学习网络对相机位姿进行测量，实现了直接利用鱼眼图像进行相机位姿测量。
附图说明
[0028]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0029]图1为本专利技术实施例提供的一种基于鱼眼畸变特性的相机位姿测量方法的流程示意图；
[0030]图2为本专利技术实施例提供的一种球形坐标系下的鱼眼成像模型示意图。
具体实施方式
[0031]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0032]图1为本专利技术实施例提供的一种基于鱼眼畸变特性的相机位姿测量方法的流程示意图。本专利技术实施例提供了一种基于鱼眼畸变特性的相机位姿测量方法，包括：
[0033]生成虚拟鱼眼图像数据集。
[0034]对所述虚拟鱼眼图像数据集中的鱼眼图像进行等畸变区域划分。
[0035]构建相机位姿测量深度学习网络，利用所述等畸变区域对所述相机位姿测量深度学习网络进行训练。
[0036]利用训练后的所述相机位姿测量深度学习网络对相机位姿进行测量。
[0037]S101，示例性地，所述生成虚拟鱼眼图像数据集包括：
[0038]建立线性图像转换为虚拟鱼眼图像的非线性变换模型,生成虚拟鱼眼相对位姿数据集。
[0039]生成不同参数鱼眼镜头下的鱼眼图像，增强所述虚拟鱼眼相对位姿数据集。
[0040]具体地，以自动驾驶公开视觉里程计数据集KITTI为例，根据鱼眼非线性畸变成像原理，从传统的像素平面变换到鱼眼像素平面可以看做传统像素平面中的每一个像素点通过鱼眼成像原理一一对应映射到鱼眼像素平面，建立线性图像转换为虚拟鱼眼图像的非线性变换模型，生成虚拟鱼眼相对位姿数据集KITTI_FE(KITTI Of Fish Eye，KITTI_FE)，包括11个场景的图像序列数据集和标签数据集，该数据集不仅适合绝对位姿测量，而且适用于相对位姿的测量。通过选择成像模型、焦距和分辨率等参数，生成不同参数鱼眼镜头下的鱼眼图像，进而增强数据集，提高训练模型的泛化性。
[0041]示例性地，所述建立线性图像转换为虚拟鱼眼图像的非线性变换模型包括：
[0042]通过标定，确定相机内参，建立鱼眼多项式模型，确定相机参数：
[0043]P
d
＝[k1；k2；k3；k4；m
u
；m...

【技术保护点】

【技术特征摘要】
1.一种基于鱼眼畸变特性的相机位姿测量方法，其特征在于，包括：生成虚拟鱼眼图像数据集；对所述虚拟鱼眼图像数据集中的鱼眼图像进行等畸变区域划分；构建相机位姿测量深度学习网络，利用所述等畸变区域对所述相机位姿测量深度学习网络进行训练；利用训练后的所述相机位姿测量深度学习网络对相机位姿进行测量。2.根据权利要求1所述的一种基于鱼眼畸变特性的相机位姿测量方法，其特征在于，所述生成虚拟鱼眼图像数据集包括：建立线性图像转换为虚拟鱼眼图像的非线性变换模型,生成虚拟鱼眼相对位姿数据集；生成不同参数鱼眼镜头下的鱼眼图像，增强所述虚拟鱼眼相对位姿数据集。3.根据权利要求2所述的一种基于鱼眼畸变特性的相机位姿测量方法，其特征在于，所述建立线性图像转换为虚拟鱼眼图像的非线性变换模型包括：通过标定，确定相机内参，建立鱼眼多项式模型，确定相机参数；读取针孔图像中所有像素点的坐标；求出鱼眼图像上的相对应坐标；将鱼眼图像上的相对应坐标转换为像素坐标。4.根据权利要求1所述的一种基于鱼眼畸变特性的相机位姿测量方法，...

【专利技术属性】
技术研发人员：李咸静，
申请(专利权)人：长治学院，
类型：发明
国别省市：