一种鱼眼图像的自监督特征点匹配方法及其存储介质组成比例

本发明专利技术涉及一种鱼眼图像的自监督特征点匹配方法及其存储介质，包括以下步骤：S1将成对图像输入到神经网络模型中，进行离线训练，得到训练好的匹配模型；S2将待测的数据输入训练好的匹配模型，提取出特征描述子，计算特征描述子损失函数并输出对应的匹配结果图。与现有技术相比，本发明专利技术聚焦于鱼眼图像的特征点匹配，方法中避免对原图像进行去畸变处理而损失大量像素信息和立体几何关系；模型采用的UnsuperPoint自监督学习策略，使得该方法的应用不受限于鱼眼数据集的稀少和标注的高成本；本发明专利技术对模型的网络层和损失函数进行了改进，增强网络在复杂几何关系中捕捉重要信息的能力，提高了网络的学习性能，为鱼眼相机在感知领域中的广泛应用搭建桥梁。领域中的广泛应用搭建桥梁。领域中的广泛应用搭建桥梁。

【技术实现步骤摘要】
一种鱼眼图像的自监督特征点匹配方法及其存储介质


[0001]本专利技术涉及智能驾驶
，尤其是涉及一种鱼眼图像的自监督特征点匹配方法及其存储介质。

技术介绍

[0002]在智能驾驶汽车发展中，视觉环境感知起着关键作用，传统的环境信息获取方式是应用窄角针孔摄像头，但是此摄像头视野有限，存在盲区，一方面，当相机发生旋转，偏移路线的时候，有限的可视角度会导致特征点丢失；另一方面，当场景中动态物体较多的时候，可能导致相机的视野被动态的车辆和行人占满，导致位姿估计错误。针对这个问题，随后出现了鱼眼相机，它可以为视觉定位创造一个超大范围的场景视角，甚至可以直接获取半球域的图像信息，理论上仅需两个摄像头即可覆盖360
°
全景视图，为视觉感知提供更多信息，减少了镜头及图像采集模块数目，简化系统、提高运算速度、降低成本。鱼眼相机的缺点是存在着较大的畸变，大畸变会使得普通的相机模型无法适配，并且普通的描述子也不能适用，但无论是生成全景图像还是三维重建都需要首先进行特征匹配，准确的特征匹配是图像拼接和三维景深计算的关键。因此在需要增大视觉视场的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种鱼眼图像的自监督特征点匹配方法及其存储介质，其特征在于，包括以下步骤：S1将成对图像输入到神经网络模型中，进行离线训练，得到训练好的匹配模型；S2将待测的数据输入训练好的匹配模型，以提取出特征描述子，计算特征描述子损失函数并输出对应的匹配结果图。2.根据权利要求1所述的一种鱼眼图像的自监督特征点匹配方法及其存储介质，其特征在于，所述步骤S1中的成对图像为原始鱼眼图像以及加入视角变换的鱼眼图像。3.根据权利要求1所述的一种鱼眼图像的自监督特征点匹配方法及其存储介质，其特征在于，所述步骤S1中的神经网络模型将提取的点通过单应矩阵的真值和去畸变映射函数，将点的坐标投影到同一图像坐标系中，计算每对的点距离，构建点对应关系，以进行自监督学习。4.根据权利要求1所述的一种鱼眼图像的自监督特征点匹配方法及其存储介质，其特征在于，所述步骤S1中的离线训练是对鱼眼图像的视角变换进行建模，将原始图像进行去畸变得到的中间图像作为单应性变换的输入，再对单应性变换后的图像进行去畸变的逆变换，将该输出作为视角变换后的鱼眼图像。5.根据权利要求4所述的一种鱼眼图像的自监督特征点匹配方法及其存储介质，其特征在于，所述的鱼眼图像的视角变换是一种非线性映射，映射函数为图像上的每个像素点生成对应的查找表。6.根据权利要求5所述的一种鱼眼图像的自监督特征点匹配方法及其存储介质，其特征在于，所述的非线性映射的过程中采用鱼眼图像去畸变，去畸变结果作为整个映射过程的中间变量，保留原始鱼眼图像的大视角图像信息。7.根据权利要求1所述的一种鱼眼图像的自监督特征点匹配方法及其存储介...

【专利技术属性】
技术研发人员：田炜，蔡培，
申请(专利权)人：同济大学，
类型：发明
国别省市：