大场景下的视觉定位方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术提供一种大场景下的视觉定位方法、装置、电子设备及存储介质，涉及定位技术领域。该方法包括：对目标影像进行特征提取处理，获取特征点数据；将特征点数据与三维模型特征库进行匹配，获取匹配点的三维点云坐标；基于匹配点的三维点云坐标和目标影像对应的相机参数，获取拍摄目标影像的位置；三维模型特征库基于目标区域的倾斜摄影三维模型构建。本发明专利技术提供的大场景下的视觉定位方法、装置、电子设备及存储介质，基于利用已有的倾斜摄影三维模型构建三维模型特征库，结合视觉主动定位手段，建立目标影像的特征点数据和三维模型特征库之间的匹配关系，能解决在卫星信号拒止条件下又无法利用移动采集车等构建特征库或地图的区域的定位问题。的区域的定位问题。的区域的定位问题。

【技术实现步骤摘要】
大场景下的视觉定位方法、装置、电子设备及存储介质


[0001]本专利技术涉及定位
，尤其涉及一种大场景下的视觉定位方法、装置、电子设备及存储介质。

技术介绍

[0002]定位技术被广泛应用于日常生活的各方面，例如智能手机、机器人以及自动驾驶等都需要定位才能实现相应功能。北斗等卫星导航系统（Global Navigation Satellite System，GNSS）、激光雷达或惯性测量单元（Inertial Measurement Unit ，IMU）等都可以提供定位服务，但不同的定位方法都具有各自的局限性。
[0003]为了弥补不同的定位方法的不足，视觉定位方法得到越来越多的应用。视觉定位不需要依赖外来信号，可实现自主定位，弥补卫星信号拒止条件下的定位需求,当定位信息丢失时，视觉定位可以通过利用图像重新实现定位，获取当前位置信息。视觉定位，又称视觉主动定位，是指用户主动拍照，通过后台计算实现的定位方式。该定位方式通常需要提前建立定位区域的影像特征库。
[0004]现有的视觉主动定位方法需要依赖构建好的特征库或地图。特征库通常是通过车载移动采集设备或者手持移动设备采集原始数据，基于上述数据构建特征库。地图构建方式有很多，一般利用从运动恢复结构（Structure from motion，SFM）或定位过程中同步定位与地图构建（Simultaneous Localization and Mapping ，SLAM）实现。上述两种地图构建方式也需要通过车载或手持采集设备进行原始数据采集。车载或手持采集方式决定了构建特征库或地图的区域必须是车或人能进入的区域，对于比较危险区域无法进行特征库或地图的构建，而这些区域迫切需要视觉定位弥补卫星定位。并且，利用车载或移动采集设备进行数据采集造成了数据重复采集和资源浪费，也不利于视觉主动定位的大范围应用推广，尤其对于采集数据困难的地区。再有，对于小场景，提前建立特征库或地图的方式是可取的。但在大场景下，建立特征库或地图的代价较大。
[0005]综上，现有视觉定位方法无法在卫星信号拒止条件下又无法利用移动采集车等构建特征库或地图的区域（例如深山或森林等）进行定位。

技术实现思路

[0006]本专利技术提供一种大场景下的视觉定位方法、装置、电子设备及存储介质，用以解决现有技术中在卫星信号拒止条件下又无法利用移动采集车等构建特征库或地图的区域进行定位的缺陷，实现在卫星信号拒止条件下又无法利用移动采集车等构建特征库或地图的区域进行定位。
[0007]本专利技术提供一种大场景下的视觉定位方法，包括：获取目标影像；对所述目标影像进行特征提取处理，获取特征点数据；将所述特征点数据与三维模型特征库进行匹配，获取匹配点的三维点云坐标；
基于所述匹配点的三维点云坐标和所述目标影像对应的相机参数，获取拍摄所述目标影像的位置；其中，所述三维模型特征库是基于目标区域的倾斜摄影三维模型构建的。
[0008]根据本专利技术提供的一种大场景下的视觉定位方法，所述将所述特征点数据与三维模型特征库进行匹配，获取匹配点的三维点云坐标之前，还包括：获取所述目标区域的倾斜摄影三维模型；基于所述倾斜摄影三维模型，恢复所述倾斜摄影三维模型对应的点云数据和特征点信息；基于所述倾斜摄影三维模型对应的点云数据和特征点信息，构建所述三维模型特征库。
[0009]根据本专利技术提供的一种大场景下的视觉定位方法，所述基于所述倾斜摄影三维模型，恢复所述倾斜摄影三维模型对应的点云数据和特征点信息，包括：获取所述倾斜摄影三维模型的几何特征和纹理特征；基于所述几何特征和所述纹理特征，获取所述倾斜摄影三维模型对应的点云数据和特征点信息。
[0010]根据本专利技术提供的一种大场景下的视觉定位方法，所述基于所述几何特征和所述纹理特征，获取所述倾斜摄影三维模型对应的点云数据和特征点信息，包括：基于所述几何特征及所述倾斜摄影三维模型的共面属性，恢复所述倾斜摄影三维模型的三维点云信息，作为所述点云数据，并基于所述几何特征和所述纹理特征，对所述倾斜摄影三维模型的每个面进行二维图像的特征提取处理，获取所述特征点信息。
[0011]根据本专利技术提供的一种大场景下的视觉定位方法，所述基于所述几何特征及所述倾斜摄影三维模型的共面属性，恢复所述倾斜摄影三维模型的三维点云信息，作为所述点云数据，包括：基于所述几何特征及所述倾斜摄影三维模型的共面属性，对所述倾斜摄影三维模型的每个面进行点云内插处理，得到所述倾斜摄影三维模型每个平面的像素级三维点云信息，作为所述特征点信息。
[0012]根据本专利技术提供的一种大场景下的视觉定位方法，所述基于所述几何特征和所述纹理特征，对所述倾斜摄影三维模型的每个面进行二维图像的特征提取处理，获取所述特征点信息，包括：根据三维模型面域分割原理，基于所述几何特征和所述纹理特征，对所述倾斜摄影三维模型的每个面进行分割；对分割得到的各二维图像进行二维图像的特征提取处理，获取所述特征点信息。
[0013]根据本专利技术提供的一种大场景下的视觉定位方法，所述基于所述倾斜摄影三维模型对应的点云数据和特征点信息，构建所述三维模型特征库，包括：基于像素的坐标，建立所述点云数据和所述特征点信息之间的映射关系；基于所述映射关系，构建所述三维模型特征库。
[0014]本专利技术还提供一种大场景下的视觉定位装置，包括：影像获取模块，用于获取目标影像；提取模块，用于对所述目标影像进行特征提取处理，获取特征点数据；
匹配模块，用于将所述特征点数据与三维模型特征库进行匹配，获取匹配点的三维点云坐标；定位模块，用于基于所述匹配点的三维点云坐标和所述目标影像对应的相机参数，获取拍摄所述目标影像的位置；其中，所述三维模型特征库是基于目标区域的倾斜摄影三维模型构建的。
[0015]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述大场景下的视觉定位方法。
[0016]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述大场景下的视觉定位方法。
[0017]本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述大场景下的视觉定位方法。
[0018]本专利技术提供的大场景下的视觉定位方法、装置、电子设备及存储介质，基于利用已有的倾斜摄影三维模型构建的三维模型特征库，结合视觉主动定位手段，建立目标影像的特征点数据和三维模型特征库之间的匹配关系，充分利用现有的大数据进而实现大场景下的基于三维模型的视觉主动定位，能解决在卫星信号拒止条件下又无法利用移动采集车等构建特征库或地图的区域的定位问题。并且，充分利用已有三维模型数据，能实现已有倾斜三维模型数据由于矢量化程度低而无法充分发挥价值的一大使用途径，提高倾斜三维模型数据的应用范围；由于无需视觉主动定位首先必须进行数据采集的重复过程，能降低数据采集的成本；重点可以为大型景区或本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大场景下的视觉定位方法，其特征在于，包括：获取目标影像；对所述目标影像进行特征提取处理，获取特征点数据；将所述特征点数据与三维模型特征库进行匹配，获取匹配点的三维点云坐标；基于所述匹配点的三维点云坐标和所述目标影像对应的相机参数，获取拍摄所述目标影像的位置；其中，所述三维模型特征库是基于目标区域的倾斜摄影三维模型构建的。2.根据权利要求1所述的大场景下的视觉定位方法，其特征在于，所述将所述特征点数据与三维模型特征库进行匹配，获取匹配点的三维点云坐标之前，还包括：获取所述目标区域的倾斜摄影三维模型；基于所述倾斜摄影三维模型，恢复所述倾斜摄影三维模型对应的点云数据和特征点信息；基于所述倾斜摄影三维模型对应的点云数据和特征点信息，构建所述三维模型特征库。3.根据权利要求2所述的大场景下的视觉定位方法，其特征在于，所述基于所述倾斜摄影三维模型，恢复所述倾斜摄影三维模型对应的点云数据和特征点信息，包括：获取所述倾斜摄影三维模型的几何特征和纹理特征；基于所述几何特征和所述纹理特征，获取所述倾斜摄影三维模型对应的点云数据和特征点信息。4.根据权利要求3所述的大场景下的视觉定位方法，其特征在于，所述基于所述几何特征和所述纹理特征，获取所述倾斜摄影三维模型对应的点云数据和特征点信息，包括：基于所述几何特征及所述倾斜摄影三维模型的共面属性，恢复所述倾斜摄影三维模型的三维点云信息，作为所述点云数据，并基于所述几何特征和所述纹理特征，对所述倾斜摄影三维模型的每个面进行二维图像的特征提取处理，获取所述特征点信息。5.根据权利要求4所述的大场景下的视觉定位方法，其特征在于，所述基于所述几何特征及所述倾斜摄影三维模型的共面属性，恢复所述倾斜摄影三维模型的三维点云信息，作为所述点云数据，包括：基于所述几何特征及所...

【专利技术属性】
技术研发人员：王薇薇，薄涵文，纪嘉树，任宇飞，孙梦岩，孙志成，刘佃忠，
申请(专利权)人：齐鲁空天信息研究院，
类型：发明
国别省市：