【技术实现步骤摘要】
本专利技术属于视觉定位和视觉导航，具体涉及一种基于神经辐射场的视觉伺服实现视觉定位导航方法和系统。
技术介绍
1、基于单张查询图像估计相机位姿是视觉定位中基本的任务，它在机器人、虚拟现实和自动驾驶等领域具有广泛的应用。近年来，基于深度学习的视觉定位方法受到了广泛的关注，它们使用深度神经网络有效地从查询图像中提取视觉特征，然后利用这些特征估计查询图像的位姿。
2、当前主流的视觉定位方法一般可以分为两类。第一类是基于结构的方法，例如一种基于密集匹配和视角合成的视觉定位方法(见文献taira h,okutomi m,sattler t,etal.inloc:indoor visual localization with dense matching and view synthesis[c]//proceedings of the ieee conference on computer vision and patternrecognition.2018:7199-7209.)和分层定位网络(见文献sarlin p e,cadena c,siegwartr,et al.from coarse to fine:robust hierarchical localization at large scale[c]//proceedings ofthe ieee/cvf conference on computer vision and patternrecognition.2019:12716-12725.)，它们使用复杂的流程
3、当前的视觉定位方法一般需要大量数据进行训练(在7-scenes数据集中每个场景使用数千张带有位姿的图像作为训练集)，以保证其具有泛化到新视角的定位能力。此外，最先进的定位方法还需要密集真实的3d标签进行监督，例如深度和3d模型。然而，在现实世界中获取大量带有位姿的图像和真值3d标签是具有挑战的和高成本的。
4、目前的视觉定位方法往往只聚焦于视觉定位任务，与之密切相关的视觉导航任务采用另一种框架完成，从而增加了机器人在此方面相关应用的复杂性。
技术实现思路
1、为了解决现有技术中视觉定位任务和视觉导航任务采用不同的框架，从而增加了相关应用复杂性的问题，本专利技术提出了一种基于神经辐射场的视觉伺服实现视觉定位导航方法，包括：
2、获取导航初始状态对应的初始状态图像和目标状态对应的目标状态图像；
3、基于初始状态图像和目标状态图像，得到目标状态图像有效的关键点对应，将目标状态图像有效的关键点对应作为导航先验；
4、基于所述导航先验，通过ibvs导航进行视觉导航。
5、可选的，所述基于初始状态图像和目标状态图像，得到目标状态图像有效的关键点对应，包括：
6、基于初始状态图像和目标状态图像，通过关键点对应检测和匹配算法得到目标状态图像的关键点对应；
7、将目标状态图像的关键点对应进行过滤，得到目标状态图像有效的关键点对应。
8、可选的，所述基于初始状态图像和目标状态图像，通过关键点对应检测和匹配算法得到目标状态图像的关键点对应，包括：
9、基于初始状态图像，使用视觉定位方法得到导航的初始位姿，并将导航的初始位姿作为导航的目标粗位姿；
10、基于初始状态图像和目标状态图像，使用关键点对应检测和匹配算法得到目标状态图像的关键点对应。
11、可选的，所述基于初始状态图像，使用视觉定位方法得到导航的初始位姿，包括：
12、基于初始状态图像，使用预先训练完成的坐标回归网络得到初始状态图像对应的3d坐标，并基于初始状态图像对应的3d坐标，得到初始状态图像对应的粗位姿；
13、基于初始状态图像对应的粗位姿，通过预先训练完成的神经辐射场模型渲染得到初始状态图像的渲染图像；
14、基于初始状态图像和其渲染图像，通过关键点对应检测和匹配算法得到初始状态图像的关键点对应并将初始状态图像的关键点对应进行过滤；
15、对初始状态图像对应的粗位姿和过滤后的关键点进行优化，得到导航的初始位姿；
16、所述坐标回归网络，以图像为输入，图像对应的3d坐标为输出进行训练；所述神经辐射场模型，训练的时候以位姿为输入，位姿对应的图像为输出，使用的时候以位姿为输入，位姿对应图像的渲染图像为输出。
17、可选的，所述将初始状态图像的关键点对应进行过滤，包括：
18、基于初始状态图像的3d坐标，得到关键点对应的3d坐标；
19、基于初始状态图像的粗位姿，将关键点对应的3d坐标投影到初始状态图像的渲染图像得到投影图像关键点坐标，基于初始状态图像的渲染图像，得到渲染图像关键点坐标；
20、基于所述投影图像关键点坐标和所述渲染图像关键点坐标，计算关键点对应的坐标距离；
21、基于关键点对应的坐标距离，结合阈值对关键点对应进行过滤。
【技术保护点】
1.一种基于神经辐射场的视觉伺服实现视觉定位导航方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述基于初始状态图像和目标状态图像，得到目标状态图像有效的关键点对应，包括：
3.如权利要求2所述的方法，其特征在于，所述基于初始状态图像和目标状态图像，通过关键点对应检测和匹配算法得到目标状态图像的关键点对应，包括：
4.如权利要求3所述的方法，其特征在于，所述基于初始状态图像，使用视觉定位方法得到导航的初始位姿，包括：
5.如权利要求4所述的方法，其特征在于，所述将初始状态图像的关键点对应进行过滤，包括：
6.如权利要求4所述的方法，其特征在于，所述神经辐射场模型的训练，包括：
7.如权利要求6所述的方法，其特征在于，所述坐标回归网络的训练，包括：
8.一种基于神经辐射场的视觉伺服实现视觉定位导航系统，其特征在于，包括：
9.一种计算机设备，其特征在于，包括：一个或多个处理器；
10.一种计算机可读存储介质，其特征在于，其上存有计算机程序，所述计算机程序被执
...【技术特征摘要】
1.一种基于神经辐射场的视觉伺服实现视觉定位导航方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述基于初始状态图像和目标状态图像，得到目标状态图像有效的关键点对应，包括：
3.如权利要求2所述的方法，其特征在于，所述基于初始状态图像和目标状态图像，通过关键点对应检测和匹配算法得到目标状态图像的关键点对应，包括：
4.如权利要求3所述的方法，其特征在于，所述基于初始状态图像，使用视觉定位方法得到导航的初始位姿，包括：
5.如权利要求4所述的方法，其特征在于，所述将初始状态...
【专利技术属性】
技术研发人员：史殿习，王元泽，晏轶超，黄怡兰，夏坚强，谭杰夫，金松昌，
申请(专利权)人：中国人民解放军三二八零六部队，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。