定位方法及装置、电子设备、计算机可读存储介质制造方法及图纸

本申请实施例公开了一种定位方法，包括：获取待定位图像，并对待定位图像进行位姿识别处理，得到采集待定位图像时电子设备的初始位姿信息；确定待定位图像对应的参考图像的语义一致性权重值；参考图像是指电子设备采集的与待定位图像相邻的图像；其中，语义一致性权重值用于表征参考图像的参考语义信息与第一图像的第一语义信息之间的相似度；第一图像是指电子设备所处场景的场景地图中与参考图像匹配的图像；若参考图像的语义一致性权重值大于权重阈值，则基于参考图像的相关信息和初始位姿信息，确定采集待定位图像时电子设备的目标位姿信息。本申请实施例同时公开了一种定位装置、电子设备以及计算机可读存储介质。

【技术实现步骤摘要】
定位方法及装置、电子设备、计算机可读存储介质
本申请涉及图像处理
，尤其涉及一种定位方法及装置、电子设备、计算机可读存储介质。
技术介绍
即时定位与地图构建(Simultaneouslocalizationandmapping，SLAM)技术是电子设备根据传感器信息实现自身定位和环境地图构建的技术，在机器人、无人机、无人驾驶、虚拟现实等领域中有着广泛的应用。目前，传统SLAM定位方法的定位结果会受到光照变化、环境变化和文理变化的影响，在光照强度大、图像文理弱等情况下会出现定位失败的问题。而基于神经网络的定位方法，虽然可以估计出电子设备的位姿信息，但是基于神经网络估计出的位姿信息与实际电子设备的位姿信息误差较大，难以满足实际应用需求。
技术实现思路
本申请实施例提供了一种定位方法及装置、电子设备和计算机可读存储介质。本申请实施例的技术方案是这样实现的：本申请实施例提供一种定位方法，应用于电子设备中，所述方法包括：获取待定位图像，并对所述待定位图像进行位姿识别处理，得到采集所述待定位图像时所本文档来自技高网...

【技术保护点】
1.一种定位方法，其特征在于，应用于电子设备中，所述方法包括：/n获取待定位图像，并对所述待定位图像进行位姿识别处理，得到采集所述待定位图像时所述电子设备的初始位姿信息；/n确定所述待定位图像对应的参考图像的语义一致性权重值；所述参考图像是指所述电子设备采集的与所述待定位图像相邻的图像；/n其中，所述语义一致性权重值用于表征所述参考图像的参考语义信息与第一图像的第一语义信息之间的相似度；所述第一图像是指所述电子设备所处场景的场景地图中与所述参考图像匹配的图像；/n若所述参考图像的语义一致性权重值大于权重阈值，则基于所述参考图像的相关信息和所述初始位姿信息，确定采集所述待定位图像时电子设备的目标...

【技术特征摘要】
1.一种定位方法，其特征在于，应用于电子设备中，所述方法包括：
获取待定位图像，并对所述待定位图像进行位姿识别处理，得到采集所述待定位图像时所述电子设备的初始位姿信息；
确定所述待定位图像对应的参考图像的语义一致性权重值；所述参考图像是指所述电子设备采集的与所述待定位图像相邻的图像；
其中，所述语义一致性权重值用于表征所述参考图像的参考语义信息与第一图像的第一语义信息之间的相似度；所述第一图像是指所述电子设备所处场景的场景地图中与所述参考图像匹配的图像；
若所述参考图像的语义一致性权重值大于权重阈值，则基于所述参考图像的相关信息和所述初始位姿信息，确定采集所述待定位图像时电子设备的目标位姿信息。


2.根据权利要求1所述的方法，其特征在于，所述确定所述待定位图像对应的参考图像的语义一致性权重值，包括：
获取所述参考图像对应的参考位姿信息和参考语义信息；
从所述场景地图中，确定与所述参考位姿信息匹配的第一图像，并获取所述第一图像对应的第一语义信息；
计算所述参考语义信息与所述第一语义信息之间的相似度，得到所述参考图像的语义一致性权重值。


3.根据权利要求2所述的方法，其特征在于，所述场景地图为三维点云地图，所述从所述场景地图中，确定与所述参考位姿信息匹配的第一图像，包括：
从所述场景地图中，查找与所述参考位姿信息匹配的第一三维点云集合；
将所述第一三维点云集合中的点，投影到所述参考图像的坐标系中，得到所述第一图像。


4.根据权利要求2或3所述的方法，其特征在于，所述获取所述参考图像的参考位姿信息和参考语义信息，包括：
通过图像处理模型，对所述参考图像进行位姿识别处理和语义分割处理，得到采集所述参考图像时所述电子设备的参考位姿信息，以及所述参考图像的参考语义信息；
所述图像处理模型用于确定采集图像时电子设备的位姿信息和图像的语义信息。


5.根据权利要求4所述的方法，其特征在于，所述图像处理模型包括卷积层、时间循环神经网络和语义分割网络；
所述通过图像处理模型，对所述参考图像进行位姿识别处理和语义分割处理，得到采集所述参考图像时所述电子设备的位姿信息，以及所述参考图像的参考语义信息，包括：
通过所述卷积层对所述参考图像进行特征提取，得到所述参考图像的参考图像特征；
基于与所述参考图像相邻的前一帧图像的相关信息，通过所述时间循环神经网络对所述参考图像特征进行位姿识别处理，得到采集所述参考图像时所述电子设备的参考位姿信息；
通过所述语义分割网络对所述参考图像特征进行语义分割处理，得到所述参考图像的参考语义信息。


6.根据权利要求4或5所述的方法，其特征在于，所述图像处理模型是通过对待训练图像处理模型进行训练得到，所述待训练模型包括：待训练卷积层、待训练时间循环神经网络和待训练语义分割网络；其中，
所述图像处理模型的训练过程包括：
获取连续拍摄的多帧样本图像；
按照所述多帧样本图像采集的时间顺序，将所述多帧样本图像输入到所述待训练卷积层中进行特征提取，得到多个样本图像特征；
通过所述待训练时间循环神经网络，确定所述多个样本图像特征对应的多个预测位姿信息；
通过所述待训练语义分割网络，确定所述多个样本图像特征对应的多个预测语义信息；
基于所述多个预测位姿信息的损失和所述多个预测语义信息的损失，对所述待训练图像处理模型的网络参数进行调整，以使得到的所述图像处理模型的输出结果的损失满足收敛条件。


7.根据权利要求6所述的方法，其特征在于，所述通过所述待训练时间循环神经网络，确定所述多个样本图像特征对应的多个预测位姿...

【专利技术属性】
技术研发人员：樊欢欢，李姬俊男，马标，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：广东;44