空间定位的方法、介质、装置和计算设备制造方法及图纸

本发明专利技术的实施方式提供了一种空间定位的方法，所述方法包括：基于所述角度测量装置的信息，获取所述当前帧图像对应的图像采集装置相对于参考平面的当前角度信息；基于所述当前帧图像与所述前一帧图像的图像匹配关系，确定所述当前帧图像对应的图像采集装置的位姿信息；以及将所述图像采集装置采集的位于所述参考平面上的与所述当前帧图像相同的画面，根据所述当前帧图像对应的图像采集装置的位姿信息进行相应转动和/或平移，以获得所述当前帧图像的空间定位。本发明专利技术的方法利用角度信息和图像信息进行场景跟踪，更加稳定且不需要复杂的预标定。此外，本发明专利技术的实施方式提供了一种空间定位的介质、装置及计算设备。

【技术实现步骤摘要】
空间定位的方法、介质、装置和计算设备
本专利技术的实施方式涉及虚拟现实或增强现实领域，更具体地，本专利技术的实施方式涉及一种可以用于进行移动终端定位的空间定位方法、介质、装置和计算设备。
技术介绍
本部分旨在为权利要求书中陈述的本专利技术的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。一种较为通用的inside-out移动终端定位方法是，根据手机或头戴设备等移动终端上附带的摄像头和IMU(InertialMeasurementUnit，惯性测量单元)等传感器进行移动终端的空间定位，该方法可应用于VR(VirtualReality，虚拟现实)设备、AR(AugmentedReality，增强现实)设备、以及移动终端导航等场景。另一种较为通用的inside-out移动终端定位方法是单纯依靠摄像头拍摄的图像的纯视觉定位方法。然而，通过视觉图像与IMU耦合进行移动终端定位的方法，依赖于IMU与摄像头的标定信息，需要事先对设备进行复杂的预标定，这极大地增加了对移动设备的覆盖难度。另外，纯视觉定位方法依赖于丰富的图像特征信息和平缓的用户运动并且无法处理纯旋转，大大限制了用户体验。
技术实现思路
在现有技术中，视觉图像与IMU耦合进行移动终端定位时，需要通过IMU获取设备的运动信息。这些运动信息包括移动终端的移动角加速度、和/或线加速度等信息。在这种情况下，需要对IMU与摄像头进行复杂的预标定，这极大的增加了视觉图像与IMU耦合的方案在各种移动终端中的覆盖难度，难以推广应用。而传统的纯视觉定位方法适用于平缓的用户运动，导致当用户运动不平缓时对移动终端定位的稳定性低。因此，在现有技术中，如何实现高效的inside-out移动终端的定位以进行更好的场景跟踪是非常令人烦恼的。为此，非常需要一种改进的空间定位的方法，使得对移动终端进行追踪定位能够更加稳定、且简洁高效。在本上下文中，本专利技术的实施方式期望提供一种空间定位的方法、介质、装置和计算设备。在本专利技术实施方式的第一方面中，提供了一种空间定位的方法。所述方法应用于电子设备，所述电子设备包括图像采集装置和角度测量装置，其中，第一帧图像对应的图像采集装置具有初始位姿，当前帧图像为所述第一帧图像之后的任意一帧图像。所述方法包括：基于所述角度测量装置的信息，获取所述当前帧图像对应的图像采集装置相对于参考平面的当前角度信息，所述参考平面为空间一已知平面；结合所述当前角度信息、所述当前帧图像的前一帧图像对应的图像采集装置的位姿信息，并基于所述当前帧图像与所述前一帧图像的图像匹配关系，确定所述当前帧图像对应的图像采集装置的位姿信息；以及将所述图像采集装置采集的位于所述参考平面上的与所述当前帧图像相同的画面，根据所述当前帧图像对应的图像采集装置的位姿信息进行相应转动和/或平移，以获得所述当前帧图像的空间定位。在本专利技术的一个实施例中，所述方法还包括获取所述初始位姿。具体地，获取所述初始位姿包括：基于所述角度测量装置的信息，获取所述第一帧图像对应的图像采集装置相对于所述参考平面的初始角度信息；获取所述第一帧图像对应的图像采集装置相对于所述参考平面的初始位置信息；以及根据所述初始角度信息和所述初始位置信息得到所述初始位姿。在本专利技术的另一个实施例中，所述方法还包括基于所述初始位姿，获取所述第一帧图像的空间定位。在本专利技术的另一个实施例中，所述结合所述当前角度信息、所述当前帧图像的前一帧图像对应的图像采集装置的位姿信息，并基于所述当前帧图像与所述前一帧图像的图像匹配关系，确定所述当前帧图像对应的图像采集装置的位姿信息包括：提取所述当前帧图像中的多个第一特征点；计算对应于所述多个第一特征点的特征描述信息；根据所述特征描述信息，将所述当前帧图像中的多个第一特征点与所述前一帧图像中的特征点进行匹配；以及结合所述当前角度信息、所述前一帧图像对应的图像采集装置的位姿信息，基于匹配上的特征点在所述当前帧图像与所述前一帧图像中的二维分布，获取所述当前帧图像对应的图像采集装置的位姿信息，其中所述匹配上的特征点的空间定位信息为根据所述前一帧图像的空间定位获得的。在本专利技术的一个实施例中，所述结合所述当前角度信息、所述当前帧图像的前一帧图像对应的图像采集装置的位姿信息，并基于所述当前帧图像与所述前一帧图像的图像匹配关系，确定所述当前帧图像对应的图像采集装置的位姿信息包括：提取所述前一帧图像中的多个第二特征点；以及结合所述当前角度信息、所述前一帧图像对应的图像采集装置的位姿信息，基于所述多个第二特征点在所述前一帧图像中的二维分布，优化所述当前帧图像对应的图像采集装置的位姿信息。在本专利技术的一个实施例中，所述结合所述当前角度信息、所述前一帧图像对应的图像采集装置的位姿信息，基于所述多个第二特征点在所述前一帧图像中的二维分布，优化所述当前帧图像对应的图像采集装置的位姿信息，包括通过梯度下降方法优化所述图像采集装置的位姿信息，以使所述多个第二特征点重投影后的像素值与在所述前一帧图像中的像素值的像素差最小。在本专利技术的一个实施例中，所述结合所述当前角度信息、所述当前帧图像的前一帧图像对应的图像采集装置的位姿信息，并基于所述当前帧图像与所述前一帧图像的图像匹配关系，确定所述当前帧图像对应的图像采集装置的位姿信息包括：选择所述前一帧图像中的兴趣图像区域；获取当前帧图像中与所述兴趣图像区域相匹配的匹配图像区域；以及结合所述当前角度信息、所述前一帧图像对应的图像采集装置的位姿信息，基于所述匹配图像区域与所述兴趣图像区域的对应点分别在所述当前帧图像和所述前一帧图像中的二维分布，获得所述当前帧图像对应的图像采集装置的位姿信息。在本专利技术的另一个实施例中，所述结合所述当前角度信息、所述前一帧图像对应的图像采集装置的位姿信息，基于所述匹配图像区域与所述兴趣图像区域的对应点分别在所述当前帧图像和所述前一帧图像中的二维分布，获得所述当前帧图像对应的图像采集装置的位姿信息包括：根据所述匹配图像区域与所述兴趣图像区域的对应点分别在所述当前帧图像和所述前一帧图像中的二维分布，获得所述当前帧图像与所述前一帧图像的单应性矩阵；以及结合所述当前角度信息、所述前一帧图像对应的图像采集装置的位姿信息，分解所述单应性矩阵以获得所述当前帧图像对应的图像采集装置的位姿信息。在本专利技术的一个实施例中，所述参考平面包括地平面。在本专利技术的一个实施例中，所述电子设备还包括虚拟物体投影装置，用于根据每一帧图像的空间定位向空间投影虚拟物体，其中所述每一帧图像包括所述第一帧图像和所述当前帧图像。在所述虚拟物体的位置随空间中的特定物体一起运动的情况下，所述图像匹配关系包括所述特定物体在所述当前帧图像与所述前一帧图像中的匹配关系，其中，所述特定物体为空间中的物理实体；或者，在所述虚拟物体的位置不随空间中其他物理实体运动的情况下，所述图像匹配关系包括所述图像采集装置采集的任意物理实体在所述当前帧图像与所述前一帧图像中的匹配关系。在本专利技术的一个实施例中，所述方法还包括识别并剔除每一帧图像中的外点，所述外点包括由于实体物体的运动和/或该图像采集装置被遮挡而采集得到的异常点。在本专利技术的一个实施例中，所述方法还包括：对所述当前帧图像进行闭环检测，以及响应于所述闭环检测的成功，以与所本文档来自技高网...

【技术保护点】
1.一种空间定位的方法，应用于电子设备，所述电子设备包括图像采集装置和角度测量装置，其中，第一帧图像对应的图像采集装置具有初始位姿，当前帧图像为所述第一帧图像之后的任意一帧图像，所述方法包括：基于所述角度测量装置的信息，获取所述当前帧图像对应的图像采集装置相对于参考平面的当前角度信息，所述参考平面为空间一已知平面；结合所述当前角度信息、所述当前帧图像的前一帧图像对应的图像采集装置的位姿信息，并基于所述当前帧图像与所述前一帧图像的图像匹配关系，确定所述当前帧图像对应的图像采集装置的位姿信息；以及将所述图像采集装置采集的位于所述参考平面上的与所述当前帧图像相同的画面，根据所述当前帧图像对应的图像采集装置的位姿信息进行相应转动和/或平移，以获得所述当前帧图像的空间定位。

【技术特征摘要】
1.一种空间定位的方法，应用于电子设备，所述电子设备包括图像采集装置和角度测量装置，其中，第一帧图像对应的图像采集装置具有初始位姿，当前帧图像为所述第一帧图像之后的任意一帧图像，所述方法包括：基于所述角度测量装置的信息，获取所述当前帧图像对应的图像采集装置相对于参考平面的当前角度信息，所述参考平面为空间一已知平面；结合所述当前角度信息、所述当前帧图像的前一帧图像对应的图像采集装置的位姿信息，并基于所述当前帧图像与所述前一帧图像的图像匹配关系，确定所述当前帧图像对应的图像采集装置的位姿信息；以及将所述图像采集装置采集的位于所述参考平面上的与所述当前帧图像相同的画面，根据所述当前帧图像对应的图像采集装置的位姿信息进行相应转动和/或平移，以获得所述当前帧图像的空间定位。2.根据权利要求1所述的方法，还包括：获取所述初始位姿，包括：基于所述角度测量装置的信息，获取所述第一帧图像对应的图像采集装置相对于所述参考平面的初始角度信息；获取所述第一帧图像对应的图像采集装置相对于所述参考平面的初始位置信息；以及根据所述初始角度信息和所述初始位置信息得到所述初始位姿。3.根据权利要求2所述的方法，还包括：基于所述初始位姿，获取所述第一帧图像的空间定位。4.根据权利要求1所述的方法，其中，结合所述当前角度信息、所述当前帧图像的前一帧图像对应的图像采集装置的位姿信息，并基于所述当前帧图像与所述前一帧图像的图像匹配关系，确定所述当前帧图像对应的图像采集装置的位姿信息，包括：提取所述当前帧图像中的多个第一特征点；计算对应于所述多个第一特征点的特征描述信息；根据所述特征描述信息，将所述当前帧图像中的多个第一特征点与所述前一帧图像中的特征点进行匹配；结合所述当前角度信息、所述前一帧图像对应的图像采集装置的位姿信息，基于匹配上的特征点在所述当前帧图像与所述前一帧图像中的二维分布，获取所述当前帧图像对应的图像采集装置的位姿信息，其中所述匹配上的特征点的空间定位信息为根据所述前一帧图像的空间定位获得的。5.根据权利要求1所述的方法，其中，结合所述当前角度信息、所述当前帧图像的前一帧图像对应的图像采集装置的位姿信息，并基于所述当前帧图像与所述前一帧图像的图像匹配关系，确定所述当前帧图像对应的图像采集装置的位姿信息，包括：提取所述前一帧图像中的多个第二特征点；结合所述当前角度信息、所述前一帧图像对应的图像采集装置的位姿信息，基于所述多个第二特征点在所述前一帧图像中的二维分布，优化所述当前帧...

【专利技术属性】
技术研发人员：翟尚进，王振阳，丛林，刘海伟，赵辰，
申请(专利权)人：网易杭州网络有限公司，
类型：发明
国别省市：浙江,33