【技术实现步骤摘要】
用于空间定位的方法及装置
[0001]本公开涉及信息
,具体地,涉及用于空间定位的方法及装置。
技术介绍
[0002]随着计算机和通信等各种技术的快速发展,增强现实(Augmented Reality,AR)等技术也随之迅速发展。具体而言,在AR技术中,可以利用计算机技术来将虚拟信息应用到真实世界,也就是将真实场景和虚拟图像(例如,虚拟物体、虚拟场景等等)实时地叠加在同一画面下,使得人眼同时观看到真实场景和虚拟图像的混合图像,从而达到增强现实的效果。
[0003]用户可以通过交互设备与AR场景中的虚拟对象进行交互,以产生期望的效果。例如,用户可以移动交互设备,而交互设备的空间移动可以被转化为AR场景中的虚拟对象的移动,从而达到控制虚拟对象的目的。因此,在AR场景的交互过程中需要确定交互设备的空间定位,如何精确地确定交互设备在空间中的定位成为亟待解决的问题。
技术实现思路
[0004]鉴于上述,本公开提供了一种用于空间定位的方法及装置。
[0005]根据本公开的一个方面,提供了一种用于空间定位的方法,所述方法由第一设备执行,所述方法包括:采集第二设备的第一图像,所述第一图像包括所述第二设备的2D点和2D点对应的描述子;利用所述第二设备的3D模型上的3D点对应的描述子和所述2D点对应的描述子对所述第二设备的2D点和所述第二设备的3D模型上的3D点进行特征点匹配,以得到至少三个不共线的所述第二设备的2D点与所述第二设备的3D模型的3D点之间的第一对应关系,所述第二设备的3D模型包括3D ...
【技术保护点】
【技术特征摘要】
1.一种用于空间定位的方法,所述方法由第一设备执行,所述方法包括:采集第二设备的第一图像,所述第一图像包括所述第二设备的2D点和2D点对应的描述子;利用所述第二设备的3D模型上的3D点对应的描述子和所述2D点对应的描述子对所述第二设备的2D点和所述第二设备的3D模型上的3D点进行特征点匹配,以得到至少三个不共线的所述第二设备的2D点与所述第二设备的3D模型的3D点之间的第一对应关系,所述第二设备的3D模型包括3D点和3D点对应的描述子;根据所述第二设备在世界坐标系中的定位以及所述第二设备与所述3D模型之间的第二对应关系,确定所述第二设备的3D模型在所述世界坐标系中的定位;以及根据所述第二设备的3D模型在所述世界坐标系中的定位以及所述第一对应关系,确定所述第一设备在所述世界坐标系中的位姿。2.如权利要求1所述的方法,其中,所述第二设备在世界坐标系中的定位包括位姿,根据所述第二设备在世界坐标系中的定位以及所述第二对应关系,确定所述第二设备的3D模型在所述世界坐标系中的定位包括:根据所述第二设备在世界坐标系中的位姿以及所述第二对应关系,确定所述第二设备的3D模型在所述世界坐标系中的位姿;以及根据所述第二设备的3D模型在所述世界坐标系中的定位以及所述第一对应关系,确定所述第一设备在所述世界坐标系中的位姿包括:使用PnP算法根据所述第一对应关系计算所述第一设备在所述第二设备的3D模型坐标系中的位姿;和基于所述第一设备在所述第二设备的3D模型坐标系中的位姿以及所述第二设备的3D模型在所述世界坐标系中的位姿,得到所述第一设备在所述世界坐标系中的位姿。3.如权利要求1所述的方法,其中,所述第二设备在世界坐标系中的定位包括位置,根据所述第二设备在世界坐标系中的定位以及所述第二对应关系,确定所述第二设备的3D模型在所述世界坐标系中的定位包括:根据所述第二设备在世界坐标系中的位置以及所述第二对应关系,确定所述第二设备的3D模型的3D点在所述世界坐标系中的位置;以及根据所述第二设备的3D模型在所述世界坐标系中的定位以及所述第一对应关系,确定所述第一设备在所述世界坐标系中的位姿包括:根据所述第一对应关系和符合所述第一对应关系的所述第二设备的3D模型的3D点在所述世界坐标系中的位置,使用PnP算法计算所述第一设备在所述世界坐标系中的位姿。4.如权利要求2或3所述的方法,其中,在使用PnP算法之前,所述方法还包括:使用随机抽样一致性算法从所述第一图像中的至少三个不共线的所述第二设备的2D点与所述第二设备的3D模型的3D点之间的第一对应关系中确定内点;以及将所述内点确定为所述第一对应关系应用于PnP算法时待使用的点。5.如权利要求2或3所述的方法,其中,所使用的PnP算法是基于最小二乘法的PnP算法。6.如权利要求1至3中任一项所述的方法,其中,所述第二设备包括头戴式设备,所述头戴式设备用于显示所述第一设备提供的虚拟对象,所述第一设备包括手持设备,所述手持设备用于控制通过头戴式设备显示的虚拟对象并包括用于采集第一图像的摄像设备。
7.如权利要求1所述的方法,还包括:在所述第一设备采集到的第一图像中不包括至少三个不共线的所述第二设备的2D点时,采集包括指定对象的第二图像,所述第二图像包括可作为关键点的所述指定对象的2D点,所述指定对象与所述第二设备的相对位置固定;基于所述第二设备的3D模型在所述世界坐标系中的定位和预存的所述指定对象的3D模型与所述第二设备的3D模型之间的相对位置关系,确定所述指定对象的3D模型在所述世界坐标系中的定位,其中,所述指定对象的3D模型包括3D点和3D点对应的关键点;在所述第二图像中对至少三个不共线的所述指定对象的2D点进行关键点检测,得到至少三个不共线的所述指定对象的2D点和所述指定对象的3D模型的3D点之间的匹配关系,以得到所述第二图像和所述指定对象的3D模型之间的第三对应关系;基于所述指定对象的3D模型在所述世界坐标系中的定位和所述第三对应关系,确定所述第一设备在所述世界坐标系中的位姿。8.如权利要求1所述的方法,其中,所述第一图像还包括有指定对象,所述第一图像还包括可作为关键点的所述指定对象的2D点,所述指定对象与所述第二设备的相对位置固定,所述方法还包括:在所述第二图像中对至少三个不共线的所述指定对象的2D点进行关键点检测,得到至少三个不共线的所述指定对象的2D点和指定对象的3D模型的3D点之间的匹配关系,其中,所述指定对象的3D模型包括所述3D点和3D点对应的关键点;以及根据所述第二设备的3D模型在所述世界坐标系中的定位以及所述第一对应关系,确定所述第一设备在所述世界坐标系中的位姿包括:使用PnP算法根据所述第一对应关系和所述匹配关系计算所述第一设备在所述第二设备的3D模型坐标系中的位姿;和基于所述第一设备在所述第二设备的3D模型坐标系中的位姿以及所述第二设备的3D模型在所述世界坐标系中的位姿,得到所述第一设备在所述世界坐标系中的位姿。9.如权利要求8所述的方法,其中,在所述使用PnP算法根据所述第一对应关系和所述匹配关系计算所述第一设备在所述第二设备的3D模型坐标系中的位姿之前,所述方法还包括:依据预存的所述指定对象的3D模型与所述第二设备的3D模型之间的相对位置关系,将所述指定对象的3D模型的坐标系转换为所述第二设备的3D模型的坐标系。10.如权利要求7或8所述的方法,其中,在所述第二设备包括头戴式设备时,所述指定对象包括人脸。11.如权利要求1至3中任一项所述的方法,其中,采集所述第二设备的第一图像包括:确定先前帧图像中所述第二设备的位置;根据所述第一设备的预定移动速度和所述先前帧图像中所述第二设备的位置,确定所述第一设备的预估移动范围;和在所述第一图像中的所述预估移动范围内进行搜索,以在所述第一图像中确定所述第二设备的2D点的当前位置。12.如权利要求1至3中任一项所述的方法,其中,采集所述第二设备的第一图像包括:根据所述第二设备在世界坐标系中的位置和所述第一设备在所述世界坐标系中的位
置,确定所述第二设备和所述第一设备的相对位置;通过所述第二设备和所述第一设备的相对位置,计算所述第二设备...
【专利技术属性】
技术研发人员:吕宪伟,
申请(专利权)人:优奈柯恩北京科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。