System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 平面跟踪方法、装置、设备、存储介质及计算机程序产品制造方法及图纸_技高网

平面跟踪方法、装置、设备、存储介质及计算机程序产品制造方法及图纸

技术编号:40551240 阅读:5 留言:0更新日期:2024-03-05 19:10
本公开实施例提供一种平面跟踪方法、装置、设备、存储介质及计算机程序产品,该方法包括:根据待跟踪图像的特征点以及头戴设备当前采集的观测图像的特征点,确定所述待跟踪图像的特征点对应的三维点;根据所述三维点,对所述待跟踪图像进行尺度估计,确定所述待跟踪图像对应的当前的真实尺度;根据所述待跟踪图像的特征点、所述观测图像的特征点以及所述当前的真实尺度,确定待跟踪图像相对于所述头戴设备带有真实尺度的移动信息,用以跟踪所述待跟踪图像。本公开实施例能够准确、有效地实现对平面对象的跟踪,进而较好地达到制作虚拟现实的效果。

【技术实现步骤摘要】

本公开实施例涉及图像跟踪,尤其涉及一种平面跟踪方法、装置、设备、存储介质及计算机程序产品


技术介绍

1、“图像跟踪”,是指通过某种方式(如图像识别、红外、超声波等)将摄像头中拍摄到的物体进行定位,狭义的“图像跟踪”技术就是通图像识别的方式来进行跟踪和拍摄。

2、随着图像跟踪技术的发展,各种电子产品应运而生,并且人们在现实生活中对电子产品的要求也越来越多。以介导现实(mediated reality,或mr)头戴设备为例,mr头戴是通过虚拟化技术之设备直接分配技术即pass through(或see through)技术来观测现实场景的,该技术需要重建出真实环境的三维模型,然后投影到人眼坐标系下,但是,当前的平面跟踪技术(或图像跟踪),跟踪的图像是没有真实尺度信息的,导致在mr头戴设备中,在see through环境下无法正确将跟踪上的图像和带有尺度的三维模型匹配上,从而无法正确设置基于图像的虚拟物体。

3、因此,现有技术中无法准确、有效地实现对平面对象的跟踪,进而无法较好地达到制作虚拟现实的效果。


技术实现思路

1、本公开实施例提供一种平面跟踪方法、装置、设备、存储介质及计算机程序产品,能够准确、有效地实现对平面对象的跟踪,进而较好地达到制作虚拟现实的效果。

2、第一方面,本公开实施例提供一种平面跟踪方法,所述方法包括:

3、根据待跟踪图像的特征点以及头戴设备当前采集的观测图像的特征点,确定所述待跟踪图像的特征点对应的三维点;>

4、根据所述三维点,对所述待跟踪图像进行尺度估计,确定所述待跟踪图像对应的当前的真实尺度;

5、根据所述待跟踪图像的特征点、所述观测图像的特征点以及所述当前的真实尺度,确定待跟踪图像相对于所述头戴设备带有真实尺度的移动信息,用以跟踪所述待跟踪图像。

6、第二方面,本公开实施例提供一种平面跟踪装置,所述装置包括:

7、三维点确定模块,用于根据待跟踪图像的特征点以及头戴设备当前采集的观测图像的特征点,确定所述待跟踪图像的特征点对应的三维点;

8、尺度估计模块,用于根据所述三维点,对所述待跟踪图像进行尺度估计,确定所述待跟踪图像对应的当前的真实尺度;

9、平面跟踪模块,用于根据所述待跟踪图像的特征点、所述观测图像的特征点以及所述当前的真实尺度,确定待跟踪图像相对于所述头戴设备带有真实尺度的移动信息,用以跟踪所述待跟踪图像。

10、第三方面,本公开实施例提供一种头戴设备,所述头戴设备用于执行如上述第一方面任一项所述的平面跟踪方法。

11、第四方面,本公开实施例提供一种电子设备,包括:处理器和存储器;

12、所述存储器存储计算机执行指令;

13、所述处理器执行所述存储器存储的计算机执行指令,使得所述处理器执行如上述第一方面任一项所述的平面跟踪方法。

14、第五方面,本公开实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如上第一方面所述的平面跟踪方法。

15、第六方面,本公开实施例提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现如上述第一方面任一项所述的平面跟踪方法。

16、本公开实施例提供的平面跟踪方法、装置、设备、存储介质及计算机程序产品,通过根据待跟踪图像的特征点以及头戴设备当前采集的观测图像的特征点,确定所述待跟踪图像的特征点对应的三维点;根据所述三维点,对所述待跟踪图像进行尺度估计,确定所述待跟踪图像对应的当前的真实尺度;根据所述待跟踪图像的特征点、所述观测图像的特征点以及所述当前的真实尺度,确定待跟踪图像相对于所述头戴设备带有真实尺度的移动信息,用以跟踪所述待跟踪图像。因此,通过对待跟踪对象计算三维点,进而进行尺度估计,使得待跟踪图像带有真实尺度,然后基于待跟踪图像、当前观测到的图像结合真实尺度,确定待跟踪图像相对于头戴设备的位姿,实现平面跟踪。解决了现有技术中无法针对平面对象进行带尺度跟踪,导致无法正确设置基于图像的虚拟物体,进而无法较好地达到制作虚拟现实的效果。

本文档来自技高网...

【技术保护点】

1.一种平面跟踪方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述三维点,对所述待跟踪图像进行尺度估计,确定所述待跟踪图像对应的当前的真实尺度,包括:

3.根据权利要求2所述的方法,其特征在于,所述观测图像是由所述头戴设备中的双目采集的两张图像;所述根据所述新的三维点,对所述待跟踪图像进行尺度估计,确定所述待跟踪图像对应的当前的真实尺度,包括:

4.根据权利要求3所述的方法,其特征在于,所述根据所述待跟踪图像的特征点对应的坐标和所述拟合的平面上的三维点的坐标,分别确定所述第一三角形的边长和所述第二三角形的边长,包括:

5.根据权利要求3或4所述的方法,其特征在于,所述根据所述第一三角形的边长和所述第二三角形的边长,确定所述待跟踪图像对应的当前的真实尺度,包括:

6.根据权利要求5所述的方法,其特征在于,所述移动信息包括旋转数据和带有尺度的平移数据;所述根据所述待跟踪图像的特征点、所述观测图像的特征点以及所述当前的真实尺度,确定待跟踪图像相对于所述头戴设备带有真实尺度的移动信息,包括:

7.根据权利要求1-4任一项所述的方法,其特征在于,所述根据待跟踪图像的特征点以及头戴设备当前采集的观测图像的特征点,确定所述待跟踪图像的特征点对应的三维点,包括:

8.一种平面跟踪装置,其特征在于,所述装置包括:

9.一种头戴设备,其特征在于,所述头戴设备用于执行如权利要求1-7任一项所述的平面跟踪方法。

10.一种电子设备,其特征在于,包括:处理器和存储器;

11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如权利要求1至7任一项所述的平面跟踪方法。

12.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1-7任一项所述的平面跟踪方法。

...

【技术特征摘要】

1.一种平面跟踪方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述三维点,对所述待跟踪图像进行尺度估计,确定所述待跟踪图像对应的当前的真实尺度,包括:

3.根据权利要求2所述的方法,其特征在于,所述观测图像是由所述头戴设备中的双目采集的两张图像;所述根据所述新的三维点,对所述待跟踪图像进行尺度估计,确定所述待跟踪图像对应的当前的真实尺度,包括:

4.根据权利要求3所述的方法,其特征在于,所述根据所述待跟踪图像的特征点对应的坐标和所述拟合的平面上的三维点的坐标,分别确定所述第一三角形的边长和所述第二三角形的边长,包括:

5.根据权利要求3或4所述的方法,其特征在于,所述根据所述第一三角形的边长和所述第二三角形的边长,确定所述待跟踪图像对应的当前的真实尺度,包括:

6.根据权利要求5所述的方法,其特征在于,所述移动信息包括旋转数据和带有尺度的平移数据;所述根据...

【专利技术属性】
技术研发人员:范帝楷贺雪倩
申请(专利权)人:北京字跳网络技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1