同时追踪可移动物体与可移动相机的六自由度方位的方法与系统技术方案

本公开涉及一种同时追踪可移动物体与可移动相机的数个六自由度方位的方法与系统，方法包括以下步骤：以可移动相机撷取一连串的影像，从这些影像中提取数个环境特征点，匹配这些环境特征点计算可移动相机的数个相机矩阵，再由这些相机矩阵计算可移动相机的六自由度方位；并同时从可移动相机撷取的这些影像中推算可移动物体的数个特征点，使用这些影像各自对应的相机矩阵，以及预先定义的几何限制和时间限制，修正可移动物体的这些特征点的坐标，再以这些修正后的特征点坐标及其各自对应的相机矩阵，计算可移动物体的六自由度方位。计算可移动物体的六自由度方位。计算可移动物体的六自由度方位。

【技术实现步骤摘要】
同时追踪可移动物体与可移动相机的六自由度方位的方法与系统


[0001]本专利技术涉及一种同时追踪可移动物体与可移动相机的六自由度方位的方法与系统。

技术介绍

[0002]在现有的追踪技术中，例如同时定位与地图构建技术(Simultaneous Localization And Mapping，SLAM)可以追踪可移动相机的六自由度方位，但却无法同时追踪可移动物体。原因是可移动相机需要用稳定的环境特征点才能进行定位，而可移动物体的特征点不稳定，通常会被丢弃，无法用于追踪。
[0003]另一方面，用于追踪可移动物体的技术都会忽略环境特征点以避免干扰，因此这些技术都无法追踪可移动相机。
[0004]大多数神经网络所学习的特征都是用来区分物体的类型，而不是计算物体的六自由度方位。某些用于辨识姿态或手势的神经网络只能够输出骨胳关节在影像平面的2D坐标(x，y)，即使靠深度感测技术估算关节与相机之间的距离，也不是空间中真正的3D坐标，更无法计算空间中的六自由度方位。
[0005]在运动捕捉系统中，则是使用多个固定相机追踪关节位置，一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种同时追踪可移动物体与可移动相机的多个六自由度方位的方法，其特征在于同时追踪可移动物体与可移动相机的多个六自由度方位的方法包括：以该可移动相机撷取多张影像，从该些影像中提取多个环境特征点，匹配该些环境特征点计算该可移动相机的多个相机矩阵，再由该些相机矩阵计算该可移动相机的该些六自由度方位；以及从该可移动相机撷取的该些影像中推算该可移动物体的多个特征点，通过该些影像对应的该些相机矩阵，以及预先定义的几何限制和时间限制，修正该可移动物体的该些特征点的多个坐标，再以修正后的该些特征点的该些坐标及其对应的该些相机矩阵，计算该可移动物体的该些六自由度方位。2.根据权利要求1所述的同时追踪可移动物体与可移动相机的该些六自由度方位的方法，其中从该可移动相机撷取的该些影像中推算该可移动物体的该些特征点为预先定义，与该可移动相机撷取的该些影像做比对推算该些特征点的该些坐标。3.根据权利要求1所述的同时追踪可移动物体与可移动相机的该些六自由度方位的方法，其中从该可移动相机撷取的该些影像中推算该可移动物体的该些特征点，并由神经网络推论模型推算该些特征点的该些坐标，该神经网络推论模型为预先训练，训练数据由手动标记和自动扩充组成，在训练过程中加入该几何限制和该时间限制。4.根据权利要求3所述的同时追踪可移动物体与可移动相机的该些六自由度方位的方法，其中在追踪该可移动物体时，该神经网络推论模型在背景执行增量学习，该增量学习的训练数据包括：该可移动相机撷取的该些影像及由该些影像自动扩增的影像，并以对应该些影像的修正后的该些特征点的坐标取代手动标记，调整该神经网络推论模型中的权重，更新该神经网络推论模型以精准推算该可移动物体特征点的坐标。5.根据权利要求1所述的同时追踪可移动物体与可移动相机的该些六自由度方位的方法，还包括：交叉比对该可移动物体的该些六自由度方位与该可移动相机的该些六自由度方位，以修正该可移动物体的该些六自由度方位与该可移动相机的该些六自由度方位；当该可移动物体的该些六自由度方位或该可移动相机的该些六自由度方位的变动小于预设值时，不改变该可移动物体的该些六自由度方位及该可移动相机的该些六自由度方位；根据该可移动相机的该些六自由度方位计算使用者的双眼的视轴；根据该可移动物体的该些六自由度方位与该可移动相机的该些六自由度方位计算虚拟荧幕的该些六自由度方位；以及根据该虚拟荧幕的该些六自由度方位及立体显示器的光学参数产生该虚拟荧幕的左眼影像及右眼影像，以显示该虚拟荧幕的立体影像于该立体显示器。6.根据权利要求5所述的同时追踪可移动物体与可移动相机的该些六自由度方位的方法，其中该虚拟荧幕由该使用者设定显示于该可移动物体周围的特定位置，该虚拟荧幕随着该可移动物体一起移动。7.根据权利要求1所述的同时追踪可移动物体与可移动相机的该些六自由度方位的方法，其中修正该可移动物体的该些特征点的坐标的步骤包括：使用该些相机矩阵，将该些特征点的二维坐标投影至对应的三维坐标；
依据该几何限制，删除该三维坐标偏差大于预定值的该些特征点，或以相邻特征点的坐标依据该几何限制补充未被侦测到的特征点的坐标；以及依据该时间限制，比对该些特征点在连续的该些影像中的坐标变化，再以连续的该些影像中对应的该些特征点的坐标修正该坐标变化大于设定值的该些特征点的坐标。8.根据权利要求1所述的同时追踪可移动物体与可移动相机的该些六自由度方位的方法，其中在计算该可移动物体的该些六自由度方位的步骤中，对于平面的该可移动物体，使用该些特征点计算拟合平面，该可移动物体的该些六自由度方位由该平面的中心点及法向量定义；对于非平面的该可移动物体，该可移动物体的该些六自由度方位由该些特征点的三维坐标的质心定义。9.根据权利要求1所述的同时追踪可移动物体与可移动相机的该些六自由度方位的方法，其中该可移动物体为刚性物体，该可移动相机设置于头戴式立体显示器、移动装置、电脑或机器人上。10.一种同时追踪可移动物体与可移动相机的多个六自由度方位的系统，其特征在于同时追踪可移动物体与可移动相机的多个六自由度方位的系统包括：该可移动相机，用于撷取多张影像；可移动相机六自由度方位计算单元，用于从该些影像中提取多个环境特征点，匹配该些环境特征点计算该可移动相机的多个相机矩阵，再由该些相机矩阵计算该可移动相机的该些六自由度方位；以及可移动物体六自由度方位计算单元，用于从该可移动相机撷取的该些影像中推算该可移动物体的多个特征点，通过该些影像对应的该些相机矩阵，以及预先定义的几何...

【专利技术属性】
技术研发人员：汪德美，谢中扬，
申请(专利权)人：财团法人工业技术研究院，
类型：发明
国别省市：