一种三维轨迹数据的数据缺失处理方法及装置制造方法及图纸

一种三维轨迹数据的数据缺失处理方法、装置及光学动作捕捉方法，其中请求保护的数据缺失处理方法包括：获取需要处理的数据源，以及设置数据缺失的标记点的数值，然后构建数据源矩阵、构建鲁棒性主成分分析、对目标数据矩阵进行数据恢复等步骤，以尽可能找出三维轨迹数据中的有效三维数据，达到缺失数据恢复的目的，从而为用户提供处理效果好、处理效率高的解决方案。

A data missing processing method and device for 3D trajectory data

【技术实现步骤摘要】
【国外来华专利技术】一种三维轨迹数据的数据缺失处理方法及装置
本专利技术涉及动作捕捉技术，具体涉及一种三维轨迹数据的数据缺失处理方法及装置。
技术介绍
动作捕捉技术(Motioncapture，简称Mocap)是指在运动物体的关键部位设置跟踪器，由动捕系统捕捉跟踪器位置，再经过计算机处理后得到三维空间坐标的数据。当三维空间坐标数据被计算机识别后，可以应用在动画制作、步态分析、生物力学、人机工程等领域。特别是在电影特效领域，将多个摄影机捕捉到的真人影像换为数字模型，捕捉并记录演员表演时的动作，然后把这些动作同步到电脑中的虚拟角色上，使虚拟角色的动作和真人毫无差别，以达到逼真、自然的效果。目前，光学式动作捕捉凭借着采集精度高、可实时反馈等优势已成为运动捕捉技术中的重要研究分支。常见的光学式运动捕捉大多基于计算机视觉原理，从理论上说，对于空间中的一个点，只要它能同时为两部相机所见，则根据同一时刻两部相机所拍摄的图像和相机参数，可以确定这一时刻该点在空间中的位置，而当相机以足够高的速率连续拍摄时，从图像序列中就可以得到该点的三维运动轨迹。凭借该技术发展的光学式动捕系统已在游戏和电影领域广泛应用，通过对目标上特定光点(比如反光标记点)的监视和跟踪来完成运动捕捉的任务，由于每一个光点都对应一个捕捉目标的特殊部位，所以光点的移动就可以映射成为目标的分段位移，甚至是结构非常复杂的目标(比如人体)的运动形态，在高光点数量、高定位精度的基础下，也能够构建出目标物每一个细致关节的移动。在光学动作捕捉过程中，动捕相机在拍摄标记点的图像时，若捕捉环境发生变化，则会对标记点的三维空间坐标的定位精度造成影响。例如，当捕捉环境出现遮挡情形时，捕捉得到的标记点的三维空间坐标则会出现缺失，如果不对缺失的数据进行处理，则最终会影响运动物体的定位精度，甚至出现无法定位的情况。现有技术中，在对标记点运动过程形成的三维轨迹数据中的缺失数据进行处理时，常用的做法是卡尔曼滤波预测法，即根据缺失帧之前帧的数据，预测缺失帧的数据，并将预测出的数据作为缺失帧的数值，该种方法效果若没有准确的运动数学模型，在丢失帧比较多的情况下，效果不好。
技术实现思路
有鉴于此，为克服上述三维轨迹数据的数据缺失处理方法的不足，本申请提供一种三维轨迹数据的数据缺失处理方法及装置。根据第一方面，本专利技术实施例提供一种三维轨迹数据的数据缺失处理方法，包括：获取与所述目标标记点相关的标记点的三维轨迹数据；所述目标标记点的三维轨迹数据存在数据缺失；针对数据缺失的所有标记点，分别设置每一标记点缺失帧的数值，得到与所述目标标记点相关的标记点的完整三维轨迹数据；依据与目标标记点相关的标记点的完整三维轨迹数据，构建数据源矩阵，所述数据源矩阵是非满秩的；对所述数据源矩阵构建鲁棒性主成分分析，得到目标数据矩阵；根据所述目标数据矩阵，获取所述目标标记点的有效三维轨迹数据。根据第二方面，本专利技术实施例中提供一种三维轨迹数据的数据缺失处理装置，包括：存储器，用于存储程序；处理器，用于通过执行所述存储器存储的程序以实现上述第一方面任一项所述的三维轨迹数据的数据缺失处理方法。根据第三方面，本专利技术实施例中提供一种计算机可读存储介质，其特征在于，包括程序，所述程序能够被处理器执行以实现上述任一项所述的三维轨迹数据的数据缺失处理方法。根据第三方面，本专利技术实施例中提供一种光学动作捕捉方法，包括：获取运动空间中一测量对象的二维图像；根据获取的所述二维图像得到测量对象的三维轨迹数据；将得到的所述三维轨迹数据进行上述第一方面任一项所述的三维轨迹数据的数据缺失处理，获取光学动作捕捉数据。本申请的有益效果是：依据上述实施例的一种三维轨迹数据的数据缺失处理方法，其中，请求保护的数据缺失处理方法包括：获取需要处理的数据源，以及设置数据缺失的标记点的数值，然后构建数据源矩阵、构建鲁棒性主成分分析、对目标数据矩阵进行数据恢复等步骤，以尽可能找出三维轨迹数据中的有效三维数据，达到遮挡数据恢复的目的，从而为用户提供处理效果好、处理效率高的解决方案。其中，在构建数据源矩阵时，依据获取并经数据预补充处理后的、与目标标记点相关的标记点的完整三维轨迹数据，该与目标标记点相关的标记点的三维轨迹数据包括：目标标记点的完整三维轨迹数据；或，目标标记点的完整三维轨迹数据和与该目标标记点具有关联关系的标记点的完整三维轨迹数据，由此使得构建数据源矩阵时，可根据实际情况选择数据源，数据源的选择性比较灵活，同时又能够保证尽可能地将与目标标记点相关的数据纳入分析，以提高抗遮挡效率，更好地进行缺失数据的恢复。并且，在构建数据源矩阵时，先构建每一标记点的汉克尔矩阵，基于汉克尔矩阵的特性，可以保证构建的汉克尔矩阵具有低秩性，然后再根据分析数据源的不同，对构建的汉克尔矩阵进行组合，由于标记点之间的数据相关性，从而可以保证构建的数据源矩阵的低秩性，以保证后续进行鲁棒性主成分分析的效果。其中，构建鲁棒性主成分分析时，选用增广拉格朗日乘子法。采用增广拉格朗日乘子法进行鲁棒性主成分分析，可以使得分析效率最佳。附图说明图1为数据缺失处理方法的第一实施例的流程示意图；图2为图1中步骤101的实施例的流程示意图；图3为数据缺失处理方法的第二实施例的流程示意图；图4为光学动作捕捉方法的流程示意图；图5为数据缺失处理方法的第三实施例的流程示意图；图6为数据缺失处理装置的结构示意图。具体实施方式下面通过具体实施方式结合附图对本专利技术作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。现有技术中，常采用鲁棒性主成分分析(RobustPCA)进行图像数据处理。该种方法可以有效的找出数据中最“主要”的元素和结构，去除噪音和冗余，将原有的复杂数据降维本文档来自技高网...

【技术保护点】
1.一种三维轨迹数据的数据缺失处理方法,其特征在于，包括：/n获取与目标标记点相关的标记点的三维轨迹数据；所述目标标记点的三维轨迹数据存在数据缺失；/n针对数据缺失的所有标记点，分别设置每一标记点缺失帧的数值，得到与所述目标标记点相关的标记点的完整三维轨迹数据；/n依据与目标标记点相关的标记点的完整三维轨迹数据，构建数据源矩阵，所述数据源矩阵是非满秩的；/n对所述数据源矩阵构建鲁棒性主成分分析，得到目标数据矩阵；/n根据所述目标数据矩阵，获取所述目标标记点的有效三维轨迹数据。/n

【技术特征摘要】
【国外来华专利技术】1.一种三维轨迹数据的数据缺失处理方法,其特征在于，包括：
获取与目标标记点相关的标记点的三维轨迹数据；所述目标标记点的三维轨迹数据存在数据缺失；
针对数据缺失的所有标记点，分别设置每一标记点缺失帧的数值，得到与所述目标标记点相关的标记点的完整三维轨迹数据；
依据与目标标记点相关的标记点的完整三维轨迹数据，构建数据源矩阵，所述数据源矩阵是非满秩的；
对所述数据源矩阵构建鲁棒性主成分分析，得到目标数据矩阵；
根据所述目标数据矩阵，获取所述目标标记点的有效三维轨迹数据。


2.如权利要求1所述的数据缺失处理方法，其特征在于，所述与目标标记点相关的标记点的三维轨迹数据包括：
所述目标标记点的三维轨迹数据；或，
所述目标标记点的三维轨迹数据和与所述目标标记点具有关联关系的标记点的三维轨迹数据。


3.如权利要求2所述的数据缺失处理方法，其特征在于，所述与所述目标标记点具有关联关系的标记点的三维轨迹数据包括：
与所述目标标记点处于相同肢体的标记点的三维轨迹数据、所属肢体与所述目标标记点所属肢体存在父或子关系的标记点的三维轨迹数据、或所属肢体与所述目标标记点所属肢体功能相似的标记点的三维轨迹数据。


4.如权利要求3所述的数据缺失处理方法，其特征在于，所述获取与所述目标标记点相关的标记点的三维轨迹数据，具体包括：
确定与所述目标标记点相关的所有标记点；所述与所述目标标记点相关的所有标记点包括：所述目标标记点、所述目标标记点和一个与所述目标标记点所属肢体具有关联关系的标记点、或所述目标标记点和两个与所述目标标记点所属肢体具有关联关系的标记点；
获取与所述目标标记点相关的每一标记点的N帧三维数据。


5.如权利要求4所述的数据缺失处理方法，其特征在于，所述确定与所述目标标记点相关的所有标记点，具体包括：
若与所述目标标记点相关的所有标记点仅包括所述目标标记点，则将所述目标标记点确定为与所述目标标记点相关的所有标记点；
若与所述目标标记点相关的所有标记点包括：所述目标标记点和一种与所述目标标记点所属肢体具有关联关系的标记点；若该种与所述目标标记点所属肢体具有关联关系的标记点有多个，则从该种与所述目标标记点所属肢体具有关联关系的多个标记点中选择一个标记点，以及将所述目标标记点和选择的该标记点确定为与所述目标标记点相关的所有标记点；
若与所述目标标记点相关的所有标记点包括：所述目标标记点和两种与所述目标标记点所属肢体具有关联关系的标记点；若每一种所述目标标记点所属肢体具有关联关系的标记点有多个，则分别从该两种与所述目标标记点所属肢体具有关联关系的多个标记点中选择一个标记点，以及将所述目标标记点和选择出的该两个标记点确定为与所述目标标记点相关的所有标记点。


6.如权利要求4所述的数据缺失处理方法，其特征在于，所述针对数据缺失的标记点，设置该标记点的缺失帧的数值，具体包括：
确定数据缺失的所有标记点；
将确定出的数据缺失的每一标记点缺失帧的数值设置为一随机值。


7.如权利要求6所述的数据缺失处理方法，其特征在于，所述随机值的确定方式包括：
根据获取的数据缺失的标记点的N帧三维数据，确定出标记点的连续缺失帧数M；
根据首个缺失帧之前的三维数据和最后缺失帧之后的三维数据，确定数据缺失部分的轨迹方程；
根据轨迹方程，给出每一缺失帧的预估值其中，k为整数，且0≤k≤M-1；
以每一缺失帧的预估值为平均值，方差为构建高斯分布
通过实例化所述高斯分布为对应的每一缺失帧随机赋值。


8.如权利要求6所述的数据缺失处理方法，其特征在于，所述方差的确定方式包括：
根据所述确定出标记点的连续缺失帧的数量M，确定所述方差的取值。


9.如权利要求4-8中任一项所述的数据缺失处理方法，其特征在于，所述依据与目标标记点相关的标记点的完整三维轨迹数据，构建数据源矩阵，具体包括：
对每一标记点的N帧三维数据，依时序构建一个列数为1，行数为3N的初始矩阵：



取该初始矩阵中的前L个三维数据，作为汉克尔矩阵的行数，构建汉克尔矩阵：



按照预设规则对构建的汉克尔矩阵进行组合，得到所述数据源矩阵；
其中，rc,i为某一标记点第i帧三个坐标方向的数据，即若N为偶数，则...

【专利技术属性】
技术研发人员：杭建伟，许秋子，
申请(专利权)人：深圳市瑞立视多媒体科技有限公司，
类型：发明
国别省市：广东;44