本发明专利技术公开了一种结合图神经网络和骨长约束的动捕缺失数据恢复方法，包括以下步骤：S1、构造以关节为图节点，以人体结构的自然连接作为边的骨架图；S2、基于骨架图的图神经网络，编码器以图节点的联合坐标向量作为输入，对输入数据进行多层空间图卷积操作生成更高层次的特征图，再利用全连接神经网络重构出高层次特征图的输出；S3、将人体骨架结构划分成多个骨块链，通过挖掘骨块链中节点之间的骨骼长度约束关系形成骨骼长度约束；S4、基于骨骼长度约束的标记选择算法，通过联合约束学习恢复运动序列中更符合人体结构的缺失点坐标；该方法提高缺失点坐标恢复精度和骨长的恢复精度，对缺失间隙的长度和缺失标记的数量具有更强的鲁棒性。强的鲁棒性。强的鲁棒性。
【技术实现步骤摘要】
一种结合图神经网络和骨长约束的动捕缺失数据恢复方法
[0001]本专利技术涉及计算机数据处理
，具体涉及一种结合图神经网络和骨长约束的动捕缺失数据恢复方法。
技术介绍
[0002]运动捕捉(motion capture, MOCAP)是一种获取真实运动数据的技术，旨在通过传感设备记录人体在三维空间中的运动轨迹, 并将其转化为抽象的运动数据以驱动虚拟人或物体运动的仿真技术。随着虚拟现实技术的飞速发展，MOCAP数据已经广泛地应用于计算机动画、影视游戏、教育医学、运动分析、体育训练和运动仿真等领域。然而，由于捕捉和运动跟踪过程中常常存在测量误差、校准误差和传感器分辨率差等因素的影响，以及采集数据时标记点被物体或者身体的其他部位遮挡，使传感器无法捕获完整标记点，从而造成捕捉数据缺失问题。在实际应用中，有效的缺失数据重构恢复能够较好地便于后续运动编辑、合成和重用等实际应用数据的处理。
[0003]人类运动捕捉数据已被广泛应用于现实的角色动画中，而由于关节遮挡、标记脱落和设备精度不足导致的标记缺失问题往往会影响后续运动编辑、合成和数据重用等实际应用性能。现有的一些捕捉数据恢复方法在刻画人体结构的时空约束方面常常存在不自然现象，并在长序列数据恢复中出现运动失真情况，较难满足实际使用需求。
技术实现思路
[0004]本专利技术的目的在于提供一种结合图神经网络和骨长约束的动捕缺失数据恢复方法，该结合图神经网络和骨长约束的动捕缺失数据恢复方法提高缺失点坐标恢复精度的同时也提升了骨长的恢复精度，对缺失间隙的长度和缺失标记的数量具有更强的鲁棒性。
[0005]为实现上述目的，本专利技术采用以下技术方案：一种结合图神经网络和骨长约束的动捕缺失数据恢复方法，包括以下步骤：S1、构造以关节为图节点，以人体结构的自然连接作为边的骨架图；S2、基于骨架图的图神经网络，编码器以图节点的联合坐标向量作为输入，对输入数据进行多层空间图卷积操作生成更高层次的特征图，再利用全连接神经网络重构出高层次特征图的输出；S3、将人体骨架结构划分成多个骨块链，通过挖掘骨块链中节点之间的骨骼长度约束关系形成骨骼长度约束；S4、基于骨骼长度约束的标记选择算法，通过联合约束学习恢复运动序列中更符合人体结构的缺失点坐标。
[0006]优选地，步骤S1的具体过程为：S11、在一个具有d个关节和n帧的骨架序列上，构建一个无向时空图， 在该无向时空图中，节点集包含一个骨架序列中
的所有关节，其中，t为帧序号，i为关节序号；S12、根据人体结构的连通性，将同一帧内的关节用边连接起来，则边集E描述了每一帧的骨架连接，表示为，其中，H是自然连接的人体关节集合。
[0007]优选地，步骤S2中基于骨架图的图神经网络为：在时间的单个帧上，有d个联合节点，以及骨架边； 设为骨架图G的邻接矩阵，如果第和第j个关节连接，则，否则为0, 则邻接矩阵A完整地描述了骨架结构；设为度矩阵，其中；一个矩阵由一系列帧组成，其中每个帧记录每个关节的三维位置，其数据形式表示为，其中，n表示运动序列中所包含的帧数，d为人体关节总数，每个节点以三维坐标形式表示；若是完整的MOCAP数据，并让表示一个受损的运动序列，缺失标记的值通过二进制掩码记录在MOCAP数据中：
ꢀꢀꢀ
（1）其中，表示两个矩阵对应位置元素进行乘积，设、分别为原始、受损序列中第t帧联合节点组成的坐标向量，则则其中，，设、分别为原始、受损运动序列中第t帧上的第个关节的坐标向量，则：则：。
[0008]优选地，步骤S2中所述编码器由图卷积神经网络和全连接神经网络连接组成，编码器通过运动数据中未缺失的部分建立缺失数据的预测模型，充分地利用骨架图的空间信息；所述编码器使用图卷积神经网络提取骨架特征，其引入了每个关节的相邻特征的加权平均值；骨架图G中的每个节点添加所有直接连接的相邻节点的隐藏状态以更新当前节点的隐藏状态，这个过程如下式所示: （2）其中, 表示节点u在第层第t帧的特征状态，表示节点v在第层第t帧的特征状态，为第t帧中节点v的邻接节点集，每一帧的节点在每一层都有其特征表示；其中，，第K层是通过k跳后的节点信息的低维表征向量；将编码过程划分为
两个阶段：节点间的特征传递与各节点的状态更新分别由函数和完成；在第t帧处，将节点v的输入特征作为其隐藏状态的初始态后，编码器对隐藏状态的更新如下式表示：（3）其中，表示节点u在第层第t帧的特征状态，表示节点v在第层第t帧的特征状态，表示节点v在第层第t帧的特征状态，代表图卷积的第层，w为邻域各节点的权值；第层的输入依赖于第层的输出表示，其中初始的第0层表示等于输入节点特征；所述编码器的整个过程从输入节点特征开始，通过在骨架图上转换和聚合特征的图神经网络来计算骨架节点的嵌入特征；给定关节点v一个嵌入特征，取决于骨架节点v的输入特征和该节点周围的图结构；设当前骨架节点v的嵌入特征为，其对应的邻域节点的嵌入特征集合为，邻域各节点的权值集合为，其中，表示点v的邻域节点集合，则骨架节点v的特征传递与状态更新过程的公式如下所示：
ꢀꢀꢀꢀꢀ
（4）（5）（6）其中，为单位矩阵，为ReLU函数，W为各节点的权值集合；当前骨架节点v的嵌入特征经特征传递与状态更新操作后取值。
[0009]优选地，步骤S2中解码器对来自编码器的全局特征进行解码，设为编码器的输出特征，为自动编码器恢复的运动序列在第t帧的联合节点坐标向量；在自动编码的过程中，编码器以作为输入，经过两层的图卷积网络提取关节的空间信息，最后一个图卷积模块被连接到一个全连接神经网络进行解码，全连接神经网络将图神经网络的输出映射为新的恢复特征，其中，，函数g为两层图卷积网络映射函数，函数f为全连接层映射函数。
[0010]优选地，步骤S3中基于关节在运动时存在的协作关系，将人体骨架结构划分成多个骨块链，每个骨块链都是两个相邻关节点的集合，对于同一个骨块链的两个标记点计算骨长，即针对相邻的两个标记点和，利用关节点三维空间坐标之间的空间欧式距离来计算骨长进行约束学习。
[0011]优选地，步骤S4的具体过程为：S41、采用重建损失和骨长损失来训练网络；重建损失用于约束模型保存序列可见部分的信息，重建损失公式如下： （7）其中，代表范数；骨长损失用于约束整个生成运动序列的骨长不变，使恢复的人体运动更加平滑，骨长损失公式如下：（8）其中,表示运动帧中的第帧的第j块骨长,为对应段的恢复运动，编码器的损失函数最终表示为：（9）其中, 和是用于调整每个损失项重要性的超参数；S42、将运动恢复任务转换为优化函数和，最小化恢复的运动序列与完整的运动序列V之间的差异为：（10）利用编码器来拟合函数和，编码器将映射到高维表示； S43、解码器将其映射回输入流以重建原始信号，再根据运动序列的时域稳定性把连续几帧的数据组合起来，并利用平均滑动窗口进行平滑后处理。
[0012]采用上述技术方案后，本专利技术具有如下有益效果：本专利技术的结合图神经网络和骨长约束的动捕缺失数据恢复方法通过图卷积的自动编码器深度挖本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种结合图神经网络和骨长约束的动捕缺失数据恢复方法，其特征在于，包括以下步骤：S1、构造以关节为图节点，以人体结构的自然连接作为边的骨架图；S2、基于骨架图的图神经网络，编码器以图节点的联合坐标向量作为输入，对输入数据进行多层空间图卷积操作生成更高层次的特征图，再利用全连接神经网络重构出高层次特征图的输出；S3、将人体骨架结构划分成多个骨块链，通过挖掘骨块链中节点之间的骨骼长度约束关系形成骨骼长度约束；S4、基于骨骼长度约束的标记选择算法，通过联合约束学习恢复运动序列中更符合人体结构的缺失点坐标。2.如权利要求1所述的一种结合图神经网络和骨长约束的动捕缺失数据恢复方法，其特征在于，步骤S1的具体过程为：S11、在一个具有d个关节和n帧的骨架序列上，构建一个无向时空图， 在该无向时空图中，节点集包含一个骨架序列中的所有关节，其中，t为帧序号，i为关节序号；S12、根据人体结构的连通性，将同一帧内的关节用边连接起来，则边集E描述了每一帧的骨架连接，表示为，其中，H是自然连接的人体关节集合。3.如权利要求2所述的一种结合图神经网络和骨长约束的动捕缺失数据恢复方法，其特征在于，步骤S2中基于骨架图的图神经网络为：在时间的单个帧上，有d个联合节点，以及骨架边； 设为骨架图G的邻接矩阵，如果第和第j个关节连接，则，否则为0, 则邻接矩阵A完整地描述了骨架结构；设为度矩阵，其中；一个矩阵由一系列帧组成，其中每个帧记录每个关节的三维位置，其数据形式表示为，其中，n表示运动序列中所包含的帧数，d为人体关节总数，每个节点以三维坐标形式表示；若是完整的MOCAP数据，并让表示一个受损的运动序列，缺失标记的值通过二进制掩码记录在MOCAP数据中：
ꢀꢀꢀ
（1）其中，表示两个矩阵对应位置元素进行乘积，设、分别为原始、受损序列中第t帧联合节点组成的坐标向量，则则其中，，设、分别为原始、受损运动序列中第t帧上的第个关节的坐标向量，则：则：。4.如权利要求3所述的一种结合图神经网络和骨长约束的动捕缺失数据恢复方法，其
特征在于，步骤S2中所述编码器由图卷积神经网络和全连接神经网络连接组成，编码器通过运动数据中未缺失的部分建立缺失数据的预测模型，充分地利用骨架图的空间信息；所述编码器使用图卷积神经网络提取骨架特征，其引入了每个关节的相邻特征的加权平均值；骨架图G中的每个节点添加所有直接连接的相邻节点的隐藏状态以更新当前节点的隐藏状态，这个过程如下式所示: （2）其中, 表示节点u在第层第t帧的特征状态，表示节点v在第层第t帧的特征状态，为第t帧中节点v的邻接节点集，每一帧的节点在每一层都有其特征表示；其中，，第K层是通过k跳后的节点信息的低维表征向量；将编码过程划分为两个阶段：节点间的特征传递与各节点的状态更新分别由函数和完成；在第t帧处，将节点v的...
【专利技术属性】
技术研发人员：郑传钦，洪艳坤，
申请(专利权)人：厦门医学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。