基于非同步视频的运动捕捉方法技术

本发明专利技术公开了一种基于非同步视频的人体运动捕捉方法，通过多段目标人物的非同步视频，可以有效地恢复人物的三维运动。为了利用多段非同步视频，本发明专利技术提供了一种视频同步和运动重建的方法。本发明专利技术的实现包括：基于三维人体姿态对多段视频进行同步；基于同步后的视频进行运动重建，并利用低秩约束建模不同视点下的运动差异，实现从多段非同步视频进行高精度人体运动捕捉。本发明专利技术通过利用多段非同步视频进行更精确的运动捕捉。为了利用多段非同步视频，本发明专利技术提供了一种视频同步方法和运动重建方法，同时建模不同视频的运动差异，实现了高精度的运动捕捉。

【技术实现步骤摘要】
基于非同步视频的运动捕捉方法
本专利技术属于计算机
，尤其涉及一种基于非同步视频的运动捕捉方法。
技术介绍
从非同步视频中进行人体的运动捕捉，现有能处理这个问题的方法只有单视点运动捕捉算法，但是单视点固有的深度不确定性和自遮挡问题导致此类算法无法达到多视点重建的精度。而传统的多视点重建的算法只能解决所有相机记录同一场景的情况，无法处理相机记录不同场景，且视频之间动作不完全一致的情况。
技术实现思路
本专利技术的目的在于针对现有技术的不足，提出一种基于多段非同步视频，进行视频同步和人体重建的方法，以提高运动捕捉的精确性。本专利技术的目的是通过以下技术方案来实现的：一种基于非同步视频的运动捕捉方法，该方法包括以下步骤：(1)获取多段目标人物的非同步视频；对于每一段视频，通过深度神经网络预测每一帧的三维人体姿态；(2)基于步骤(1)中得到的三维人体姿态，计算任意两段视频之间每帧的相似性，构建相似性矩阵，利用动态规划求解得到两段视频之间每帧的对应关系，完成视频同步；(3)根据步骤(2)中得到的两段视频之本文档来自技高网...

【技术保护点】
1.一种基于非同步视频的运动捕捉方法，其特征在于，该方法包括以下步骤：/n(1)获取多段目标人物的非同步视频；对于每一段视频，通过深度神经网络预测每一帧的三维人体姿态；/n(2)基于步骤(1)中得到的三维人体姿态，计算任意两段视频之间每帧的相似性，构建相似性矩阵，利用动态规划求解得到两段视频之间每帧的对应关系，完成视频同步；/n(3)根据步骤(2)中得到的两段视频之间每帧的对应关系；当不同视频中记录的人体动作一致时，同时优化相机姿态和人体运动来最小化各个视角下的重投影误差，完成人体运动重建；当不同视频中记录的动作不完全一致时，同时优化相机姿态和不同视频中的人体运动来最小化各个视角下的重投影误差...

【技术特征摘要】
1.一种基于非同步视频的运动捕捉方法，其特征在于，该方法包括以下步骤：
(1)获取多段目标人物的非同步视频；对于每一段视频，通过深度神经网络预测每一帧的三维人体姿态；
(2)基于步骤(1)中得到的三维人体姿态，计算任意两段视频之间每帧的相似性，构建相似性矩阵，利用动态规划求解得到两段视频之间每帧的对应关系，完成视频同步；
(3)根据步骤(2)中得到的两段视频之间每帧的对应关系；当不同视频中记录的人体动作一致时，同时优化相机姿态和人体运动来最小化各个视角下的重投影误差，完成人体运动重建；当不同视频中记录的动作不完全一致时，同时优化相机姿态和不同视频中的人体运动来最小化各个视角下的重投影误差，并将所有不同视频中对应帧的三维人体姿态组成低秩矩阵作为优化过程中的约束条件，利用低秩矩阵进行建模运动差异性，完成人体运动重建。


2.根据权利要求1所述的一种基于非同步视频的运动捕捉的方法，其特征在于，步骤(2)中，所述计算任意两段视频之间每帧的相似性，构建相似性矩阵具体为：把两段视频之间任意两帧的三维人体姿态对齐，然后计算任意两帧之间三维人体姿态的欧式距离，再把欧式距离映射为衡量任意两帧的相似性的值，相似性的值范围为0-1，将得到的任意两帧的相似性的值...

【专利技术属性】
技术研发人员：鲍虎军，周晓巍，董峻廷，帅青，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33