一种单目鲁棒实时多人3D动捕方法、装置及计算机设备制造方法及图纸

本发明专利技术实施例公开了一种单目鲁棒实时多人3D动捕方法、装置及计算机设备，以解决现有技术存在的需要动作人穿上特定的设备、实施成本较高等问题。通过卷积神经网络估计每个人的2D和3D姿态特征，再通过全连接的神经网络将遮挡部分2D姿态和3D姿态特征推理成完整的3D姿态，然后应用时空骨架模型拟合每个人预测的2D和3D姿态，最终渲染得到目标场景中的人形动画，实现对目标场景中多人的动作捕捉，从而无需动作人穿戴辅助设备，动作人运动不设限制，且仅依赖于单目摄像头作为采集设备，即可实现对多人体运动的实时准确捕捉，实施成本较低。实施成本较低。实施成本较低。

【技术实现步骤摘要】
一种单目鲁棒实时多人3D动捕方法、装置及计算机设备


[0001]本专利技术涉及3D动作捕捉
，具体涉及一种实时多人3D动捕方法。

技术介绍

[0002]动捕技术被广泛应用于影视动漫，游戏以及安防等领域，并且具有广泛的应用。传统动捕主要分为光学动捕方法和惯性动捕方法，其中：光学动捕方法需要在采集环境中部署多个摄像头，再在动捕衣服上放置光学标记来计算人体姿态，具有安装繁琐，且不利于拓展等不利因素；而惯性动捕方法，虽然采集设备相对轻便，但是也需要人员穿戴IMU传感器，并且由于IMU的固有属性，还存在采集精度不高等问题。
[0003]所以，无论是光学动捕还是惯性动捕都需要动作人穿上特定的设备，不可避免地会影响到人体运动的真实性和动捕的使用范围；同时，相应的专业动捕设备往往价格不菲。

技术实现思路

[0004]为此，本专利技术实施例提供一种单目鲁棒实时多人3D动捕方法、装置及计算机设备，以解决现有技术存在的需要动作人穿上特定的设备、实施成本较高等问题。
[0005]为了实现上述目的，本专利技术实施例提供如下技术方案：
[0006]第一方面，一种单目鲁棒实时多人3D动捕方法，包括：
[0007]步骤一：依次接收单目摄像头拍摄的目标场景的每一帧图像，通过卷积神经网络估计图像中每个人的2D姿态特征和3D姿态特征；其中，所述2D姿态特征作为估计3D姿态特征的计算过程的输入参数之一；
[0008]步骤二：利用全连接神经网络推理得到图像中遮挡部分的2D姿态特征和3D姿态特征，与步骤一得到的3D姿态特征组合形成完整的3D姿态；
[0009]步骤三：应用时空骨架模型拟合预测的每个人的2D姿态和3D姿态，渲染得到目标场景中的人形动画，实现对目标场景中多人的动作捕捉。
[0010]可选地，步骤一中，所述卷积神经网络分为核心网络以及两个独立分支的2D姿态预测网络和3D姿态编码网络，记核心网络的输出特征图大小为则2D姿态预测网络和3D姿态编码网络的输出特征图大小均为由所述核心网络提取特征，3D姿态编码网络利用了2D姿态预测网络输出的特征。
[0011]可选地，所述2D姿态预测网络的输出特征图为2D置信度分布图，每个2D置信度分布图代表每个像素的置信度，使用部分亲和场来编码身体关节所有权重，使用单位向量场从关节指向其运动学父关节，并跨越各自肢体的宽度，用于检测个人在场的场景和可见的身体关节，并将可见的身体关节与个体联系起来；从置信度分布图最大值中能够得到每个身体部位的检测置信度。
[0012]可选地，步骤一中，对于3D姿态编码网络的构建，每个可见的身体关节的空间位置
编码仅封装相对于该身体关节在运动链中直接连接的关节的3D姿态。
[0013]可选地，步骤二中所述利用全连接神经网络推理，具体是：先将步骤一输出的关节点坐标、关节点检测置信度和3D姿态编码向量的合并状态Q作为输入；如果某关节点处于不可见状态，则采用零向量代替；然后利用全连接层将所述合并状态Q转为3D姿态，得到每帧每个个体相对于根结点的3D姿态估计。
[0014]可选地，在步骤二与步骤三之间，还在当前时间步长分配检测个体之间的信息，并且利用上半身区域的HSV颜色直方图对人的外观进行建模和跟踪，维护被检测到的个体在各帧中的身份，使其在完全遮挡一段时间后能够被重新识别。
[0015]可选地，步骤三中所述时空骨架模型，是将骨骼长度进行归一化作为所述完整的3D姿态中连接关节之间的距离，将像素坐标的相对姿态估计转换为以厘米为单位的绝对3D坐标；在骨架拟合之前，每帧2D和3D的姿态估计均经过时序过滤，然后联合拟合了2D和根相关的3D预测结果。
[0016]第二方面，一种单目鲁棒实时多人3D动捕装置，包括：
[0017]可见姿态估计模块，用于依次接收单目摄像头拍摄的目标场景的每一帧图像，通过卷积神经网络估计图像中每个人的2D姿态特征和3D姿态特征；其中，所述2D姿态特征作为估计3D姿态特征的计算过程的输入参数之一；
[0018]完整3D姿态推理模块，用于基于全连接神经网络推理得到图像中遮挡部分的2D姿态特征和3D姿态特征，与步骤一得到的3D姿态特征组合形成完整的3D姿态；
[0019]骨架拟合及渲染模块，用于应用时空骨架模型拟合预测的每个人的2D姿态和3D姿态，渲染得到目标场景中的人形动画，实现对目标场景中多人的动作捕捉。
[0020]第三方面，一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特殊之处在于，所述处理器执行所述计算机程序时实现上述方法的步骤。
[0021]第四方面，一种计算机可读存储介质，其上存储有计算机程序，其特殊之处在于，所述计算机程序被处理器执行时实现上述方法的步骤。
[0022]本专利技术至少具有以下有益效果：
[0023]通过卷积神经网络估计每个人的2D和3D姿态特征，再通过全连接的神经网络将遮挡部分2D姿态和3D姿态特征推理成完整的3D姿态，然后应用时空骨架模型拟合每个人预测的2D和3D姿态，从而无需动作人穿戴辅助设备，动作人运动不设限制，且仅依赖于单目摄像头作为采集设备，即可实现对多人体运动的实时准确捕捉，实施成本较低。
附图说明
[0024]为了更清楚地说明现有技术以及本专利技术，下面将对现有技术以及本专利技术实施例描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引申获得其它的附图。
[0025]本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本专利技术可实施的限定条件，任何结构的修饰、比例关系的改变或大小的调整，在不影响本专利技术所能产生的功效及所能达成的目的下，均应仍落在本专利技术所揭示的
技术实现思路
能涵盖的范围内。
[0026]图1为本专利技术一个实施例提供的一种单目鲁棒实时多人3D动捕方法的流程示意图。
[0027]图2为本专利技术一个实施例提供的一种单目鲁棒实时多人3D动捕装置的虚拟模块架构示意图。
具体实施方式
[0028]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0029]在一个实施例中，如图1所示，提供了一种单目鲁棒实时多人3D动捕方法，包括以下步骤：
[0030]S1：依次接收单目摄像头拍摄的目标场景的每一帧图像，通过卷积神经网络估计图像中每个人的2D姿态特征和3D姿态特征；其中，所述2D姿态特征作为估计3D姿态特征的计算过程的输入参数之一；
[0031]S2：利用全连接神经网络推理得到图像中遮挡部分的2D姿态特征和3D姿态特征，与步骤一得到的3D姿态特征组合形成完整的3D姿态；
[0032]S3：应用时空骨架模型拟合预测的每个人的2D姿态和3D姿态，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种单目鲁棒实时多人3D动捕方法，其特征在于，包括：步骤一：依次接收单目摄像头拍摄的目标场景的每一帧图像，通过卷积神经网络估计图像中每个人的2D姿态特征和3D姿态特征；其中，所述2D姿态特征作为估计3D姿态特征的计算过程的输入参数之一；步骤二：利用全连接神经网络推理得到图像中遮挡部分的2D姿态特征和3D姿态特征，与步骤一得到的3D姿态特征组合形成完整的3D姿态；步骤三：应用时空骨架模型拟合预测的每个人的2D姿态和3D姿态，渲染得到目标场景中的人形动画，实现对目标场景中多人的动作捕捉。2.根据权利要求1所述的单目鲁棒实时多人3D动捕方法，其特征在于，步骤一中，所述卷积神经网络分为核心网络以及两个独立分支的2D姿态预测网络和3D姿态编码网络，记核心网络的输出特征图大小为则2D姿态预测网络和3D姿态编码网络的输出特征图大小均为由所述核心网络提取特征，3D姿态编码网络利用了2D姿态预测网络输出的特征。3.根据权利要求2所述的单目鲁棒实时多人3D动捕方法，其特征在于，所述2D姿态预测网络的输出特征图为2D置信度分布图，每个2D置信度分布图代表每个像素的置信度，使用部分亲和场来编码身体关节所有权重，使用单位向量场从关节指向其运动学父关节，并跨越各自肢体的宽度，用于检测个人在场的场景和可见的身体关节，并将可见的身体关节与个体联系起来；从置信度分布图最大值中能够得到每个身体部位的检测置信度。4.根据权利要求3所述的单目鲁棒实时多人3D动捕方法，其特征在于，步骤一中，对于3D姿态编码网络的构建，每个可见的身体关节的空间位置编码仅封装相对于该身体关节在运动链中直接连接的关节的3D姿态。5.根据权利要求4所述的单目鲁棒实时多人3D动捕方法，其特征在于，步骤二中所述利用全连接神经网络推理，具体是：先将步骤一输出的关节点坐标、关节点检测置信度和3D姿态编码向量的合并状态Q...

【专利技术属性】
技术研发人员：王俊翔，
申请(专利权)人：北京影谱科技股份有限公司，
类型：发明
国别省市：