【技术实现步骤摘要】
一种基于人体软组织网格模型的人体动画合成方法
本专利技术涉及影视制作、虚拟现实动作捕捉的算法领域，具体涉及一种基于人体网格模型重定向的软组织运动人体动画合成方法。
技术介绍
目前以光学动作捕捉系统为代表的动作捕捉系统依赖于设置物理跟踪点、依赖激光和光敏传感器等昂贵臃肿的外部设备来确定运动物体的位置，同时需要繁杂的后期处理工作；并且因为设置物理跟踪点数量有限，它们几乎难以捕捉到精准的软组织运动。当前动画重定向合成技术局限于骨骼动画方案，由骨骼来描述动作信息，用蒙皮来表示人体网格与骨骼之间的关系从而得到人体动画，而无法捕获到细腻的人体软组织运动。
技术实现思路
本专利技术的目的是提供一种基于人体网格模型重定向的软组织运动人体动画合成方法，用以解决现有技术难以捕捉精准的软组织运动且需要繁杂后期处理工作的问题。为了实现上述任务，本专利技术采用以下技术方案：一种基于人体软组织网格模型的人体动画合成方法，包括以下步骤：将视频帧输入特征金字塔网络提取包含低层特征高分辨率和高层特征高语义信...
【技术保护点】
1.一种基于人体软组织网格模型的人体动画合成方法，其特征在于，包括以下步骤：/n将视频帧输入特征金字塔网络提取包含低层特征高分辨率和高层特征高语义信息的特征图；/n将所述特征图送入多任务级联模块中，为不同任务候选框在特征图上分配对应的区域，并输出到不同的任务分支中，从而为不同的任务分支分配对应的特征图；/n利用所述分配的特征图输入到用于人体二维姿态估计的深度高分辨率表示网络生成二维姿态，再将二维姿态输入到用于人体三维姿态估计的基于时域空洞卷积网络预测人体软组织网格模型的三维姿态；/n在所述分配的特征图上通过用于对象检测和分割的基于区域卷积神经网络进行人体部位分割，以及通过对...
【技术特征摘要】
1.一种基于人体软组织网格模型的人体动画合成方法，其特征在于，包括以下步骤：
将视频帧输入特征金字塔网络提取包含低层特征高分辨率和高层特征高语义信息的特征图；
将所述特征图送入多任务级联模块中，为不同任务候选框在特征图上分配对应的区域，并输出到不同的任务分支中，从而为不同的任务分支分配对应的特征图；
利用所述分配的特征图输入到用于人体二维姿态估计的深度高分辨率表示网络生成二维姿态，再将二维姿态输入到用于人体三维姿态估计的基于时域空洞卷积网络预测人体软组织网格模型的三维姿态；
在所述分配的特征图上通过用于对象检测和分割的基于区域卷积神经网络进行人体部位分割，以及通过对所述网络的特征层进行卷积的方法回归其软组织UV纹理图，生成人体软组织网格模型的人体表面形状；
根据人体软组织网格模型的三维姿态和人体表面形状重构人体软组织网络模型；
对于重构的人体软组织网格模型，利用人体软组织网格模型判别池进行判别是否正确并进行纠正处理，最终输出纠正的人体软组织网格模型；
对于转移的风格化动画角色，利用输出的人体软组织模型拟合到风格化动画角色上，最终输出生成的人体动画。
2.根据权利要求1所述的基于人体软组织网格模型的人体动画合成方法，其特征在于，所述将视频帧输入特征金字塔网络提取包含低层特征高分辨率和高层特征高语义信息的特征图，包括：
对于输入特征金字塔网络的视频帧，利用残差网络进行特征提取，生成不同分辨率的特征图，这些特征图形成自下而上的通路；最顶层的特征图通过池化操作又形成从上至下的通道，不同分辨率特征图经过卷积操作后与相邻特征图池化后的对应元素相加进行连接，最终输出特征图。
3.根据权利要求1所述的基于人体软组织网格模型的人体动画合成方法，其特征在于，对于从特征金字塔提取出来同时包含保持高分辨率低层特征和高层特征高语义信息的特征图，在原图上存在对不同的任务有不同的感兴趣区域；利用基于RoIAlign多任务级联模块处理，在原图上对不同任务感兴趣的区域在特征图上准确分配对应的特征图，最终输出到用于人体二维姿态估计的深度高分辨率表示网络进行二维姿态估计任务和用于对象检测和分割的基于区域卷积神经网络进行人体部位分割任务中作为输入。
4.根据权利要求1所述的基于人体软组织网格模型的人体动画合成方法，其特征在于，所述将二维姿态输入到用于人体三维姿态估计的基于时域空洞卷积网络预测人体软组织网格模型的三维姿态，包括：
对于深度高分辨率表示网络输出的二维关节点，利用时域空洞卷积网络进行预测三维姿态，时域空洞卷积网络将视频帧，每帧通道为34作为输入，应用卷积核大小为W＝3，空洞因子d＝1，来输出通道C＝1024的特征图，随后连接批量归一化，激活函数，正则化；同时应用B＝4个残差网络风格的残差块，来形成一个跳跃连接，每个残差块执行过滤器大小为W＝1的空洞因子的卷积操作；最终分别将每个残差块的输...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。