一种三维人体重构动画的方法技术

本发明专利技术属于三维动态图形处理技术领域，涉及一种三维人体重构动画方法；工艺步骤包括：S1、选取单人的视频段，输入训练好的生成对抗网络模型中，获得人体关节点三维旋转角序列；S2、采用Savizkg‑Golag五点二次平滑算法对运动过程中的每个关节点三维旋转角进行平滑处理；S3、创建一个初始三维卡通模型，将人体23个关节点与三维卡通模型关节点的相同关节点绑定；S4、将得到的三维旋转角更新至三维卡通模型中，利用Unity3D的渲染效果，实现三维卡通模型的姿态同步变化；所述方法采用生成对抗网络模型，不需要标定样本，降低了前期样本准备工作量；通过引入关节点二维坐标、三维坐标、三维旋转角、人体体型参数的偏差值以及对抗损失值，大大提升了模型精度。

【技术实现步骤摘要】
一种三维人体重构动画的方法
：本专利技术属于三维动态图形处理
，涉及一种人体三维姿态构建的方法，特别是一种三维人体重构动画的方法。
技术介绍
：三维人体建模主要是利用计算机图形学和视觉方法，将现实中人体的三维姿态信息数字化的过程,其在3D电影、3D动画制作、3D游戏、虚拟试衣和虚拟现实等领域具有重要作用,三维人体建模是当前计算机图形学领域的研究热点之一；传统的三维人体重建方法对场景要求较高,一般需要复杂的标定,传统三维人体重建方法往往依托深度相机等工具的三维动画制作方式，计算复杂度高,建模时间长,用户体验差等问题。在现有技术中，公开号为CN110020633A的中国专利，公开了一种姿态识别模型的训练方法、图像识别方法及装置；姿态识别模型的训练方法包括：将标注有人体关键点的样本图像，输入所述姿态识别模型包括的特征图模型，输出对应所述样本图像的特征图；将所述特征图输入所述姿态识别模型包括的二维模型，输出用于表征二维人体姿态的二维关键点参数；将从所述特征图中剪裁出的目标人体特征图及所述二维关键点信息，输入所述姿态识别模型包括的三维模型，本文档来自技高网...

【技术保护点】
1.一种三维人体重构动画方法，其特征在于：具体工艺步骤如下：/nS1、获取人体三维姿态估计/n将连续16帧图像组成的视频帧序列V＝{I

【技术特征摘要】
1.一种三维人体重构动画方法，其特征在于：具体工艺步骤如下：
S1、获取人体三维姿态估计
将连续16帧图像组成的视频帧序列V＝{I1,I2,…,I16}，使用HRNet(高分辨率网络)模型分别对单张图像进行高分辨率特征提取，获得高分辨率特征序列F＝{f1,f2,…,f16}，将高分辨率特征序列F＝{f1,f2,…,f16}输入时间生成器，获得人体姿态参数序列P＝{p1,p2,…,p16}，其中第i帧图像对应的人体姿态参数pi＝(xi,Xi,θi,βi)；将人体姿态参数序列P＝{p1,p2,…,p16}输入运动判别器，得到概率值序列d＝{d1,d2,…,d16}，通过概率值判断生成的人体运动姿态序列是否合理有效；同时构建时间生成器损失函数计算损失值，保证生成正确的人体姿态序列；采用运动判断器损失函数修正运动判断器，使得运动判断器能够正确判断输入的人体姿态序列是否真实合理；选定TrainDataset提供训练样本，进行生成对抗网络模型的对抗训练；选定AMASS数据集为生成对抗网络模型的对抗训练提供真实样本，帮助运动判别器区分真实和假冒样本；最终得到训练好的生成对抗网络模型；
选取总帧数为N的单人的视频段，输入训练好的生成对抗网络模型中，获得人体姿态参数序列P＝{p1,p2,…,pN}，提取姿态参数中的关节点三维旋转角，组成人体关节点三维旋转角序列θpre＝{θ1,θ2,…,θN}，得到人体三维姿态估计，其中第i帧的人体关节点三维旋转角
S2、平滑人体运动过程中关节点的三维旋转角
采用Savizkg-Golag五点二次平滑算法对运动过程中的每个关节点三维旋转角θi进行平滑处理，平滑窗口宽度为5，即对连续5帧图像中关节点n的三维旋转角θi进行平滑处理，Savizkg-Golag五点二次平滑算法的公式如下所示：



其中，为平滑窗口中关节点n的绕x轴旋转角向量，为关节点n平滑后的绕x轴旋转角向量，i表示窗口中心的帧序号，和分别为关节点n绕y轴和z轴的旋转角向量，和为关节点n平滑后的绕y和z轴的旋转角向量；
S3、绑定人体与三维卡通模型的关节点
S3.1创建三维卡通模型及其关节点
通过网络下载或者建模软件创建一个初始三维卡通模型，并利用开源软件blender创建生成其关节点集合Bv＝{b'head,b'left_hand,b'right_elbow,…,b'neck}，Bv与人体关节点集合B保持相同的树状结构：
S3.2人体与三维卡通模型关节点绑定
引入开源的Unity3D动态链接库，创建字典项，实现人体23个关节点B＝{bhead,bleft_hand,bright_elbow,…,bneck}与三维卡通模型关节点Bv＝{b'head,b'left_hand,b'right_elbow,…,b'neck}的相同关节点的一对一绑定；
S4、更新三维卡通模型动作
将S2中计算得到的每一帧人体关节点的三维旋转角更新至三维卡通模型对应关节点的三维旋转角中，利用Unity3D的渲染效果，实现三维卡通模型的姿态同步变化。


2.根据权利要求1所述的三维人体重构动画方法，其特征在于：生成对抗网络模型由时间生成器和运动判别器组合构成；包括MPI-INF-3DHP数据集、Human3.6M数据集、3DPW数据集这三个数据集在内的TrainDataset将视频帧序列传输至HRNet模型，HRNet模型的输出端与时间生成器的接收端连接，时间生成器的输出端、AMASS数据集的输出端与运动判别器的接收端连接，AMASS数据集将真实样本Pr＝{pr1,pr2,…,pr16}传输给运动判别器。


3.根据权利要求2所述的三维人体重构动画方法，其特征在于：所述HRNet模型是特征提取用的网络模型，HRNet模型分为三个并行网络，第一行是主网络，第二、三行是子网络，其对应的特征图分辨率分别为rorg、特征图之间的融合是对应位置的元素加和，融合后特征图通道数不变；时间生成器由GRU_1、GRU_2、线性层构成，GRU_1和GRU_2为两个连续的门控循环单元,GRU门控机制能够保留之前的重要信息，选择性遗忘不重要的信息，保留人体姿态变化的历史有效信息，每个GRU的隐含单元个数均为1024；运动判别器包含GRU_3、GRU_4、Self-Attention、MLP，其中GRU_3和GRU_4为两个连续的门控循环单元；Self-Attention用来确定对结果贡献最大的帧；MLP为多层感知机，用于训练注意力权重；MLP包含一个输入层、一个隐含层、一个输出层，MLP输入层的神经元个数为1024，MLP隐含层的激活函数为tan...

【专利技术属性】
技术研发人员：纪刚，周亚敏，周萌萌，商胜楠，周粉粉，
申请(专利权)人：青岛联合创智科技有限公司，
类型：发明
国别省市：山东;37