【技术实现步骤摘要】
本申请涉及三维模型构建领域，具体而言，涉及一种人体三维模型的构建方法。
技术介绍
1、人体三维模型在动画影视、生物医疗、虚拟购物等领域具有广泛的应用前景。目前人体三维模型的高精度建模，主要依靠高精度的姿态捕捉设备采集人体动作，通过激光扫描技术，例如cyberware公司推出的全身扫描装置，可以在短时间内获取现实物体的原始点云数据，进一步生成网格化的数字三维模型，但这种方式仪器费用极其昂贵，难以普及。而普遍的3d扫描仪扫描的数据，难以实现高精度数据采集和建模，导致建模精度不够。还有大数据驱动的人体数据建模，但骨骼关节和轮廓形状稍有移动或变化，则容易导致误差较大，难以考虑到模型的参数条件，导致人体三维建模精度不够，并且，大量的人体三维数据，处理复杂度高，导致建模效率低下。
技术实现思路
1、本申请实施例的目的在于提供一种人体三维模型的构建方法，以较低的数据处理复杂度实现对人体三维模型的高精度建模和快速建模。
2、为了实现上述目的，本申请的实施例通过如下方式实现：
3、第一方面，本申请实施例提供一种人体三维模型的构建方法，包括：获取对人体进行扫描得到的人体三维数据和对人体进行拍摄得到的视频数据；基于所述人体三维数据确定出人体三维mesh模型；基于所述视频数据，提取人体的二维关节点数据集合，其中，每帧视频图像提取23个人体关节点，作为一组人体二维关节点数据，所述二维关节点数据集合包含t组人体二维关节点数据；利用三维铰链模型对每组人体二维关节点数据进行三维铰链划分，确
4、结合第一方面，在第一方面的第一种可能的实现方式中，基于所述视频数据，提取人体的二维关节点数据集合，包括：对所述视频数据进行抽帧，得到t帧视频图像；针对每帧视频图像：采用openpose算法对当前帧视频图像提取人体二维关节点数据，得到一组包含23个人体关节点坐标的人体二维关节点数据vt，其中：
5、
6、其中，vt表示第t帧视频图像对应的人体二维关节点数据，由23个二维关节点坐标和一个二维节点置信度con2dt构成，表示第t帧视频图像对应的第i个关节点的二维关节点参数，t∈t,i∈[1,23]；提取出每帧视频图像对应的人体二维关节点数据后，整合得到所述二维关节点数据集合。
7、结合第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，利用三维铰链模型对每组人体二维关节点数据进行三维铰链划分，确定出对应的人体三维关节点数据，整合得到三维关节点数据集合，包括：针对每组人体二维关节点数据：将当前二维关节点数据投影到三维空间，模拟人体关节在三维空间中的位置、形变、旋转和平移，得到当前二维关节点数据对应的人体三维关节点数据jointt：
8、
9、
10、其中，jointt为第t帧视频图像对应的人体三维关节点数据，由23个三维关节点参数和一个三维节点置信度con3dt构成，表示第t帧视频图像对应的第i个关节点的三维关节点参数，t∈t,i∈[1,23]；表示第t帧视频图像对应的第i个关节点的位置；表示第t帧视频图像对应的第i个关节点的形变；表示第t帧视频图像对应的第i个关节点的旋转；表示第t帧视频图像对应的第i个关节点的平移；基于确定出的t组人体三维关节点数据，整合得到所述三维关节点数据集合。
11、结合第一方面的第二种可能的实现方式，在第一方面的第三种可能的实现方式中，基于所述三维关节点数据集合中的每组人体三维关节点数据和对应的视频图像，确定出关节序列无相时空图集合，包括：针对t帧视频图像中的每帧视频图像：建立当前帧视频图像与对应的一组人体三维关节点数据之间的映射关系，得到一帧关节序列无相时空图；整合每帧关节序列无相时空图，得到所述关节序列无相时空图集合。
12、结合第一方面的第三种可能的实现方式，在第一方面的第四种可能的实现方式中，预设模型包括输入单元、t通道卷积-池化单元、t个通道全连接单元、全局全连接单元、蒙皮单元和输出单元，将所述关节序列无相时空图集合输入至预设模型，得到所述预设模型输出的人体三维模型，包括：所述输入单元，将所述关节序列无相时空图集合中的每帧关节序列无相时空图作为一个输入，输入至对应通道的卷积-池化单元；每个通道的所述卷积-池化单元，对输入的所述关节序列无相时空图进行图卷积，得到23个向量序列，并将每个向量序列输入至对应的通道全连接单元；每个通道全连接单元，对输入的向量序列进行全连接计算，得到对应通道的shape状态参数和pose状态参数；所述全局全连接单元，基于每个通道的shape状态参数和pose状态参数，计算得到人体三维模型的shape状态参数和pose状态参数；所述蒙皮单元，基于所述shape状态参数，调节所述人体三维mesh模型的外形，基于所述pose状态参数，构建所述人体三维mesh模型与23个关节点之间的映射关系和动作影响权重，实现人体三维mesh模型的蒙皮，得到所述人体三维模型；所述输出单元，输出所述人体三维模型。
13、结合第一方面的第四种可能的实现方式，在第一方面的第五种可能的实现方式中，每个通道的所述卷积-池化单元，对输入的所述关节序列无相时空图进行图卷积，得到23个向量序列，包括：定义采样函数p:b(uti)→u，则采样函数为：
14、d(uti,utj)＝utj，
15、其中，u表示关节序列无相时空图集合，u＝{uti|t＝1,...,t；i＝1,...,23}，t表示第t帧关节序列无相时空图，i表示第i个关节点，uti为第t帧关节序列无相时空图中第i个关节点对应的关节点数据；b(uti)＝{utj|d(uti,utj)≤d}，表示点uti的邻域集，utj表示邻域集b(uti)中第t帧关节序列无相时空图中第i个关节点对应的邻域节点，d(uti,utj)表示uti到utj的最短长度，设置关节点距离d＝1；划分关节点uti的邻域集b(uti)为k个带有标签的子集，定义映射lti:b(uti)→{0,...,k}，将邻域内的邻域节点映射到子集标签；定义权重函数w:b(uti)→rc，rc为节点空间，通过索引(c,k)维张量作为权重向量，则权重函数为：
16、w(uti,utj)＝w′(lti(utj))，
17、其中，w(uti,utj)为uti与utj的权重函数，lti(utj)满足：
18、...
【技术保护点】
1.一种人体三维模型的构建方法，其特征在于，包括：
2.根据权利要求1所述的人体三维模型的构建方法，其特征在于，基于所述视频数据，提取人体的二维关节点数据集合，包括：
3.根据权利要求2所述的人体三维模型的构建方法，其特征在于，利用三维铰链模型对每组人体二维关节点数据进行三维铰链划分，确定出对应的人体三维关节点数据，整合得到三维关节点数据集合，包括：
4.根据权利要求3所述的人体三维模型的构建方法，其特征在于，基于所述三维关节点数据集合中的每组人体三维关节点数据和对应的视频图像，确定出关节序列无相时空图集合，包括：
5.根据权利要求4所述的人体三维模型的构建方法，其特征在于，预设模型包括输入单元、T通道卷积-池化单元、T个通道全连接单元、全局全连接单元、蒙皮单元和输出单元，将所述关节序列无相时空图集合输入至预设模型，得到所述预设模型输出的人体三维模型，包括：
6.根据权利要求5所述的人体三维模型的构建方法，其特征在于，每个通道的所述卷积-池化单元，对输入的所述关节序列无相时空图进行图卷积，得到23个向量序列，包括：>
7.根据权利要求6所述的人体三维模型的构建方法，其特征在于，每个向量序列为256维，每个通道全连接单元包含一个通道Shape全连接层和一个通道Pose全连接层，对输入的向量序列进行全连接计算，得到对应通道的Shape状态参数和Pose状态参数，包括：
8.根据权利要求7所述的人体三维模型的构建方法，其特征在于，全局全连接单元包含一个全局Shape全连接层和一个全局Pose全连接层，基于每个通道的Shape状态参数和Pose状态参数，计算得到人体三维模型的Shape状态参数和Pose状态参数，包括：
9.根据权利要求8所述的人体三维模型的构建方法，其特征在于，所述预设模型的损失函数为：
...【技术特征摘要】
1.一种人体三维模型的构建方法，其特征在于，包括：
2.根据权利要求1所述的人体三维模型的构建方法，其特征在于，基于所述视频数据，提取人体的二维关节点数据集合，包括：
3.根据权利要求2所述的人体三维模型的构建方法，其特征在于，利用三维铰链模型对每组人体二维关节点数据进行三维铰链划分，确定出对应的人体三维关节点数据，整合得到三维关节点数据集合，包括：
4.根据权利要求3所述的人体三维模型的构建方法，其特征在于，基于所述三维关节点数据集合中的每组人体三维关节点数据和对应的视频图像，确定出关节序列无相时空图集合，包括：
5.根据权利要求4所述的人体三维模型的构建方法，其特征在于，预设模型包括输入单元、t通道卷积-池化单元、t个通道全连接单元、全局全连接单元、蒙皮单元和输出单元，将所述关节序列无相时空图集合输入至预设模型，得到所述预设模型输出的人体三维模型...
【专利技术属性】
技术研发人员：潘永路，蒋亚洪，
申请(专利权)人：杭州优链时代科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。