一种基于网格自动编码器的人体网格解耦表示方法技术

本发明专利技术公开了一种基于网格自动编码器的人体网格解耦表示方法，包括：1)构建训练数据集和网格自动编码器，网格自动编码器由编码器和解码器组成，编码器由形状编码器、姿态编码器和旋转平移编码器组成，以人体网格作为输入，形状编码器输出形状编码表示，姿态编码器输出姿态编码表示，旋转平移编码器输出旋转矩阵和平移向量，解码器以形状编码表示和姿态编码表示的组合编码作为输入，输出为人体网格；2)训练数据集对网格自动编码器训练，将人体网格输入训练好的网格自动编码器得到其解耦表示。本发明专利技术可获得人体网格具有旋转平移不变性的、彼此独立解耦的形状与姿态表示，从而可利用已有的人体网格数据编辑合成更多不同形状和姿态的三维人体网格。和姿态的三维人体网格。和姿态的三维人体网格。

【技术实现步骤摘要】
一种基于网格自动编码器的人体网格解耦表示方法


[0001]本专利技术涉及计算机图形学和计算机动画的
，尤其是指一种基于网格自动编码器的人体网格解耦表示方法。

技术介绍

[0002]随着三维扫描和重建技术的发展，三维人体网格数据变得越来越普遍，学习人体网格的低维表示在计算机图形学和计算机动画中有着广泛的应用。传统的基于控制结构的表示方法只适用于单一人体的网格序列表示，现有的人体参数化表示模型如SMPL等在许多应用中取得了不错的效果，但使用它们并不容易，需要专业的知识和人工干预。近年来，深度学习在处理二维图像方面取得了巨大的成功，针对三维数据的深度几何学习也受到越来越多的关注，许多针对于三维网格数据的深度神经网格自动编码器被提出。现有的大多数基于网格自动编码器的方法所得的编码表示为三维网格的单一的全局编码，少数方法实现了三维网格形状和姿态解耦的编码表示，但是所得编码表示不具有旋转不变性，当进行一些任务，如对两个朝向不同的人体网格进行插值时，此类方法不能得到一个合理的人体网格。本专利技术提出一种基于网格自动编码器的人体网格解耦表示方法，能够获得本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于网格自动编码器的人体网格解耦表示方法，其特征在于，包括以下步骤：1)构建训练数据集和网格自动编码器；其中，所述网格自动编码器由编码器和解码器两部分组成，其编码器由形状编码器、姿态编码器以及旋转平移编码器三个分支组成，三个分支以人体网格作为输入，形状编码器输出形状编码表示，姿态编码器输出姿态编码表示，旋转平移编码器输出旋转矩阵和平移向量，其解码器以形状编码表示和姿态编码表示的组合编码作为输入，输出为人体网格；2)使用建立的训练数据集对构建的网格自动编码器进行训练，将人体网格输入到完成训练的网格自动编码器得到其解耦表示。2.根据权利要求1所述的一种基于网格自动编码器的人体网格解耦表示方法，其特征在于：在步骤1)中，使用公开的三维人体运动序列数据库构建训练数据集，公开的三维人体运动序列数据库是指AMASS三维人体运动序列数据库，该数据库用SMPL模型整合了其它的三维人体运动序列数据集，目前共有24个子数据集，其推荐的数据使用方案中用于训练的子数据集有9个，包含313个不同人体；构建训练数据集是指对AMASS三维人体运动序列数据库中用于训练的9个子数据集中的动作序列进行间隔采样，形成包含不同人体的不同姿态的人体网格训练数据集，具体过程为：首先从每个动作序列的10％处的动作帧开始，按照500帧的间隔进行采样，到该动作序列的90％处的动作帧结束；当一动作序列采样所得帧数小于2时，首先按照50帧的步长减少采样间隔，重新对该动作序列采样，当采样间隔减少为100帧时，如果采样所得帧数仍小于2，则按照10帧的步长减少采样间隔，当采样间隔减少为10帧时，如果采样所得帧数仍小于2，则跳过该动作序列；最终得到313个不同人体的33451个人体网格数据，每个人体网格包含6890个三维顶点。3.根据权利要求1所述的一种基于网格自动编码器的人体网格解耦表示方法，其特征在于：在步骤1)中，当输入一个人体网格X到编码器的三个分支，形状编码器输出X的形状编码表示β，姿态编码器输出X的姿态编码表示θ，旋转平移编码器输出X的旋转矩阵rot和平移向量tran，将组合编码(β,θ)输入到解码器，解码器输出一个人体网格最后用rot和tran对进行旋转平移得到X的重建人体网格网格自动编码器的编码器的各个分支和解码器的具体情况如下：形状编码器：以尺寸为(6890
×
3)的表示人体网格的向量作为输入，输出尺寸为(7
×
3)的形状编码表示，由4个连续的下采样模块组成，每个下采样模块由1个网格卷积层和1个网格池化层组成，即形状编码器共有8层网络，每层网络输出特征尺寸分别为(6890
×
16)，(1925
×
16)，(1925
×
32)，(400
×
32)，(400
×
64)，(54
×
64)，(54
×
3)，(7
×
3)；姿态编码器：以尺寸为(6890
×
3)的表示人体网格的向量作为输入，输出尺寸为(7
×
9)的姿态编码表示，由4个连续的下采样模块组成，每个下采样模块由1个网格卷积层和1个网格池化层组成，即姿态编码器共有8层网络，每层网络输出特征尺寸分别为(6890
×
16)，(1925
×
16)，(1925
×
32)，(400
×
32)，(400
×
64)，(54
×
64)，(54
×
9)，(7
×
9)；旋转平移编码器：以尺寸为(6890
×
3)的表示人体网格的向量作为输入，输出尺寸为(3
×
3)的旋转矩阵和尺寸为(1
×
3)的平移向量，旋转平移编码器由4个连续的下采样模块、1个全连接模块以及1个旋转平移映射模块依次连接而成；每个下采样模块由1个网格卷积层和1个网格池化层组成，4个下采样模块中8层网络的每层网络输出特征尺寸分别为(6890
×
8)，(1925
×
8)，(1925
×
16)...

【专利技术属性】
技术研发人员：曾繁忠，李桂清，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：