【技术实现步骤摘要】
一种基于自适应八叉树头发卷积神经网络的头发重建方法
本专利技术涉及三维重建的
，尤其是指一种基于自适应八叉树头发卷积神经网络的头发重建方法。
技术介绍
获取人体表面的三维网格表示一直是人机交互，虚拟现实，三维游戏以动画、电影特效制作等领域的重要技术之一。而头发作为人体的重要组成部分，头发重建技术的重要性也不言而喻。在虚拟现实等应用中，恢复逼真的三维头发模型，将大大增强虚拟环境应用的沉浸感，提高用户的舒适度；在三维游戏和动画电影制作领域也是一样，高精度的头发重建技术将大大增强三维人物的真实感。同时头发重建在发型设计，三维打印，生成三维雕像等领域也有重要应用。基于单张图片的头发重建技术因其简单易用，技术门槛等优势在近年来获得越来越多的关注，同时在深度学习技术的助力下也取得较大突破。目前大多数头发重建网络遵循相似的重建策略：首先对发型图片提取特征，然后从特征回归目标发型的头发方向场。为了生成高质量的方向场，这些方法必须保证方向场的分辨率足够高。然而生成高分辨率的体数据，需要耗费大量的三维卷积模块，并且随着分辨率的升高...
【技术保护点】
1.一种基于自适应八叉树头发卷积神经网络的头发重建方法，其特征在于，包括以下步骤：/n1)使用公开的头发数据库构造训练集，将数据库内的三维头发丝模型转为以自适应八叉树为结构的头发方向场，同时生成对应的头发方向图、头发区域图和身体区域图；/n2)设计一种自适应八叉树头发卷积神经网络来重建头发方向场，该自适应八叉树头发卷积神经网络采用自动编码器的结构，利用由多层二维卷积组成的编码器将输入图片转化为高维特征，然后由叠加的八叉树卷积层组成的解码器从高维特征恢复出目标发型的方向场；其中，为了弥补高维特征的对细节信息的忽略，自适应八叉树头发卷积神经网络将编码器的中间层特征直连到解码器的...
【技术特征摘要】
1.一种基于自适应八叉树头发卷积神经网络的头发重建方法，其特征在于，包括以下步骤：
1)使用公开的头发数据库构造训练集，将数据库内的三维头发丝模型转为以自适应八叉树为结构的头发方向场，同时生成对应的头发方向图、头发区域图和身体区域图；
2)设计一种自适应八叉树头发卷积神经网络来重建头发方向场，该自适应八叉树头发卷积神经网络采用自动编码器的结构，利用由多层二维卷积组成的编码器将输入图片转化为高维特征，然后由叠加的八叉树卷积层组成的解码器从高维特征恢复出目标发型的方向场；其中，为了弥补高维特征的对细节信息的忽略，自适应八叉树头发卷积神经网络将编码器的中间层特征直连到解码器的对应分辨率层中，从而增强网络对低维特征的捕捉；
3)对输入图片进行预处理：将发型图片转化为能够供自适应八叉树头发卷积神经网络识别的头发信息特征图，包含步骤：分割出图片内的头发区域像素，提取头发方向图，将图片与预定的人体模板进行对齐；
4)对输出方向场的后处理，将自适应八叉树头发卷积神经网络生成的方向场转为由发丝表示的头发模型，完成头发重建。
2.根据权利要求1所述的一种基于自适应八叉树头发卷积神经网络的头发重建方法，其特征在于：在步骤1)中，所述的公开数据库是指USC-HairSalon数据库，该数据库包含343个形状各异、大小不同的头发模型，每个模型由1万根发丝组成，每根发丝由100个点组成；所述的生成方向图是将模型的发丝方向进行光栅化，具体过程是：首先将模型的头发丝方向编码成颜色，附着在头发模型三维网格的三角面片上，然后利用光栅化算法，渲染得到尺寸为512×512的RGB颜色图，即发丝方向图；所述的生成头发区域图、身体区域图是指在上述光栅化过程，获取对应头发网格的占位图、身体网格的占位图，这两张图都是尺寸为512×512的单通道二进制图，即值为0或者1；所述的将三维头发丝模型转化以自适应八叉树为结构的头发方向场，包含以下步骤:
1.1)将头发丝模型转化为分辨率为128×128×128的体素场，体素场中的每个元素存储一个三维向量，三维向量代表发型在该元素的局部方向，局部方向由经过该元素的所有发丝段的方向取平均计算得到，然后将体素场的所有向量进行归一化，转化为单位向量；
1.2)将体素场转化为以自适应八叉树为结构的方向场：将分辨率为128×128×128的体素场看成是一棵深度为7的满八叉树，该树的每个节点包含一个三维的方向向量，通过对满八叉树进行剪枝即可获得自适应八叉树，从而得到以自适应八叉树为结构的方向场；其中，从左到右遍历满八树深度为1的所有节点，判断其是否符合以下两个剪枝条件；第一个剪枝条件是该节点的所有子树都为空；第二个剪枝条件是该节点的所有子树都不为空且所有子树节点的方向向量都近似，即所有子树节点的方向向量之间的欧式距离值小于或等于阈值Thold；如果符合第一个剪枝条件，则该节点的所有子树将被删除，改节点退化为空叶子节点，并且方向向量设置为零向量；如果符合第二个剪枝条件，该节点则退化成非空叶子结点，并且方向向量设置为所有子树节点的方向向量的平均值；在深度为1的节点遍历完毕后，以同样的方式遍历判断深度为2的所有节点，如此循环，直到深度达到7。
3.根据权利要求1所述的一种基于自适应八叉树头发卷积神经网络的头发重建方法，其特征在于：在步骤2)中，设计的自适应八叉树头发卷积神经网络由三部分组成，分别是编码器、解码器和损失函数，具体情况如下：
编码器：将尺寸为(512×512,4)的输入图片转化为尺寸为(1×1,64)的隐向量，编码器由7层二维卷积层组成，每一层卷积层都会缩小特征的尺寸一倍，同时增加通道数一倍，最后在第7层后增加一层全连接层，将特征图转为隐向量；
解码器：从隐向量恢复目标发型的方向场，解码器由7层三维反卷积层组成，其中前4层是普通三维反卷积，后3层是八叉树反卷积层；普通三维反卷积层进行特征提取与运算，八叉树反卷积层预测所在层所对应的方向场，并输出方向场中所有的非空叶子节点，也就是输出该非空叶子节点的方向向量；同时，自适应八叉树头发卷积神经网络将编码器中间层的特征直连到解码器对应分辨率层，为解码器提供细粒度的特征，记编码器第2、3、4层的输出特征分别为f2、f3、f4，它们的尺寸分别为(128×128,64)、(64×64,64)、(32×32,128)，记解码器的第5、6、7层的输出特征分别为F5、F6、F7，它们的尺寸分别为(32×32×32,32)、(64×64×64,16)、(128×128×128,8)；首先将f2送入输出通道数为128的1×1卷积层转化为尺寸为(128×128,128)的特征f′2，将f3送入输出通道数为64的1×1卷积层转化为尺寸为(128×128,64)的特征f′3，将f4送入输出通道数为32的1×1卷积层转化为尺寸为(32×32,32)的特征f...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。