一种动物毛发三维重建方法技术

本发明专利技术提供了一种动物毛发三维重建方法，包括：输入包含完整动物毛发的单张彩色图像；使用Mask R‑CNN得到动物毛发区域的分割结果；输入前述的单张彩色图像和分割结果，使用Deep Image Matting方法得到动物毛发区域的抠图结果；输入抠图结果，使用Gabor滤波器得到动物毛发区域的二维方向场；训练变分自编码器，其中编码器能够得到隐空间编码z；输入前述得到的二维方向场，通过神经网络学习人类毛发二维方向场到隐空间变量z的映射，输出动物毛发二维方向场对应的动物毛发三维重建结果。本发明专利技术仅需要单张彩色图像就能够直接重建动物毛发的三维模型，效率高，且包含毛发的几何信息，能够产生逼真的仿真效果。

A 3D reconstruction method of animal hair

【技术实现步骤摘要】
一种动物毛发三维重建方法
本专利技术属于计算机图像处理
，涉及计算机视觉、计算机图形学、深度学习、迁移学习技术，具体涉及一种根据单张图像信息进行动物毛发三维重建的方法。
技术介绍
动物毛发重建是将动物数字化的重要步骤之一，对动物数字化有利于对其进行研究与分析，并促进多学科的交叉发展，同时在影视制作与游戏制作中，也大量需要高精度的动物三维模型。同时，动物毛发是动物组成中必不可少的一部分，对动物毛发进行三维重建，具有重要的意义。到目前为止，动物毛发三维重建的研究成果并不多，概括起来可以分为两类：1)由艺术家使用专业软件进行手工设计；2)根据几何或者物理属性构建动物毛发三维模型。上述方法在重建动物毛发时，需要对单个毛发模型进行手工设计，或者根据几何表达式构建模型，整个过程耗时较多，并且需要专业人士参与。此外，有一类方法通过渲染手段产生逼真的毛发效果，但是没有对动物毛发的几何结构进行建模，仅从视觉上实现毛发效果。渲染过程需耗费大量人力，且难以复用。
技术实现思路
为解决上述问题，本专利技术提供了一种基于单张彩色图像的动物毛发三维重建方法，能够根据单张彩色图像，重建出动物毛发的三维形态。为了达到上述目的，本专利技术提供如下技术方案：一种动物毛发三维重建方法，包括如下步骤：步骤1，输入包含完整动物毛发的单张彩色图像；步骤2，使用MaskR-CNN得到动物毛发区域的分割结果，所述分割结果为分割置信图；步骤3，输入步骤1的单张彩色图像和步骤2的分割结果，使用DeepImageMatting方法得到动物毛发区域的抠图结果；步骤4，输入步骤3的抠图结果，使用Gabor滤波器得到动物毛发区域的二维方向场；步骤5，训练变分自编码器，其中编码器能够得到隐空间编码z，解码器能够根据隐空间编码z解码得到毛发三维重建结果；步骤6，输入步骤3中得到的二维方向场，通过神经网络学习人类毛发二维方向场到步骤5中隐空间变量z的映射，输出二维方向场对应的动物毛发三维重建结果。进一步的，所述步骤3中DeepImageMatting方法包含两个阶段，第一个阶段包含编码器和解码器，编码器含14个卷积层和5个池化层，输入经过编码器得到尺寸为512*1*1的低分辨率特征图，解码器含6个卷积层和5个上采样层，解码后得到原图尺寸的alpha值预测；第二个阶段包含4个卷积层，使用第一阶段的输出作为该阶段的输入，得到动物毛发区域的抠图结果。进一步的，所述步骤4具体包括如下过程：对于每个像素点位置(x,y)，求得使F(x,y,θ)值最大时的θ，每个位置都有对应的θ，即二维方向；通过对整个区域求θ，得到整个区域的二维方向场；其中，F(x,y,θ)＝(Kθ*I)(x,y)表示Kθ在(x,y)处的响应，Kθ是θ的函数，具体形式为：进一步的，所述步骤5中采用虚拟头发数据集USC_HairSalon进行训练，该数据集包含若干个人的头发模型，每个头发模型包含若干根发丝，每根发丝均由三维点表示。与现有技术相比，本专利技术具有如下优点和有益效果：1.仅需要单张彩色图像作为输入就能够直接重建动物毛发的三维模型，与传统手工设计模型或构建几何模型重建毛发相比，更加简便、易操作，具有较好的应用前景。2.输出毛发的发丝包含毛发的几何信息，更好地保留毛发的几何结构，能够在动态情况下产生逼真的仿真效果，为后续动态重建等奠定坚实基础。3.采用端到端的神经网络训练，能够减少求解时间，提高效率。附图说明图1为本专利技术实施例的动物毛发三维重建方法流程图。具体实施方式以下将结合具体实施例对本专利技术提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本专利技术而不用于限制本专利技术的范围。本专利技术提供的动物毛发三维重建方法，其流程如图1所示，包括如下步骤：步骤S110，从单目彩色相机获取单帧动物图像并进行预处理。使用单目彩色相机获取动物的图像，作为下一模块的输入。对于获取的图像，需要该图像内包含完整的动物毛发，如马的鬃毛等，并且该区域占图像一定比例，该比例可以根据需要调整，例如大于50％。本步骤可以通过自动化或人工方式进行照片筛选和裁剪来达到以上要求。步骤S120，使用MaskR-CNN得到动物毛发区域的分割结果。该步骤中使用的深度学习网络是MaskR-CNN(也可根据需要采用其他深度学习网络)，该网络的主干网络选择ResNet-50，在ImageNet上进行预训练，对步骤S110获取的图像进行后续分割操作后得到分割结果。此处的分割结果不是传统的分割，即分割出毛发与非毛发区域；而是分割的置信图，对于确定的毛发区域与非毛发区域，分别记为0和1，对于不确定区域，记为0.5，输出上述该结果，即分割置信图。步骤S130，输入步骤S110的单张彩色图像和步骤S120的分割结果，使用DeepImageMatting方法得到动物毛发区域的抠图结果。该步骤中DeepImageMatting(深度图像抠图)方法以步骤S110的单张彩色图像和步骤S120的分割结果作为输入，该部分包含两个阶段。第一个阶段包含编码器和解码器，编码器含14个卷积层和5个池化层，输入经过编码器得到尺寸为512*1*1的低分辨率特征图，解码器含6个卷积层和5个上采样层，解码后得到原图尺寸的alpha值预测。第二个阶段包含4个卷积层，使用上一阶段的输出作为该阶段的输入，得到动物毛发区域的抠图结果。步骤S140，输入步骤S130的抠图结果，使用Gabor滤波器得到动物毛发区域的二维方向场。对于每个像素点位置(x,y)，求得使F(x,y,θ)值最大时的θ，每个位置都有对应的θ，即二维方向。通过对整个区域求θ，得到整个区域的二维方向场。其中，F(x,y,θ)＝(Kθ*I)(x,y)表示Kθ在(x,y)处的响应，Kθ是θ的函数，具体形式为：其中，σx＝1.8，σy＝2.4，λ＝4，此处的σx、σy、λ均可自行设置，通常为经验值。步骤S150，训练变分自编码器，编码器用于得到隐空间编码z，而编码器中的解码器能够根据隐空间编码z解码得到毛发三维重建结果。该步骤使用虚拟头发数据集进行训练，虚拟头发数据集为USC_HairSalon，该数据集包含334个人的头发模型，每个头发模型包含10,000根发丝，每根发丝均由三维点表示。该步骤基于一个假设：动物毛发与人类头发仅在长度、曲直程度上不同，基于上述假设，本方法使用迁移学习范式，在人类毛发数据集USC_HairSalon上训练自编码器进行知识迁移，该自编码器得到的隐空间编码z包含毛发的语义信息。在实际使用中，主要利用隐空间编码到最终输出结果的解码器，该解码器能够根据隐空间编码z得到三维重建结果。步骤S160，输入步骤S140中得到的二维方向场，通过神经网络学习方向场到步骤5中隐空间变量z的映射，输出步骤S140中二维方本文档来自技高网...

【技术保护点】
1.一种动物毛发三维重建方法，其特征在于，包括如下步骤：/n步骤1，输入包含完整动物毛发的单张彩色图像；/n步骤2，使用MaskR-CNN得到动物毛发区域的分割结果，所述分割结果为分割置信图；/n步骤3，输入步骤1的单张彩色图像和步骤2的分割结果，使用Deep Image Matting方法得到动物毛发区域的抠图结果；/n步骤4，输入步骤3的抠图结果，使用Gabor滤波器得到动物毛发区域的二维方向场；/n步骤5，训练变分自编码器，其中编码器能够得到隐空间编码z，解码器能够根据隐空间编码z解码得到毛发三维重建结果；/n步骤6，输入步骤3中得到的二维方向场，通过神经网络学习人类毛发二维方向场到步骤5中隐空间变量z的映射，输出二维方向场对应的动物毛发三维重建结果。/n

【技术特征摘要】
1.一种动物毛发三维重建方法，其特征在于，包括如下步骤：
步骤1，输入包含完整动物毛发的单张彩色图像；
步骤2，使用MaskR-CNN得到动物毛发区域的分割结果，所述分割结果为分割置信图；
步骤3，输入步骤1的单张彩色图像和步骤2的分割结果，使用DeepImageMatting方法得到动物毛发区域的抠图结果；
步骤4，输入步骤3的抠图结果，使用Gabor滤波器得到动物毛发区域的二维方向场；
步骤5，训练变分自编码器，其中编码器能够得到隐空间编码z，解码器能够根据隐空间编码z解码得到毛发三维重建结果；
步骤6，输入步骤3中得到的二维方向场，通过神经网络学习人类毛发二维方向场到步骤5中隐空间变量z的映射，输出二维方向场对应的动物毛发三维重建结果。


2.根据权利要求1所述的动物毛发三维重建方法，其特征在于：所述步骤3中DeepImageMatting方法包含两个阶段，第一个阶段包含编码器和解码器，编码器含14个卷积层和5...

【专利技术属性】
技术研发人员：王雁刚，任乔牧，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏;32