一种自监督单视图三维发丝模型重建方法及系统技术方案

本发明专利技术涉及一种自监督单视图三维发丝模型重建方法及系统，获取肖像图像样本的发型区域占用图、发丝纹理方向图和投影视角，构建初始的单视图3D发型重建网络，以发型区域占用图和2D占用图的对应像素的差值以及发丝纹理方向图和2D方向图的对应像素的差值构建损失函数，对初始的单视图3D发型重建网络进行训练，最后将待重建肖像图像输入训练好的单视图3D发型重建网络，获得3D数字化发型。本发明专利技术在网络训练时无需2D到3D的真实数据对做监督，而是利用单张照片作为输入，借助可微分体积场重投影，将三维数据映射回二维，以输入本身作为约束，完成自监督，利用训练好的单视图3D发型重建网络实现了一种端到端的三维发型重建，让用户快速获取发型重建结果。户快速获取发型重建结果。户快速获取发型重建结果。

【技术实现步骤摘要】
一种自监督单视图三维发丝模型重建方法及系统


[0001]本专利技术涉及计算机视觉与计算机图形学
，特别是涉及一种自监督单视图三维发丝模型重建方法及系统。

技术介绍

[0002]单视图3D头发数字化的最新进展为给用户提供可访问的高质量CG(Computer Graphics，计算机动画)角色提供了可能，从而帮助实现新形式的个性化VR和游戏体验。
[0003]在建模CG角色时，创建高质量的3D头发模型是最耗时的任务之一。尽管有各种设计工具如XGen等商业解决方案，但为英雄角色制作单个3D头发模型仍需要耗费艺术家数小时甚至数天才能达到令人满意的结果。因此，已有很多工作致力于引入了毛发数字化技术以试图减少和消除3D头发建模的费力和手动性。
[0004]在基于多视图的建模方案中，大部分要借助昂贵的硬件设备，受控的捕获设置和专业的手动清理，如使用全方位可控光源的头发捕捉系统、使用Kinect扫描得到RGB
‑
D的图像数据。而一种使用四视图的建模方法，使用的虽然也是RGB的图片，但对“前后左右”四张视图的视角有较严格的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自监督单视图三维发丝模型重建方法，其特征在于，所述方法包括：获取肖像图像样本的发型区域占用图和发丝纹理方向图；根据所述肖像图像样本，利用Ray
‑
casting光线投射投影方式，获得所述肖像图像样本的投影视角；根据图像编码器和训练好的VAE网络中的体积解码器，构建初始的单视图3D发型重建网络；将所述肖像图像样本输入初始的单视图3D发型重建网络，获得所述肖像图像样本的重建体积模型；将所述重建体积模型的占用场和方向场输入可微分体积渲染节点，按照所述肖像图像样本的投影视角进行投影，获得所述肖像图像样本的2D占用图和2D方向图；以发型区域占用图和2D占用图的对应像素的差值，以及发丝纹理方向图和2D方向图的对应像素的差值构建损失函数；以最小化损失函数为优化目标，对初始的单视图3D发型重建网络进行训练，获得训练好的单视图3D发型重建网络；获取待重建肖像图像，并将所述待重建肖像图像输入所述训练好的单视图3D发型重建网络，获得所述待重建肖像图像的3D发型体积模型；将所述待重建肖像图像的3D发型体积模型转换为3D发丝模型，并传入渲染器，获得3D数字化发型。2.根据权利要求1所述的自监督单视图三维发丝模型重建方法，其特征在于，所述获取肖像图像样本的发型区域占用图和发丝纹理方向图，具体包括：将肖像图像样本输入Gabor滤波器，获得肖像纹理方向图；所述肖像纹理方向图包括发丝的纹理方向；将所述肖像纹理方向图和所述肖像图像样本输入UNet++分割网络，获得发型区域占用图；在所述肖像纹理方向图中提取所述发型区域占用图对应的发型区域，获得发丝纹理方向图。3.根据权利要求1所述的自监督单视图三维发丝模型重建方法，其特征在于，所述根据图像编码器和训练好的VAE网络中的体积解码器，构建初始的单视图3D发型重建网络，之前还包括：从数据库中获取多个表示3D发型的发丝模型；将每个发丝模型转换为体积模型，构成体积模型训练集；利用所述体积模型训练集对VAE网络进行训练，获得训练好的VAE网络；所述训练好的VAE网络包括体积编码器和体积解码器。4.根据权利要求3所述的自监督单视图三维发丝模型重建方法，其特征在于，所述将每个发丝模型转换为体积模型，具体包括：计算发丝模型的每个体素的发丝穿过数量；将发丝穿过数量为0的体素的占用场设置为0；将发丝穿过数量不为0的体素的占用场设置为1，并将所有穿过所述体素的发丝的平均生长方向作为所述体素的方向场的值；
发丝模型中所有体素的占用场和方向场构成发丝模型对应的体积模型。5.根据权利要求3所述的自监督单视图三维发丝模型重建方法，其特征在于，利用所述体积模型训练集对VAE网络进行训练，获得训练好的VAE网络，具体包括：利用所述体积模型训练集对VAE网络进行训练，获得一次训练好的VAE网络；将所述体积模型训练集输入所述一次训练好的VAE网络中的体积编码器，获得编码后的体积模型训练集；对编码后的体积模型训练集中的编码后的体积模型进行插值，获得体积编码模型训练集；将体积编码模型训练集输入所述一次训练好的VAE网络中的体积解码器，获得扩充后的体积模型训练集；利用扩充后的体积模型训练集对所述一次训练好的VAE网络进行训练，获得二次训练好的VAE网络。6.根据权利要求1所述的自监督单视图三维发丝模型重建方法，其特征在于，将所述重建体积模型的占用场和方向场输入可微分体积渲染节点，按照所述肖像图像样本的投影视角进行投影，获得所述肖像图像样本的2D占用图和2D方向图，之前还包括：利用PyTorch的CudaExtension模块，将Cuda程序编译成Pytorch的自定义结点；手动编写所述自定义结点的正向传播函数和反向传播函数；将体积渲染节点输入所述自定义结点，获得可微分体积渲染节点。7.根据权利要求1所述的自监督单视图三维发丝模型重建方法，其特征在于，将所述重建体积模型的占用场和方向场输入可微分体积渲染节点，按照所述肖像图像样本的投影视角进行投影，获得所述肖像图像样本的2D占用图和2D方向图，具体包...

【专利技术属性】
技术研发人员：于耀，潘霄禹，周余，都思丹，
申请(专利权)人：南京大学，
类型：发明
国别省市：