【技术实现步骤摘要】
基于单张图片下三维人脸重建方法
[0001]本专利技术属于图像处理
,特别是涉及一种基于单张图片下三维人脸重建方法。
技术介绍
[0002]近年来,3D人脸重建和人脸对齐已合并为一项任务:3D密集人脸对齐。它广泛用于各种视觉商业项目,例如视频游戏、电影效果、增强现实和虚拟现实,但通常需要在专业工作室中配备多台专业摄像机。来自单目图像的3D密集人脸对齐帮助人们消除对昂贵拍摄设备的需求。
[0003]传统人脸重建工作通常分解成两个子任务:预测人脸的三维点和预测人脸的六个自由度,其中人脸的三维点是三维重建时用来构造人脸五官的细节信息的,人脸的六个自由度用来构造人脸的朝向角度和相机距离等细节信息,两个子任务需要分别进行,鲁棒性差。
[0004]自从将深度学习引入3D人脸密集对齐任务以来,卷积神经网络以其高维特征的准确提取和权重共享的优势一直占据主导地位。最近引入的Transformer及其改进版本,采用self
‑
attention机制来使得模型能够并行化训练且掌握全局信息,具有强大的全局建模能力。CNN具有平移等变性,即卷积产生一个二维映射来表明某些特征在输入中出现的位置,如果我们移动输入中的对象,它的表示也会在输出中移动同样的量。这一特性使得卷积块可以平移等变地处理图像特征,不管它们出现在图像的哪个地方。而CNN结合群论所演化出的群等变CNN,则同时具有平移等变性和旋转等变性,能够有效地提取各类转动物体的特征。例如日常工作中会接触到人脸识别等3D人脸密集对齐,通常以单摄像头进行正面 ...
【技术保护点】
【技术特征摘要】
1.基于单张图片下三维人脸重建方法,其特征在于,包括以下步骤:S1、对图像进行数据增强;S2、将图像输入主干网络,输出UV位置图;S3、学习特征,并通过损失函数进行回归运算;S4、提取UV位置图中关键点;S5、UV位置图渲染成3D人脸模型。2.根据权利要求1所述的基于单张图片下三维人脸重建方法,其特征在于,所述S1中数据增强的方法具体为:选择不同人物的不同角度的人脸图像,对这些训练图像进行随机旋转,随机调色,添加随机噪声。3.根据权利要求2所述的基于单张图片下三维人脸重建方法,其特征在于,对训练图像分别在
‑
90
°
~90
°
范围内随机旋转,在RGB通道上R、G、B值分别乘上0.6~1.4范围内的一个数值进行随机调色,添加随机噪声的方式为随机擦除两个区域。4.根据权利要求1所述的基于单张图片下三维人脸重建方法,其特征在于,S2具体步骤为:主干网络采用编码器
‑
解码器结构,网络接收大小为(3,256,256)的数据,通过设计的E2CNN残差网络结构的第0层到第3层,输出大小为(128,32,32)的特征,再通过Transformer的自注意力模块,学习图像的全局特征,并输出大小为(512,8,8)的特征,最后将特征(512,8,8)特征输入到由转置卷积层组成解码器中,输出一张(3,256,256)的UV位置图。5.根据权利要求4所述的基于单张图片下三维人脸重建方法,其特征在于,所述E2CNN残差网络的残差块使用了跳跃链接,E2CNN块放置在编码器头部,用于捕捉人脸的局部特征,TRANSFORMER块放置在编码器尾部,用于捕捉人脸的全局特征,在E2CNN残差网络前部设置4个旋转等变残差卷积层,分别对特征图进行残差卷积操作,学习人脸的特征信息。6.根据权利要求4所述的基于单张图片下三维人脸重建方法,其特征在于,所述编码器包含E2CNN0、E2CNN1、E2CNN2、E2CNN3、TRANSFORMER0、TRANSFORMER1、TRANSFORM...
【专利技术属性】
技术研发人员:段清,廖赟,刘俊晖,潘志轩,邸一得,
申请(专利权)人:云南览易网络科技有限责任公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。