The present invention in a facial reconstruction method based on auto encoder supervision, the main contents include: the semantic code vector, based on parameter model of decoder and loss layer, the process is described, given by the scene semantic code vector, the decoder generates the parameters on the synthesis of facial image should be formed by the standard back propagation the inverted image, realize unsupervised end-to-end training, including image formation model, illumination model, image formation and propagation, by three the definition of loss function, including the photometric calibration, the standard sparse dense alignment, statistical regularization and back propagation. The invention can encoding facial details, such as posture, shape, expression, color and scene lighting, and more fine, without supervision, and allow end-to-end learning; compared with the synthetic data of face training network, this network can better promote to the real data.
【技术实现步骤摘要】
一种基于无监督自动编码器的面部重建方法
本专利技术涉及面部重建领域,尤其是涉及了一种基于无监督自动编码器的面部重建方法。
技术介绍
人体最重要的生物特征之一就是人脸,脸部重建是计算机视觉领域热门的领域之一。人脸重建具有广阔的实际应用,在人脸识别系统、医学、电影广告、计算机动画、游戏、视频会议以及可视电话、人机交互等领域具有广阔的应用前景。在公共安全领域,人脸重建和识别对公安刑侦、预防犯罪等方面有着越来越大且难以忽视的作用。近年来,恐怖活动、暴力事件、暴力犯罪等严重威胁公共安全的时间频繁出现,人脸识别能够方便地对重点区域的进出人员进行控制、对各个场合进行隐蔽监控等,这些都能有效保护公共安全。然而,面部姿态、形状、表情、肤色和场景照明等都会给重建带来影响,提高重建的难度。本专利技术提出了一种基于无监督自动编码器的面部重建方法,以语义码矢量的形式给出场景描述,参数解码器生成对应面部的合成图像,通过标准反向传播反转图像形成,实现无人监督的端到端训练,包括图像形成模型、照明模型、图像形成和反向传播,由三个项定义损失函数,包括密集的光度校准、稀疏地标对齐、统计正则化和反向传播。本专利技术可以编码面部的细节,如姿态、形状、表情、肤色和场景照明等,而且更加精细,无须监督,并且允许端到端学习;与合成人脸数据训练的网络相比,此网络能更好地推广到现实数据中。
技术实现思路
针对面部姿态、形状、表情、肤色和场景照明等会产生影响的问题,本专利技术的目的在于提供一种基于无监督自动编码器的面部重建方法,以语义码矢量的形式给出场景描述,参数解码器生成对应面部的合成图像,通过标准反向传播反转图 ...
【技术保护点】
一种基于无监督自动编码器的面部重建方法,其特征在于,主要包括语义码矢量(一);基于参数模型的解码器(二);损失层(三)。
【技术特征摘要】
1.一种基于无监督自动编码器的面部重建方法,其特征在于,主要包括语义码矢量(一);基于参数模型的解码器(二);损失层(三)。2.基于权利要求书1所述的语义码矢量(一),其特征在于,语义码矢量参数化面部表情形状肤色相机旋转T∈SO(3)和平移场景照明x=(α,δ,β,T,t,γ)(1)由上式以统一的方式显示;脸部表示为具有N=24k顶点的流形三角形网格;使用本地单环邻域计算相关的顶点法线空间嵌入V由仿射面模型参数化:其中,平均脸部形状As基于200个(100个男性,100个女性)高质量面部扫描计算;线性主成分分析基础和分别编码具有最高形状和表情变化的模式;通过将主成分分析混合形状组合获得表情基础,使用变形传递将其重新定位为面部拓扑;主成分分析基础涵盖原始混合形状的99%以上的差异;除面部几何外,根据仿射参数模型对每个顶点肤色进行参数化:这里计算了平均肤色Ar,并且正交主成分分析基础捕获最高变化的模式;所有基向量已经用适当的标准偏差缩放,使得3.基于权利要求书1所述的基于参数模型的解码器(二),其特征在于,以语义码矢量x的形式给出场景描述,参数解码器生成对应面部的逼真合成图像;图像形成模型是完全分析和可微分的,通过标准反向传播反转图像形成,这使网络可以实现无人监督的端到端训练;其包括图像形成模型、照明模型、图像形成和反向传播。4.基于权利要求书3所述的图像形成模型,其特征在于,透视相机在全视角投影下,使用针孔相机模型渲染逼真的面部图像Π:将相机空间映射到屏幕空间;相机在空间中的位置和方向由刚体变换给出,基于旋转T∈SO(3)和全局平移参数化;因此,函数ΦT,t(v)=T-1(v-t)和将任意点v映射到相机空间,并进一步映射到屏幕空间。5.基于权利要求书3所述的照明模型,其特征在于,使用球形谐波(SH)代表场景照明;因此,用正常表面ni和肤色ri评估顶点vi处的辐射度如下:Hb:是SH基函数,B2=9系数(B=3波段)使用红色、绿色和蓝色通道参数化彩色照明。6.基于权利要求书3所述的图像形成和反向传播,其特征在于,使用...
【专利技术属性】
技术研发人员:夏春秋,
申请(专利权)人:深圳市唯特视科技有限公司,
类型:发明
国别省市:广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。