一种依据视觉属性描述自动生成人脸图像的方法技术

本发明专利技术公开了一种依据视觉属性描述自动生成人脸图像的方法，包括如下步骤：获取视觉属性描述信息、人脸结构信息；构建基于复杂条件的变分自编码模型，实现属性描述协调一致的人脸图像自动生成；构建多种损失函数作为模型学习的准则，来约束生成的人脸图像与视觉属性描述在纹理、结构及语义上的一致性；引入上一步骤构建的多种损失度量，作为评价生成的人脸图像质量的指标，为人脸图像生成模型的性能汇报及算法对比提供统一参照；给定人脸属性描述，结合不同的人脸结构信息，生成语义一致且姿态丰富的人脸图像。本发明专利技术能够提升生成的人脸图像与给定的视觉属性描述之间的语义一致性，提高生成的人脸图像的结构清晰性。

A method of automatic generation of face image based on visual attribute description

【技术实现步骤摘要】
一种依据视觉属性描述自动生成人脸图像的方法
本专利技术涉及计算机视觉
，尤其是一种依据视觉属性描述自动生成人脸图像的方法。
技术介绍
视觉属性由于其语义可理解性，使其成为一种良好的人机交互接口。比如，我们可以用视觉属性来描述图像的视觉内容，对象的外观特征，场景里的视觉语义信息，以及视频中动作行为的具体特性。在一些特定的场合下，视觉属性的这种交互能力尤其突出，比如在监控盲区，依据目击证人的描述可以大致理解嫌疑人的相貌体征，依据顾客对商品的个性化特征描述可以理解用户期望中的商品结构和外观。依据视觉属性描述自动生成人脸图像的技术是构建具有良好人机交互接口的画像生成系统的关键技术。但是，不容忽视的是视觉属性描述与图像之间存在很大的语义和结构差距，导致从属性描述到生成生动视觉图像时会出现很大的不确定性，从而使得依据视觉属性描述自动生成人脸图像不是一件容易的事。这种不确定性主要体现在视觉属性描述的视觉语义的高度抽象性及结构描述上的模糊性，与人脸图像内容的清晰性和结构的明确性呈现鲜明的对比。综合上述分析，在依据视觉属性描述自动生成人脸图像的过程中要充分挖掘结构先验信息以及外观先验信息。同时，在图像生成领域尚缺少对生成图像质量的有效评估方式，尤其是评估生成的图像与视觉属性描述的一致性。
技术实现思路
本专利技术所要解决的技术问题在于，提供一种依据视觉属性描述自动生成人脸图像的方法，提升生成的人脸图像与给定的视觉属性描述之间的语义一致性，并提高生成的人脸图像的结构清晰性。为解决上述技术问题，本专利技术提供一种依据视觉属性描述自动生成人脸图像的方法，包括如下步骤：(1)获取视觉属性描述信息、人脸结构信息；(2)构建基于复杂条件的变分自编码模型，实现属性描述协调一致的人脸图像自动生成；(3)构建多种损失函数作为模型学习的准则，来约束生成的人脸图像与视觉属性描述在纹理、结构及语义上的一致性；(4)引入步骤(3)构建的多种损失度量，作为评价生成的人脸图像质量的指标，为人脸图像生成模型的性能汇报及算法对比提供统一参照；(5)给定人脸属性描述，结合不同的人脸结构信息，生成语义一致且姿态丰富的人脸图像。优选的，步骤(2)中，构建基于复杂条件的变分自编码模型，实现属性描述协调一致的人脸图像自动生成具体包括如下步骤：(21)引入视觉属性向量a构建条件变分自编码模型作为视觉属性指导的人脸图像生成模型，具体定义为：其中，qφ(z|x,a)解释为编码器，pθ(x|z,a)解释为解码器；(22)引入结构信息s以提升生成图像的结构明确性和清晰度：其中，pθ(x|z,a,s)解释为引入结构信息后的解码器；(23)引入与视觉属性描述协调一致的粗略图像x′作为模型输入，来提升模型捕捉残差视觉信息的能力，从而提高生成图像的质量：在模型测试阶段，首先依据x′＝p(x|z,a,s)生成粗略图像，然后根据生成最终的人脸图像。优选的，步骤(3)中，构建多种损失函数作为模型学习的准则，来约束生成的人脸图像与视觉属性描述在纹理、结构及语义上的一致性具体为：在三种特定的特征空间中计算生成图像与指定属性所对应的真实的人脸图像的重建误差，在这三种特定的特征空间中分别侧重分析纹理、结构和语义上的一致性；①纹理一致性提出在LBP特征空间中计算生成图像和目标图像x的卡方距离来衡量两者的纹理一致性，计算式子如下：其中映射表示LBP特征转换；②结构一致性提出在梯度方向直方图HOG特征空间中计算生成图像和目标图像x的L2距离来衡量两者的结构一致性，计算式子如下：其中映射表示HOG特征抽取；③语义一致性提出使用一组中间隐藏层Sl＝{li,lj,lk}的响应值作为特征表示来计算生成图像和目标图像x之间的语义一致性，定义如下：其中映射φi(·)表示第i层在预训练特征表示模型中的响应，Ci,Hi,Wi分别表示通道号和第i层隐藏层的大小。本专利技术的有益效果为：本专利技术提出一种复杂条件约束的条件变分自编码模型以更好地考虑人脸图像的结构信息以及与视觉属性对应的基本外观信息，来生成结构清晰且语义协调一致的人脸图像；同时，本专利技术提出用多种一致性度量来约束生成人脸图像的范围，提升人脸图像与视觉属性描述的一致性，包括结构一致性度量、纹理一致性度量和语义一致性度量，从而能够更好地评估依据视觉属性描述生成的图像的质量。附图说明图1为本专利技术的方法流程示意图。图2为本专利技术的人脸视觉属性描述示意图。图3为本专利技术使用68个面部关键点的坐标作为刻画人脸结构的特征表达图。图4为本专利技术预置的一批典型的人脸结构模板示意图。图5为本专利技术的模型架构示意图。图6为本专利技术的LBP和HOG的特征示意图。图7为本专利技术与不同方法在相同条件下生成人脸图像的结果比较示意图。图8为本专利技术在同一属性下生成具有不同姿态的人脸图像的结果示意图。具体实施方式如图1所示，一种依据视觉属性描述自动生成人脸图像的方法，包括如下步骤：(1)获取视觉属性描述信息、人脸结构信息；(2)构建基于复杂条件的变分自编码模型，实现属性描述协调一致的人脸图像自动生成；(3)构建多种损失函数作为模型学习的准则，来约束生成的人脸图像与视觉属性描述在纹理、结构及语义上的一致性；(4)引入步骤(3)构建的多种损失度量，作为评价生成的人脸图像质量的指标，为人脸图像生成模型的性能汇报及算法对比提供统一参照；(5)给定人脸属性描述，结合不同的人脸结构信息，生成语义一致且姿态丰富的人脸图像。1、获取视觉属性描述信息和人脸结构信息；给定视觉属性描述是本专利技术所提自动生成人脸图像模型及方法的必要条件，在此基础之上，本专利技术考虑额外引入人脸结构信息来提升自动生成人脸图像的结构清晰度。视觉属性描述是由人工定义且标注，目前可以公开获取到真实环境下的人脸数据集LFW，配置了73种人脸视觉属性描述，如图2所示，可用于模型训练。图2中，面部描述：黑发(0)，棕发(0)，金发(0)，卷发(1)，直发(0)，发际线靠后(1)，刘海(0)，鬓角(0)，额头全部可见(1)，前额清晰可见(1)，拱形眉(0)，小眼睛(1)，眼睛睁开(1)，大鼻子(1)，大嘴唇(1)，嘴巴轻微张开(1)，牙齿可见(0)，山羊胡(0)，圆下巴(1)，双下巴(1)，方脸(0)，圆脸(0)，椭圆形脸(0)，眼袋(1)，化妆(0)，高颧骨(1)，棕色眼睛(1)；高层语义特征：男性(1)，女性(0)，黄种人(0)，白种人(1)，黑种人(0)，年轻人(0)，小孩(0)，中年人(0)，老年人(0)，印第安人(0)；突出特征：秃头(1)，有魅力的男性(0)，有魅力的女性(0)。其中，1表示人脸图像呈现出该属性，0表示人脸图像不呈现该属性。在模型测试阶段，属性描述也需要本文档来自技高网...

【技术保护点】
1.一种依据视觉属性描述自动生成人脸图像的方法，其特征在于，包括如下步骤：/n(1)获取视觉属性描述信息、人脸结构信息；/n(2)构建基于复杂条件的变分自编码模型，实现属性描述协调一致的人脸图像自动生成；/n(3)构建多种损失函数作为模型学习的准则，来约束生成的人脸图像与视觉属性描述在纹理、结构及语义上的一致性；/n(4)引入步骤(3)构建的多种损失度量，作为评价生成的人脸图像质量的指标，为人脸图像生成模型的性能汇报及算法对比提供统一参照；/n(5)给定人脸属性描述，结合不同的人脸结构信息，生成语义一致且姿态丰富的人脸图像。/n

【技术特征摘要】
1.一种依据视觉属性描述自动生成人脸图像的方法，其特征在于，包括如下步骤：
(1)获取视觉属性描述信息、人脸结构信息；
(2)构建基于复杂条件的变分自编码模型，实现属性描述协调一致的人脸图像自动生成；
(3)构建多种损失函数作为模型学习的准则，来约束生成的人脸图像与视觉属性描述在纹理、结构及语义上的一致性；
(4)引入步骤(3)构建的多种损失度量，作为评价生成的人脸图像质量的指标，为人脸图像生成模型的性能汇报及算法对比提供统一参照；
(5)给定人脸属性描述，结合不同的人脸结构信息，生成语义一致且姿态丰富的人脸图像。


2.如权利要求1所述的依据视觉属性描述自动生成人脸图像的方法，其特征在于，步骤(2)中，构建基于复杂条件的变分自编码模型，实现属性描述协调一致的人脸图像自动生成具体包括如下步骤：
(21)引入视觉属性向量a构建条件变分自编码模型作为视觉属性指导的人脸图像生成模型，具体定义为：



其中，qφ(z|x,a)解释为编码器，pθ(x|z,a)解释为解码器；
(22)引入结构信息s以提升生成图像的结构明确性和清晰度：



其中，pθ(x|z,a,s)解释为引入结构信息后的解码器；
(23)引入与视觉属性描述协调一致的粗略图像x′作为模型输入，来提升模型捕捉残差...

【专利技术属性】
技术研发人员：宋凤义，王晶，杨明，蔡维玲，
申请(专利权)人：南京师范大学，
类型：发明
国别省市：江苏;32