一种基于面部识别与数据处理的个人形象推荐方法及系统技术方案

本发明专利技术提供了一种基于面部识别与数据处理的个人形象推荐方法，根据用户人脸和掩码通过自编码器获得其人脸特征，该特征与数据库中带妆人脸数据集中人脸图片特征构建无向有权图，使用图聚类算法来获得推荐给用户的妆容。该方法使用人脸掩码作为注意力图，通过注意力图指导自编码器更加关注于人脸的五官区域，使得自编码器输出的人脸特征更加适合妆容推荐，同时，使用图结构来构建用户人脸和数据库中的带妆人脸特征之间的关系，可以进一步提高推荐的准确度。的准确度。的准确度。

【技术实现步骤摘要】
一种基于面部识别与数据处理的个人形象推荐方法及系统


[0001]本专利技术涉及智能终端
，尤其涉及一种基于面部识别与数据处理的个人形象推荐方法及方法。

技术介绍

[0002]深度学习理论已经被广泛应用于视频图像处理领域，卷积神经网络对于图像特征的提取有着很好的效果。在目前的妆容推荐方法中，会使用到自编码器进行特征提取，进而进行匹配妆容推荐，由于一般的自编码器把图像中的所有像素都视为同等重要，所以当人脸不处于图像的中心或者图像中的人脸是侧脸时，获得的特征往往不能很好的表示人脸，特征提取以及妆容推荐也就不准确，所以在目前的妆容推荐方法中，特别是五官的特征提取，为了保证特征提取的准确性，以保证妆容推荐的准确性，往往都需要图片数据进行剪裁，这使得收集数据集十分不便。

技术实现思路

[0003]本专利技术实施例提供了一种基于面部识别与数据处理的个人形象推荐方法及方法，以解决现有技术存在的问题。
[0004]为达到上述目的，本专利技术的技术方案是这样实现的：
[0005]本专利技术提供了一种基于面部识别与数据处理的个人形象推荐方法，所述方法包括以下步骤：
[0006]S11：获取带状人脸图片，构建所述带状人脸的数据集；
[0007]S12：根据所述带妆人脸的数据集，得到所述带妆人脸的五官掩码；
[0008]S13：根据所述带妆人脸的数据集和所述带妆人脸的五官掩码，通过训练好的自编码器，得到所述带妆人脸特征；
[0009]S14：根据用户人脸的照片，得到所述用户人脸正面的五官掩码；
[0010]S15：根据所述用户人脸的照片和所述用户人脸的五官掩码，通过训练好的自编码器，得到所述用户人脸特征；
[0011]S16：根据所述带妆人脸特征和所述用户人脸特征，构建图结构；
[0012]S17：使用用户人脸特征初始化聚类列表，根据所述图结构选择与用户人脸特征模块增益度最大的一个所述带妆人脸特征，添加进聚类列表中，其中，所述聚类列表中的每个所述带妆人脸特征对应于一个推荐给用户的妆容；
[0013]S18：将所述聚类列表中的所有节点组成一个新的超节点，计算所述超节点的与其余节点之间的模块增益度，其中，所述其余节点为没有组成所述超节点的节点；
[0014]S19：在所述其余节点中，将其中与所述超节点的模块增益度最大的节点添加到所述聚类列表中；重复步骤S18和S19直到聚类列表中的节点个数达到阈值α。
[0015]S110：若所述聚类列表中的节点个数达到阈值α，把所述聚类列表中的节点存储的带妆人脸特征对应的妆容按顺序推荐给用户，若用户对该妆容不满意，则推荐所述聚类列
表中的节点存储的带妆人脸特征对应的下一个妆容，若用户选择了某个妆容，则退出推荐，若用户没有选择所述聚类列表中的任何一个妆容，则返回到步骤S18；
[0016]S111：若所述聚类列表中的节点个数没有达到阈值α，则返回到步骤S18。
[0017]在一些实施例中，所述根据所述带妆人脸特征和所述用户人脸特征，构建图结构，包括：
[0018]响应于所述带妆人脸特征和所述用户人脸特征的相似度大于阈值θ，则对应的节点用一条边连接，从而构建出所述图结构，其中，所述图结构的节点为人脸特征。
[0019]在一些实施例中，所述根据所述带妆人脸的数据集，得到所述带妆人脸的五官掩码，包括：
[0020]根据所述带妆人脸的数据集，按照人脸对齐程序的计算策略，得到所述带妆人脸的五官掩码；
[0021]所述根据用户人脸的照片，得到所述用户人脸正面的五官掩码，包括：
[0022]获取用户人脸的照片，根据所述用户人脸的照片，按照人脸对齐程序的计算策略，得到所述用户人脸的五官掩码；
[0023]根据所述用户人脸的五官掩码，判断所述用户人脸的照片是正面还是侧面；
[0024]响应于所述用户人脸的照片是侧面，则再次获取所述用户人脸的照片。
[0025]在一些实施例中，所述将所述聚类列表中的所有节点组成一个新的超节点，包括：
[0026]将所述聚类列表中所有节点与其他节点之间的边和边的权重，作为新的一个节点的边和边的权重，从而组成一个新的超节点。
[0027]在一些实施例中，所述自编码器模型包括编码部分和解码部分，所述编码部分用于提取人脸特征，所述解码部分用于根据所述编码部分提取的人脸特征恢复人脸。
[0028]在一些实施例中，所述自编码器模型由卷积神经网络构成，且是采用有监督的训练方式训练而成，所述自编码器模型的训练步骤包括：
[0029]将注意力图与第一层卷积输出的特征在通道维度上进行拼接，具体为，Feature2＝G2(concat(G1(image)，attention))，其中，Feature2为第二层卷积后输出的特征，concat表示在通道纬度上进行拼接，G1和G2分别表示第一层卷积和第二层卷积，image表示用来训练所述自编码器模型的人脸图片的像素，attention表示注意力图，损失函数为所述解码部分输出的人脸图片和原始输入的人脸图片之间的均方误差。
[0030]在一些实施例中，所述获取用户人脸的照片，包括：
[0031]采用移动端的摄像头获取用户人脸的照片。
[0032]本专利技术还提供一种基于面部识别与数据处理的个人形象推荐系统，包括：
[0033]获取构建模块，用于获取带妆人脸图片，构建所述带妆人脸的数据集；
[0034]第一确定模块，用于根据所述带妆人脸的数据集，得到所述带妆人脸的五官掩码；
[0035]第二确定模块，用于根据所述带妆人脸的数据集和所述带妆人脸的五官掩码，按照自编码器模型的计算策略，得到所述带妆人脸特征；
[0036]第三确定模块，用于根据用户人脸的照片，得到所述用户人脸正面的五官掩码；
[0037]第四确定模块，用于根据所述用户人脸的照片和所述用户人脸的五官掩码，按照自编码器模型的计算策略，得到所述用户人脸特征；
[0038]第一构建模块，用于根据所述带妆人脸特征和所述用户人脸特征，构建图结构；
[0039]第二构建模块，用于根据所述图结构中的模块增益度最大的一个所述带妆人脸特征和所述用户人脸特征构建一个聚类列表，其中，所述聚类列表中的每个所述带妆人脸特征对应于一个推荐给用户的妆容；
[0040]模块增益度计算模块，用于将所述聚类列表中的所有节点组成一个新的超节点，计算所述超节点的与其余节点之间的模块增益度，其中，所述其余节点为没有组成所述超节点的节点；
[0041]添加模块，用于在所述其余节点中，将其中与所述超节点的模块增益度最大的节点添加到所述聚类列表中；
[0042]推荐判断模块，用于若所述聚类列表中的节点个数达到阈值α，把所述聚类列表中的节点存储的带妆人脸特征对应的妆容按顺序推荐给用户，若用户对该妆容不满意，则推荐所述聚类列表中的节点存储的带妆人脸特征对应的下一个妆容，若用户选择了某个妆容，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于面部识别与数据处理的个人形象推荐方法，其特征在于，所述方法包括以下步骤：S11：获取带妆人脸图片，构建所述带妆人脸的数据集；S12：根据所述带妆人脸的数据集，得到所述带妆人脸的五官掩码；S13：根据所述带妆人脸的数据集和所述带妆人脸的五官掩码，通过训练好的自编码器，得到所述带妆人脸特征；S14：根据用户人脸的照片，得到所述用户人脸的五官掩码；S15：根据所述用户人脸的照片和所述用户人脸的五官掩码，通过训练好的自编码器，得到所述用户人脸特征；S16：根据所述带妆人脸特征和所述用户人脸特征，构建图结构；S17：使用用户人脸特征初始化聚类列表，根据所述图结构选择与用户人脸特征模块增益度最大的一个所述带妆人脸特征，添加进聚类列表中，其中，所述聚类列表中的每个所述带妆人脸特征对应于一个推荐给用户的妆容；S18：将所述聚类列表中的所有节点组成一个新的超节点，计算所述超节点的与其余节点之间的模块增益度，其中，所述其余节点为没有组成所述超节点的节点；S19：在所述其余节点中，将其中与所述超节点的模块增益度最大的节点添加到所述聚类列表中；重复步骤S18和S19直到聚类列表中的节点个数达到阈值α。S110：若所述聚类列表中的节点个数达到阈值α，把所述聚类列表中的节点存储的带妆人脸特征对应的妆容按顺序推荐给用户，若用户对该妆容不满意，则推荐所述聚类列表中的节点存储的带妆人脸特征对应的下一个妆容，若用户选择了某个妆容，则退出推荐，若用户没有选择所述聚类列表中的任何一个妆容，则返回到步骤S18；S111：若所述聚类列表中的节点个数没有达到阈值α，则返回到步骤S18。2.根据权利要求1所述的方法，其特征在于，所述根据所述带妆人脸特征和所述用户人脸特征，构建图结构，包括：响应与所述带妆人脸特征和所述用户人脸特征的相似度大于阈值θ，则对应的节点用一条边连接，从而构建出所述图结构，其中，所述图结构的节点为人脸特征。3.根据权利要求1所述的方法，其特征在于，所述根据所述带妆人脸的数据集，得到所述带妆人脸的五官掩码，包括：根据所述带妆人脸的数据集，按照人脸对齐程序的计算策略，得到所述带妆人脸的五官掩码；所述根据用户人脸的照片，得到所述用户人脸正面的五官掩码，包括：获取用户人脸的照片，根据所述用户人脸的照片，按照人脸对齐程序的计算策略，得到所述用户人脸的五官掩码；根据所述用户人脸的五官掩码，判断所述用户人脸的照片是正面还是侧面；响应于所述用户人脸的照片是侧面，则再次获取所述用户人脸的照片。4.根据权利要求1所述的方法，其特征在于，所述将所述聚类列表中的所有节点组成一个新的超节点，包括：将所述聚类列表中所有节点与其他节点之间的边和边的权重，作为新的一个节点的边和边的权重，从而组成一个新的超节点。
5.根据权利要求1所述的方法，其特征在于，所述自编码器模型包括编码部分和解码部分，所述编码部分用于提取人脸特征，所述解...

【专利技术属性】
技术研发人员：李攀，叶晶，吴宗花，王雲生，詹镏生，
申请(专利权)人：知服科技福建有限公司，
类型：发明
国别省市：