基于人脸相似度分析的明星脸整形化妆推荐方法和装置制造方法及图纸

本发明专利技术基于明星脸匹配和相似度分析方法提供了一种明星脸整形化妆推荐方法与装置。包括：构建2D/3D人脸库，人脸图像预处理，三维人脸重建，明星脸匹配，明星脸整形推荐与视觉呈现，明星脸化妆推荐与视觉呈现。本发明专利技术为了提高人脸匹配的稳定性，采用3D形状特征进行人脸相似度匹配；为了提高用户体验感和趣味性，对用户人脸的整形和化妆过程及效果进行3D视觉呈现。本发明专利技术可应用于网络游戏、APP开发，还可以应用于整形、美容和化妆领域。

Recommendation method and device for star face shaping and make-up based on face similarity analysis

The invention provides a recommendation method and device for star face shaping and makeup based on star face matching and similarity analysis. It includes: building 2D/3D face database, face image preprocessing, 3D face reconstruction, star face matching, star face shaping recommendation and visual presentation, star face makeup recommendation and visual presentation. In order to improve the stability of face matching, the 3D shape feature is applied to match the face similarity. In order to improve user experience and interest, we present 3D vision to the user's face shaping and makeup process and effect. The invention can be applied to network games, APP development, and can also be applied to the fields of plastic, cosmetic and cosmetic.

【技术实现步骤摘要】
基于人脸相似度分析的明星脸整形化妆推荐方法和装置
本专利技术涉及图像处理、图像搜索和模式识别
，特别涉及一种基于人脸相似度分析的明星脸整形化妆推荐方法和装置。
技术介绍
近些年来，人们对相似脸搜索和明星脸匹配的关注度日益提高，一些知名应用如微软的twinsornot，Face++的相似脸搜索、百度明星脸、百度魔图、寻找明星脸、照照明星脸等的出现，标志着相似脸搜索正成为新一轮的研究热点。然而，目前的明星脸匹配游戏不稳定，即经常出现同一个人输入不同类型的人脸图像导致匹配的明星不一样。另外，目前的明星脸游戏让人感到意犹未尽。用户不想在找到和自己相像的明星后一笑而过就没有下文了，其实大部分用户都是有星粉情结的，如果能与明星脸有进一步的匹配互动，用户会更喜欢。因此，本专利技术将提供一种基于三维人脸的明星脸匹配方法来提高人明星脸匹配的稳定性。另外，为用户提供明星化人脸整形化妆的推荐，并视觉呈现其过程与步骤。通过以上方法提高了明星脸匹配的稳定性和用户体验感，且有利于整形、化妆品广告的介入，为开发商带来经济效益。
技术实现思路
为了解决以上问题，本专利技术提出一种基于人脸相似度分析的明星脸整形化妆推荐方法和装置。基于人脸相似度分析的明星脸整形化妆推荐方法，其特征在于，包括如下步骤：S1构建明星2D/3D人脸库收集明星人脸图像进行大小尺度归一化处理得到标准化的2D人脸图像，利用3D重建技术对标准化的2D明星脸进行3D重建得到对应的3D人脸图像，以此方式构建至少包括500名的明星2D/3D人脸库。所述的3D重建技术是采用3D形变模型的方法进行3D重建，其方法所下：假设新的人脸图像Iinput的3D人脸(Snew,Tnew)可通过已有的3D人脸模型的形状向量和纹理向量的线性组合表示：其中，Sn为3D人脸模型的形状向量，Tn为3D人脸模型的纹理向量，an,bn分别为形状和纹理向量的组合系数。那么，只要有了组合系数(a,b)，就能对新的人脸图像进行3D重建。对新的人脸图像进行3D形变模型匹配，求解组合系数(a,b)的方法为：其中，Imodel是3D人脸模型的2D透视投影图像，由光照模型和摄像机模型确定。纹理组合系数b的求解依此类推。进一步的，本专利技术对3D形变模型进行改进提出局部3D形变模型的人脸3D重建方法：首先，根据人脸关键点将人脸分成额头、眉毛、眼睛、鼻子、嘴巴等5大器官区域，并针对各人脸器官区域构建3D人脸局部器官模型。然后，对新的人脸进行同样的划分，并利用上述的形变模型对各2D人脸器官区域进行3D重建。最后，将各局部器官3D图像进行无缝拼接成3D人脸。S2人脸图像预处理对输入的人脸图像进行预处理，包括人脸检测、人脸关键点定位、人脸归一化、人脸图像质量评判。所述的人脸检测，其特征在于，采用传统的Adaboost方法或采用深度学习的人脸检测方法。所述的人脸关键点定位，其特征在于，采用传统的SDM(SupervisedDescentMethod)或采用深度学习的方法选取人脸68个关键点。所述的人脸归一化，其特征在于，进行人脸大小尺度和光照归一化。所述的人脸图像质量评判，其特征在于，进行人脸分辨率和姿态的合格性判断。S3人脸图像3D重建对经过步骤S2人脸预处理后的2D人脸图像利用局部3D形变模型进行3D重建，得到对应的3D人脸图像。S43D人脸匹配与相似度分析利用3D人脸形状信息进行相似人脸搜索，匹配出与输入人脸最相似的明星脸，并给出相似明星脸的相似度分析。所述的相似人脸搜索，其特征在于，利用3D重建过程中的形状组合系数进行相似度匹配：首先，将输入人脸各局部器官的3D重建形状系数an作为特征向量进行局部器官匹配，并采用两个向量角度之间的余弦作为两个局部器官之间的相似度量：其中，an,an为两个匹配局部器官的特征向量(局部器官线性组合表示权值)。然后，将各局部器官相似度进行加权求和得出最终的人脸相似度。所述的明星脸的相似度分析，其特征在于，给出整体相似度、各局部器官相似度、最相似局部器官和最不相似局部器官。S5人脸整形推荐与视觉呈现根据明星脸相似度分析情况推荐用户整形方案。如，推荐将最不相似器官进行整形，并利用3D的形式向用户展示整形过程与效果图。进一步的，用户还可以根据自己的需求和喜好，选择整形方案。如，丰额头、眉骨、双眼皮、去眼袋、隆鼻、丰印堂、开内眼角、卧蚕、太阳穴填充、丰苹果肌、丰颊凹、溶下颏线、溶咬肌、丰唇、填下巴、祛法令纹和线雕提升。进一步的，将用户脸整形过程及效果图进行3D视觉呈现。S6人脸化妆推荐与视觉呈现向用户推荐明星脸化妆方案，并将化妆过程中的每一步效果视觉呈现出来。所述的化妆过程步骤包括：打粉底、描眉、眼影、眼线、贴睫毛、刷腮红和打唇膏。一种基于人脸相似度分析的明星脸整形化妆推荐装置，其特征在于，包括：存储单元，用于存储明星2D/3D人脸图像，明星脸特征向量。其中特征向量是各局部器官的3D重建形状组合系数。图像处理单元，用于人脸检测、关键点定位、归一化、图像质量评判。三维重建单元，用于对输入的2D人脸进行3D重建。人脸匹配单元，用于进行明星脸相似度匹配，找出与用户最相似的明星脸。整形视觉呈现单元，用于3D视觉展示用户整形的过程和效果。整形效果展示包括：丰额头，眉骨，双眼皮，去眼袋，隆鼻，丰印堂，开内眼角，卧蚕，太阳穴填充，丰苹果肌，丰颊凹，溶下颏线，溶咬肌，丰唇，填下巴，祛法令纹，线雕提升。化妆视觉呈现单元，用于展示用户化妆的过程及效果。化妆过程及效果展示包括：打粉底、描眉、眼影、眼线、贴睫毛、刷腮红、打唇膏。附图说明图1一种基于人脸相似度分析的明星脸整形化妆推荐方法流程图。图2一种基于人脸相似度分析的明星脸整形化妆推荐装置结构图。具体实施方式为使本专利技术的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本专利技术进一步详细说明。示例性的，具体实施方式以手机版名人匹配游戏为例进行说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。实施例1：图1示出了一种基于人脸相似度分析的明星整形化妆推荐方法实现的流程，其详述如下：S101构建明星2D/3D人脸库收集明星人脸图像进行大小尺度归一化处理得到标准化的2D人脸图像。利用3D重建技术对标准化的2D明星脸进行3D重建得到对应的3D人脸图像。其中，所收集的明星2D人脸图像的标准为：正面和五官清晰。其中，所述的3D人脸图像通过3D形变模型的方法进行3D重建得到，其方法所下：假设新的人脸图像Iinput的3D人脸(Snew,Tnew)可通过已有的3D人脸模型的形状向量和纹理向量的线性组合表示：其中，Sn为3D人脸的形状向量，Tn为3D人脸的纹理向量，an,bn分别为形状和纹理向量的组合系数。那么，只要有了组合系数(a,b)，就能对新的人脸图像进行3D重建。对新的人脸图像进行3D形变模型匹配，求解组合系数(a,b)的方法为：其中，Imodel是3D人脸模型的2D透视投影图像，由光照模型和摄像机模型确定。纹理组合系数b的求解依此类推。所述的已有的3D人脸模型，其特征在于，通过3D扫描仪采集500个对象的人脸3D模型。进一步的，本专利技术对3D形变模型进行改进提出局部3D形变模型的人脸3D重建方法：首先，根据人脸关键点将人脸分成额头、眉毛、眼睛、本文档来自技高网...

【技术保护点】
一种基于人脸相似度分析的明星脸整形化妆推荐方法，其特征在于，包括如下步骤：构建明星2D/3D人脸库：收集明星人脸图像进行大小尺度归一化处理得到标准化的2D人脸图像，利用3D重建技术对标准化的2D明星脸进行3D重建得到对应的3D人脸图像，以此方式构建至少包括500名的明星2D/3D人脸库；人脸图像预处理：对用户输入的人脸图像进行预处理，包括人脸检测、人脸关键点定位、人脸归一化、人脸图像质量评判；人脸图像3D重建：对预处理后的用户人脸图像利用局部3D形变模型方法进行3D重建，得到对应的3D人脸图像；3D人脸匹配与相似度分析：利用3D人脸形状信息进行相似人脸搜索，匹配出与输入人脸最相似的明星脸，并给出相似明星脸的相似度分析；人脸整形推荐与视觉呈现：根据明星脸相似度分析情况推荐用户整形方案，并利用3D的形式向用户展示整形过程与效果图；或根据用户个人整形需求和喜好选择相应的整形方案，并进行整形过程和效果的3D视觉展示；人脸化妆推荐与视觉呈现：向用户推荐明星脸化妆方案，并将化妆过程中的每一步效果视觉呈现出来。

【技术特征摘要】
1.一种基于人脸相似度分析的明星脸整形化妆推荐方法，其特征在于，包括如下步骤：构建明星2D/3D人脸库：收集明星人脸图像进行大小尺度归一化处理得到标准化的2D人脸图像，利用3D重建技术对标准化的2D明星脸进行3D重建得到对应的3D人脸图像，以此方式构建至少包括500名的明星2D/3D人脸库；人脸图像预处理：对用户输入的人脸图像进行预处理，包括人脸检测、人脸关键点定位、人脸归一化、人脸图像质量评判；人脸图像3D重建：对预处理后的用户人脸图像利用局部3D形变模型方法进行3D重建，得到对应的3D人脸图像；3D人脸匹配与相似度分析：利用3D人脸形状信息进行相似人脸搜索，匹配出与输入人脸最相似的明星脸，并给出相似明星脸的相似度分析；人脸整形推荐与视觉呈现：根据明星脸相似度分析情况推荐用户整形方案，并利用3D的形式向用户展示整形过程与效果图；或根据用户个人整形需求和喜好选择相应的整形方案，并进行整形过程和效果的3D视觉展示；人脸化妆推荐与视觉呈现：向用户推荐明星脸化妆方案，并将化妆过程中的每一步效果视觉呈现出来。2.根据权利要求1所述的一种基于人脸相似度分析的明星脸整形化妆推荐方法，其特征在于，所述的3D人脸重建技术采用局部3D形变模型的方法：首先，根据人脸关键点将人脸分成额头、眉毛、眼睛、鼻子、嘴巴等5大器官区域，在后台针对各人脸器官区域构建3D人脸局部器官模型，完成人脸局部器官3D模型字典的构建；然后，对新的人脸进行同样的划分，并利用3D形变模型对各2D人脸器官区域进行3D重建:假设新的人脸局部器官图像Iinput的3D表示为(Snew,Tnew)，那么可通过已有的3D人脸局部器官模型的形状向量和纹理向量的线性组合表示：其中，Sn为已有的3D人脸局部器官模型的形状向量，Tn为已有的3D人脸局部器官模型的纹理向量，an,bn分别为形状和纹理向量的组合系数，因此只要有了组合系数(a,b)，就能对新的人脸局部器官图像进行3D重建；假设对新的人脸局部器官图像进行3D形变模型匹配，那么求解组合系数(a,b)的问题转化为：其中，Imodel是3D人脸局部器官模型的2D透视投影图像，由光照模型和摄...

【专利技术属性】
技术研发人员：廖海斌，
申请(专利权)人：廖海斌，
类型：发明
国别省市：湖北,42