用于名人匹配游戏的人脸相似度分析方法、装置和系统制造方法及图纸

本发明专利技术利用人脸分析识别技术提出一种用于名人匹配游戏的相似度分析方法、装置与系统。首先，利用HypeFace方法对输入的原始图像进行人脸检测、关键点定位、姿态和性别分析。其次，利用机器视觉技术对检测到的人脸进行分辨率、姿态、表情和遮挡分析以评判其合格性。然后，利用人脸识别技术对检测到人脸进行名人匹配，找出与输入人脸最相似的名人。为了提高名人匹配的稳定性，采用整体脸型和局部器官匹配相结合的方法。最后，将匹配结果进行展示，包括脸型相似度、各器官相似度、最相似器官、最不相似器官和名人简介。以上方法通过人脸分析识别技术快速准确的找到最相似的名人，并进行相似度全面分析和展示，提高了用户体验感。

【技术实现步骤摘要】
用于名人匹配游戏的人脸相似度分析方法、装置和系统
本专利技术涉及图像处理、模式识别以及计算机视觉
，特别涉及一种基于人脸分析识别技术的名人配对游戏方法、装置和系统。
技术介绍
近些年来，人们对相似脸搜索和名人脸匹配的关注度日益提高，一些知名应用如微软的twinsornot，Face++的相似脸搜索、百度明星脸、百度魔图、寻找明星脸、照照明星脸等的出现，标志着相似脸搜索正成为新一轮的研究热点。然而，目前的名人匹配游戏不稳定，即经常出现同一个人输入不同类型的人脸图像导致匹配的名人不一样。另外，匹配结果分析时只给出了一个整体的相似度；而有时用户希望知道自己到底哪些部位和名人相似，哪些部位不是很相似，最相似的是哪个器官等。如果能提供人脸整体相似度和各局部器官相似度给用户，一来可满足用户的好奇心和体验感；二来有利于整形美容广告的植入。本专利技术将利用人脸识别和图像处理技术提供一种更具稳定性的名人人脸匹配、脸型相似度计算、各局部器官相似度计算的方法、装置与系统。
技术实现思路
为了解决名人匹配游戏中相似名人匹配不准确问题，本专利技术提出一种基于整体脸型和局部形状相结合的人脸相似度分析方法、装置和系统。根据本专利技术的一方面，提供了一种用于名人匹配游戏的人脸相似度分析方法，所述方法包括如下步骤：S1人脸检测与关键点定位对用户输入的人脸图像（文件上传或现场拍照）进行人脸检测，并进行关键特征点定位，最后得到无背景的归一化的人脸图像。所述的人脸检测与关键点定位，其特征在于，采用美国马里兰大学的RajeevRanjan等人提出的HypeFace（RanjanR,PatelVM,ChellappaR.HyperFace:ADeepMulti-taskLearningFrameworkforFaceDetection,LandmarkLocalization,PoseEstimation,andGenderRecognition）方法，一种可以同时进行人脸检测、关键点定位、姿态和性别识别的多任务深度学习网络。即利用HypeFace一次性完成人脸检测与关键点定位，并识别出检测人脸的性别与姿态信息。所述的人脸关键点，其特征在于，本专利技术提取人脸68个关键点，如图1所示。根据人脸关键点剪切出无背景的干净人脸图像，并进行归一化处理。其中，剪切规则为，两边以人脸耳根点为边界，上边界以眉尖点为基准再往上提升10个像素点，下边界以下巴点为基准，再往下下降5个像素点。进一步地，提取出人脸姿态和性别信息，方便后期使用。S2人脸图像质量评判对检测到的人脸进行图像质量评判。其中，图像质量评判包括图像分辨率、人脸姿态、人脸妆饰物和人脸表情的合格性评判。所述的图像分辨率评判，其特征在于，根据检测到的人脸图像占整幅图像的比例和两眼之间瞳距的长度来判断。如果人脸图像占整幅图像的比例小于1/3，且瞳距小于40，则认为人脸图像分辨率不合格。所述的人脸姿态评判，其特征在于，根据S1步得到的人脸在X、Y和Z轴上的旋转角度（姿态信息）进行姿态评判。如果在任意一个坐标轴上旋转角度大于30度，则认为人脸姿态不合格。所述的人脸妆饰物评判，其特征在于，利用图像处理与模式识别技术检测人脸有没有佩戴墨镜、围巾，或是人脸否有遮挡。如果检测到人脸佩戴有墨镜、或围巾、或面部有遮挡，则认为人脸图像不合格。所述的人脸表情评判，其特征在于，利用人脸表情识别技术检测人脸有没有夸张表情或闭着眼睛。如果检测到人脸有夸张的大笑、咧嘴、搞怪或闭着双眼，则认为人脸表情不合格。S3人脸局部器官提取根据S1步得到的人脸68个关键特征点提取人脸局部器官图像。所述的人脸局部器官包括眉毛、眼睛、鼻子、嘴巴和下巴，如图2所示。所述的眉毛器官提取，其特征在于，以人脸两眉尖点（即图1中的20和25号点）连线的中心点为中心取出给定的长方形眉毛区域，其中长方形眉毛区域的长度是人脸图像长度的5/7,长方形眉毛区域宽度是人脸图像的1/7。所述的眼睛器官提取，其特征在于，以图1中28号点为中心取出给定的长方形眼睛区域，其中，长方形眼睛区域的长度是人脸图像长度的5/7，长方形眼睛区域宽度是人脸图像的1/7。所述的鼻子器官提取，其特征在于，以图1中的31号点为中心取出给定的长方形鼻子区域，其中，长方形鼻子区域的长度是人脸图像长度的5/21，长方形鼻子区域宽度是人脸图像的2/7。所述的嘴巴器官提取，其特征在于，以人脸两嘴角点（图1中的49，55号点）连线的中心点为中心取出给定的长方形嘴巴区域，其中，长方形嘴巴区域的长度是人脸图像长度的3/7，长方形嘴巴区域宽度是人脸图像的5/21。所述的下巴器官提取，其特征在于，以人脸下巴点和下唇点（图1中的9，58号点）垂直连线的中心点为中心取出给定的长方形下巴区域，其中，长方形下巴区域的长度是人脸图像长度的3/8，长方形下巴区域宽度是人脸图像的2/7。S4人脸特征提取分别提取人脸的脸型特征和局部器官特征作为输入人脸的特征集合。所述的人脸脸型特征，其特征在于，如下表1所示包括了30个几何比例特征，其中符号H1、H2、H3、H4、V1、V2、V3、V4、V5、V6、V7的意义见图3所示。表1.人脸脸型特征特征序号特征符号表示特征描述1H2:H1鼻宽/眼部面宽2H3:H1上唇面宽/眼部面宽3H4:H1下唇面宽/眼部面宽4H2:H3鼻宽/上唇面宽5H2:H4鼻宽/下唇面宽6H4:H3下唇面宽/上唇面宽7V1:V4瞳孔到鼻孔的纵向间距/眉尖点到下巴的纵向间距8V2:V4鼻孔到下巴的纵向间距/眉尖点到下巴的纵向间距9V3:V4鼻孔到嘴角的纵向间距/眉尖点到下巴的纵向间距10V5:V4眉尖点到瞳孔的纵向间距/眉尖点到下巴的纵向间距11V6:V4瞳孔到嘴角的纵向间距/眉尖点到下巴的纵向间距12V7:V4嘴角到下巴的纵向间距/眉尖点到下巴的纵向间距13V1:V2瞳孔到鼻孔的纵向间距/鼻孔到下巴的纵向间距14V1:V3瞳孔到鼻孔的纵向间距/鼻孔到嘴角的纵向间距15V1:V5瞳孔到鼻孔的纵向间距/眉尖到瞳孔的纵向间距16V1:V6瞳孔到鼻孔的纵向间距/瞳孔到嘴角的纵向间距17V1:V7瞳孔到鼻孔的纵向间距/嘴角到下巴的纵向间距18V2:V3鼻孔到下巴的纵向间距/鼻孔到嘴角的纵向间距19V2:V5鼻孔到下巴的纵向间距/眉尖到瞳孔的纵向间距20V2:V6鼻孔到下巴的纵向间距/瞳孔到嘴角的纵向间距21V2:V7鼻孔到下巴的纵向间距/嘴角到下巴的纵向间距22V3:V5鼻孔到嘴角的纵向间距/眉尖到瞳孔的纵向间距23V3:V6鼻孔到嘴角的纵向间距/瞳孔到嘴角的纵向间距24V3:V7鼻孔到嘴角的纵向间距/嘴角到下巴的纵向间距25V4:V5眉尖点到下巴的纵向间距/眉尖到瞳孔的纵向间距26V4:V6眉尖点到下巴的纵向间距/瞳孔到嘴角的纵向间距27V4:V7眉尖点到下巴的纵向间距/嘴角到下巴的纵向间距28V5:V6眉尖到瞳孔的纵向间距/瞳孔到嘴角的纵向间距29V5:V7眉尖到瞳孔的纵向间距/嘴角到下巴的纵向间距30V6:V7瞳孔到嘴角的纵向间距/嘴角到下巴的纵向间距所述的局部器官特征，其特征在于：首先，对局部器官图像提取其Gabor特征，Gabor核定义为：其中，z表示像素；为小波项，kv＝kmax/fv，φμ＝πμ/8，σ＝1.5π控制本文档来自技高网...

【技术保护点】
一种用于名人匹配游戏的人脸相似度分析方法，其特征在于，所述方法包括如下步骤：人脸检测与关键点定位：对用户输入的人脸图像（通过文件上传或现场拍照）进行人脸检测和关键特征点定位，得到无背景干扰和大小归一化的人脸图像；人脸图像质量评判：对检测到的人脸进行图像质量评判，其中，图像质量评判包括图像分辨率、人脸姿态、人脸妆饰物和人脸表情的合格性评判；人脸局部器官提取：根据第一步得到的人脸关键特征点提取人脸局部器官图像，所述的人脸局部器官包括眉毛、眼睛、鼻子、嘴巴和下巴；人脸特征提取：分别提取人脸的脸型特征和局部器官特征作为输入人脸的特征集，其中，脸型特征为人脸几何比例特征，局部器官特征为人脸局部器官图像的Gabor特征；名人匹配：将上步提取的人脸图像特征分别与名人库中的人脸图像特征进行匹配计算出其相似度，并根据相似度大小找出最相似的名人；相似度分析：根据找到的最相似名人，分析出用户与名人各方面的相似度，包括：整体相似度、脸型相似度、各局部器官（眉毛、眼睛、鼻子、嘴巴和下巴）相似度、最相似局部器官和最不相似局部器官。

【技术特征摘要】
1.一种用于名人匹配游戏的人脸相似度分析方法，其特征在于，所述方法包括如下步骤：人脸检测与关键点定位：对用户输入的人脸图像（通过文件上传或现场拍照）进行人脸检测和关键特征点定位，得到无背景干扰和大小归一化的人脸图像；人脸图像质量评判：对检测到的人脸进行图像质量评判，其中，图像质量评判包括图像分辨率、人脸姿态、人脸妆饰物和人脸表情的合格性评判；人脸局部器官提取：根据第一步得到的人脸关键特征点提取人脸局部器官图像，所述的人脸局部器官包括眉毛、眼睛、鼻子、嘴巴和下巴；人脸特征提取：分别提取人脸的脸型特征和局部器官特征作为输入人脸的特征集，其中，脸型特征为人脸几何比例特征，局部器官特征为人脸局部器官图像的Gabor特征；名人匹配：将上步提取的人脸图像特征分别与名人库中的人脸图像特征进行匹配计算出其相似度，并根据相似度大小找出最相似的名人；相似度分析：根据找到的最相似名人，分析出用户与名人各方面的相似度，包括：整体相似度、脸型相似度、各局部器官（眉毛、眼睛、鼻子、嘴巴和下巴）相似度、最相似局部器官和最不相似局部器官。2.根据权力要求1所述的一种用于名人匹配游戏的人脸相似度分析方法，其特征在于，所述的人脸检测与关键点定位采用论文《ADeepMulti-taskLearningFrameworkforFaceDetection,LandmarkLocalization,PoseEstimation,andGenderRecognition》中的“HypeFace”方法同时进行人脸检测、关键点定位、姿态和性别识别。3.根据权力要求1所述的一种用于名人匹配游戏的人脸相似度分析方法，其特征在于，所述的归一化人脸是根据人脸关键点剪切出无背景的干净人脸图像，并进行大小归一化处理；其中，剪切规则为，两边以人脸耳根点为边界，上边界以眉尖点为基准再往上提升10个像素点，下边界以下巴点为基准，再往下下降5个像素点。4.根据权力要求1所述的一种用于名人匹配游戏的人脸相似度分析方法，其特征在于，所述的图像分辨率评判是根据检测到的人脸图像占整幅图像的比例和两眼之间瞳距的长度来判断：如果人脸图像占整幅图像的比例小于1/3且瞳距小于40，则认为人脸图像分辨率不合格，否则认为人脸图像分辨率合格；所述的人脸姿态评判是根据第一步得到的人脸姿态信息进行姿态评判：如果在X、Y、Z任意一个坐标轴上人脸旋转角度大于30度，则认为人脸姿态不合格,否则认为人脸姿态合格；所述的人脸妆饰物评判是利用图像处理与模式识别技术检测人脸有没有佩戴墨镜、围巾或是人脸否有遮挡：如果检测到人脸佩戴有墨镜、或围巾、或面部有遮挡，则认为人脸图像不合格，否则认为人脸妆饰物合格；所述的人脸表情评判是利用人脸表情识别技术检测人脸有没有夸张表情或闭着眼睛：如果检测到人脸有夸张的大笑、咧嘴、搞怪或闭着双眼，则认为人脸表情不合格，否则认为人脸表情合格。5.根据权力要求1所述的一种用于名人匹配游戏的人脸相似度分析方法，其特征在于，所述的眉毛器官提取是以人脸两眉尖点连线的中心点为中心取出给定的长方形眉毛区域，其中长方形眉毛区域的长度是人脸图像长度的5/7,长方形眉毛区域宽度是人脸图像的1/7；所述的眼睛器官提取是以两眼连线的中心点为中心取出给定的长方形眼睛区域，其中，长方形眼睛区域的长度是人脸图像长度的5/7，长方形眼睛区域宽度是人脸图像的1/7；所述的鼻子器官提取是以鼻梁线中点为中心取出给定的长方形鼻子区域，其中，长方形鼻子区域的长度是人脸图像长度的5/21，长方形鼻子区域宽度是人脸图像的2/7；所述的嘴巴器官提取是以人脸两嘴角点连线的中心点为中心取出给定的长方形嘴巴区域，...

【专利技术属性】
技术研发人员：廖海斌，
申请(专利权)人：廖海斌，
类型：发明
国别省市：湖北,42