本发明专利技术适用计算机技术领域,提供了一种人脸特征点定位方法、装置、设备及存储介质,该方法包括:从训练库中获取与用户输入的人脸图像相关的多个初始形状,通过级联回归算法对每个初始形状进行级联回归,获得每个初始形状对应的预测结果,根据特征点字典,计算每个预测结果中每个特征点对应的稀疏重构系数和重构残差,根据稀疏重构系数和重构残差,对每个预测结果中每个特征点的预测位置和预测遮挡状态进行修正,通过级联回归算法对修正后的每个预测结果进行级联回归,获得人脸图像每个特征点的位置和遮挡状态,从而有效地提高了对局部遮挡人脸图像上的特征点进行定位的准确度和效果。
【技术实现步骤摘要】
人脸特征点定位方法、装置、设备及存储介质
本专利技术属于计算机
,尤其涉及一种人脸特征点定位方法、装置、设备及存储介质。
技术介绍
人脸特征点包含了脸部的重要信息,这些特征点一般为人脸五官轮廓的尖端或突出处,比如眉毛、瞳孔中心、鼻尖以及嘴角等,人脸特征点的定位是研究及分析人脸图像的基础。当人脸上存在手、饰物、眼镜、发型等引起的局部遮挡时,被遮挡的特征点不仅无法提供有用信息,还会产生干扰,导致人脸特征点定位的难度增大。级联姿态回归模型在人脸特征点定位问题上具有明显的优势,针对局部遮挡的人脸特征点定位问题,Burgos-Artizzu等人基于级联姿态回归模型提出了鲁棒的级联姿态回归算法,该算法首次提出在人脸特征点定位的同时预测特征点的遮挡状态,将遮挡状态转化为用于修正回归器输出的权重,以此提高在遮挡情况下人脸特征点定位的鲁棒性。为了提高了鲁棒的级联姿态回归算法确定人脸图像中特征点位置和特征点遮挡状态的准确性,Pan等人针对鲁棒的级联姿态回归算法随机初始化的不足,提出利用LBP(LocalBinaryPattern,局部二值模式)纹理相关性得到初始形状,鲁棒的级联姿态回归算法由给定的多个初始形状开始,通过不断更新当前特征点的位置分布和遮挡状态,逐步逼近特征点的真实位置。然而,这类算法仅通过一级级联回归来预测特征点的位置与遮挡状态,没有合理方法评估通过一级级联回归得到的预测结果是否可靠,尤其地,由于回归初期未检测到一个较准确的特征点位置,仅通过回归的方式检测特征点的遮挡状态,使得特征点遮挡的检测结果很可能存在较大误差。
技术实现思路
本专利技术的目的在于提供一种人脸特征点定位方法、装置、设备及存储介质,旨在解决现有技术对局部遮挡人脸图像上特征点的位置和遮挡状态进行监测的准确率不高和效果不佳的问题。一方面,本专利技术提供了一种人脸特征点定位方法,所述方法包括下述步骤:当接收到人脸特征点定位请求时,获取用户输入的人脸图像,从预设的训练库中选取与所述人脸图像相关的多个初始形状;通过预设的级联姿态回归算法对所述初始形状进行级联回归,得到所述每个初始形状对应的预测结果;根据预先构建的特征点字典,计算所述每个预测结果中每个预设特征点对应的稀疏重构系数和重构残差;根据所述稀疏重构系数和所述重构残差,对所述每个预测结果中所述每个特征点的预测位置和预测遮挡状态进行修正;通过所述级联姿态回归算法对修正后的所述预测结果进行级联回归,得到所述人脸图像上所述每个特征点的位置和遮挡状态。另一方面,本专利技术提供了一种人脸特征点定位装置,所述装置包括:初始形状获取单元,用于当接收到人脸特征点定位请求时,获取用户输入的人脸图像,从预设的训练库中选取与所述人脸图像相关的多个初始形状;初始预测单元,用于通过预设的级联姿态回归算法对所述初始形状进行级联回归,得到所述每个初始形状对应的预测结果;参数计算单元,用于根据预先构建的特征点字典,计算所述每个预测结果中每个预设特征点对应的稀疏重构系数和重构残差;预测结果修正单元,用于根据所述稀疏重构系数和所述重构残差,对所述每个预测结果中所述每个特征点的预测位置和预测遮挡状态进行修正;以及特征点确定单元,用于通过所述级联姿态回归算法对修正后的所述预测结果进行级联回归,得到所述人脸图像上所述每个特征点的位置和遮挡状态。另一方面,本专利技术还提供了一种图像处理设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述人脸特征点定位方法所述的步骤。另一方面,本专利技术还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上述人脸特征点定位方法所述的步骤。本专利技术从训练库中获取与用户输入的人脸图像相关的多个初始形状,通过级联回归算法对每个初始形状进行级联回归,获得每个初始形状对应的预测结果,根据特征点字典,计算每个预测结果中每个特征点对应的稀疏重构系数和重构残差,根据稀疏重构系数和重构残差,对每个预测结果中每个特征点的预测位置和预测遮挡状态进行修正,通过级联回归算法对修正后的每个预测结果进行级联回归,获得人脸图像每个特征点的位置和遮挡状态,从而有效地提高了对局部遮挡人脸图像上特征点的位置和遮挡状态进行检测的准确度和效果,进而提高了人脸特征点定位的准确度和效果。附图说明图1是本专利技术实施例一提供的人脸特征点定位方法的实现流程图;图2是本专利技术实施例二提供的人脸特征点定位装置的结构示意图;图3是本专利技术实施例二提供的人脸特征点定位装置的优选结构示意图;以及图4是本专利技术实施例三提供的图像处理设备的结构示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本专利技术进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本专利技术,并不用于限定本专利技术。以下结合具体实施例对本专利技术的具体实现进行详细描述:实施例一:图1示出了本专利技术实施例一提供的人脸特征点定位方法的实现流程,为了便于说明,仅示出了与本专利技术实施例相关的部分,详述如下:在步骤S101中,当接收到人脸特征点定位请求时,获取用户输入的人脸图像,从预设的训练库中选取与人脸图像相关的多个初始形状。本专利技术实施例适用于人脸特征点定位平台或系统。在接收到人脸特征点定位请求时,获取用户输入的、需要进行特征点定位的人脸图像,人脸图像可为局部遮挡人脸图像。训练库中存储着已标记出人脸形状的训练图像,人脸形状包括预设特征点的位置和遮挡状态,特征点可为瞳孔中心、眼角、嘴角等关键位置。可通过预设的纹理相关初始化方式,从训练库中选择与人脸图像相关的多个人脸形状,将这些相关的人脸形状设置为人脸图像的初始形状。作为示例地,人脸形状或初始形状可表示为Sp=[xp,yp,vp],p=1,2,…,P,其中,(xp,yp)为第p个特征点的位置,vp={0,1}为第p个特征点的遮挡状态,vp=0时表示第p个特征点未被遮挡,vp=1时表示第p个特征点被遮挡,P为特征点的总数目。在通过纹理相关初始化方式从训练库中获取与人脸图像相关的多个初始形状时,优选地,提取人脸图像的纹理特征,提取训练库中训练图像的纹理特征,计算人脸图像的纹理特征分别与每张训练图像的纹理特征之间的相关程度,根据这些相关程度从训练库中选取与人脸图像相关的多个初始形状,从而有效地提高人脸图像的初始形状选取效果。在通过纹理相关初始化方式从训练库中获取与人脸图像相关的多个初始形状时,进一步优选地,将人脸图像划分为多个不重叠区域,计算每个区域的LBP特征值,统计每个区域中每个LBP特征值的出现频率,根据这些频率得到每个区域的LBP直方图,由所有区域的LBP直方图组合得到人脸图像对应的LBP直方图矩阵,同样地,计算每个训练图像对应的LBP直方图矩阵,根据人脸图像的LBP直方图矩阵分别每个训练图像的LBP直方图矩阵之间的皮尔逊相关系数,从训练库中选取出人脸图像相关的初始形状,从而有效地提高了人脸图像的初始形状选取效果。在步骤S102中,通过预设的级联姿态回归算法对初始形状进行级联回归,得到每个初始形状对应的预测结果。在本专利技术实施例中,预设的级联姿态回归算法为鲁棒性的级联姿态回归算法,预测结果包括人脸图像上每个特征点的预测位本文档来自技高网...
【技术保护点】
1.一种人脸特征点定位方法,其特征在于,所述方法包括下述步骤:当接收到人脸特征点定位请求时,获取用户输入的人脸图像,从预设的训练库中选取与所述人脸图像相关的多个初始形状;通过预设的级联姿态回归算法对所述初始形状进行级联回归,得到所述每个初始形状对应的预测结果;根据预先构建的特征点字典,计算所述每个预测结果中每个预设特征点对应的稀疏重构系数和重构残差;根据所述稀疏重构系数和所述重构残差,对所述每个预测结果中所述每个特征点的预测位置和预测遮挡状态进行修正;通过所述级联姿态回归算法对修正后的所述预测结果进行级联回归,得到所述人脸图像上所述每个特征点的位置和遮挡状态。
【技术特征摘要】
1.一种人脸特征点定位方法,其特征在于,所述方法包括下述步骤:当接收到人脸特征点定位请求时,获取用户输入的人脸图像,从预设的训练库中选取与所述人脸图像相关的多个初始形状;通过预设的级联姿态回归算法对所述初始形状进行级联回归,得到所述每个初始形状对应的预测结果;根据预先构建的特征点字典,计算所述每个预测结果中每个预设特征点对应的稀疏重构系数和重构残差;根据所述稀疏重构系数和所述重构残差,对所述每个预测结果中所述每个特征点的预测位置和预测遮挡状态进行修正;通过所述级联姿态回归算法对修正后的所述预测结果进行级联回归,得到所述人脸图像上所述每个特征点的位置和遮挡状态。2.如权利要求1所述的方法,其特征在于,从预设的训练库中选取与所述人脸图像相关的多个初始形状的步骤,包括:提取所述人脸图像的纹理特征,并提取所述训练库中训练图像的纹理特征;根据所述人脸图像的纹理特征与所述训练图像的纹理特征之间的相关程度,从所述训练库选取与所述人脸图像相关的所述初始形状。3.如权利要求1所述的方法,其特征在于,计算所述每个预测结果中每个特征点对应的稀疏重构系数和重构残差的步骤,包括:在所述人脸图像上,获取所述每个预测结果中所述每个特征点的像素信息;根据所述特征点字典和所述每个预测结果中所述每个特征点的像素信息,计算所述每个预测结果中所述每个特征点对应的稀疏重构系数;根据所述特征点字典和所述每个预测结果中所述每个特征点对应的稀疏重构系数,计算所述每个预测结果中所述每个特征点对应的重构残差。4.如权利要求1所述的方法,其特征在于,对所述每个预测结果中所述每个特征点的预测位置和预测遮挡状态进行修正的步骤,包括:根据所述预测结果中所述特征点对应的重构残差和预设的残差阈值,确定所述预测结果中所述特征点的预测位置是否可靠;当所述预测结果中所述特征点的预测位置可靠时,根据所述特征点字典和所述预测结果中所述特征点对应的稀疏重构系数,对所述预测结果中所述特征点的预测遮挡状态进行修正。5.如权利要求4所述的方法,其特征在于,对所述预测结果中所述特征点的预测位置和遮挡状态进行修正的步骤,还包括:当所述预测结果中所述特征点的预测位置不可靠时,根据剩余所述预测结果中所述特征点可靠的预测...
【专利技术属性】
技术研发人员:周俊伟,潘艺云,熊盛武,向剑文,杨焱超,
申请(专利权)人:武汉理工大学,
类型:发明
国别省市:湖北,42
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。