基于语义对齐的人脸关键点检测方法、系统、装置制造方法及图纸

本发明专利技术属于人脸识别领域，具体涉及一种基于语义对齐的人脸关键点检测方法、系统、装置，旨在为了提高人脸关键点检测的准确度，本发明专利技术方法在传统方法获取基本收敛的人脸关键点检测网络后，采用所构建的包含包括标注有关键点的人脸图像样本、各关键点位置为中心的标准高斯的响应图的训练样本，使用含有隐变量的概率模型作为极大似然估计的目标再进行人脸关键点检测网络的优化；通过最终优化的人脸关键点检测网络进行人脸关键点坐标的预测。本发明专利技术在网络训练过程中有效地克服了标注随机性带来的训练震荡问题，提高人脸关键点检测的准确度。

【技术实现步骤摘要】
基于语义对齐的人脸关键点检测方法、系统、装置
本专利技术属于人脸识别领域，具体涉及一种基于语义对齐的人脸关键点检测方法、系统、装置。
技术介绍
人脸关键点在基于人脸的计算机视觉,模式识别应用中占有很重要的地位，例如视频监控和身份识别系统等。对于大部分的人脸应用，都首先需要对人脸关键点进行精确的检测。近年主流的人脸关键点检测方法，主要分为两大类，一类是传统方法。一类是基于卷积神经网络的方法。传统方法通过手工图像特征直接回归出模型参数。其中代表性的方法是级联回归，其拟合过程可总结为如下公式：pk+1＝pk+Regk(Fea(I,pk))在第k次迭代时，通过Regk回归形状索引特征Fea来更新形状参数pk。其中的形状索引特征Fea依赖于输入图像I和当前的形状参数pk。回归器根据形状索引特征来更新模型参数，并计算出新的特征用于下一次迭代。利用该特性可以将若干弱回归器串联在一起形成一个强回归器以逐步减小误差。基于卷积神经网络的人脸关键点检测方法主要分为两大类，一类是基于坐标回归的方法，该方法将关键点定位看作一个由图像像素映射到关键点坐标的回归过程，将人脸图片输入卷积神经网络直接预测出每个关键点坐标组成的向量。另一类是基于响应图的方法，由卷积神经网络预测出每个关键点的响应图，并将响应的峰值位置作为预测出的关键点位置。以上人脸关键点检测方法在训练时，均将人工标注的关键点位置看作回归目标，让模型尽可能估计出人工标注点的位置。然而人脸关键点存在大量弱语义点，这些点通常仅要求均匀分布在指定的边缘上，如人脸轮廓，眼眶，鼻梁等区域，并没有严格的语义位置。由于这些弱语义点周边纹理信息辨识度较低，人工标注结果中不可避免地存在随机性误差，从而导致不同样本间的标注存在语义不一致的现象。因此，采用人工标定点直接训练模型会导致训练过程中产生大量无效误差，从而使网络拟合能力无法集中在真正需要的地方。目前为止，关键点的标注随机性对模型训练的影响尚未得到重视。
技术实现思路
为了解决现有技术中的上述问题，即为了提高人脸关键点检测的准确度，本专利技术的第一方面，提出了一种基于语义对齐的人脸关键点检测方法，该方法包括：步骤S10，基于人脸关键点检测网络，获取待检测人脸图像的每个关键点的响应图；步骤S20，对于获取的每个关键点的响应图，选取响应峰值的坐标作为该关键点的预测坐标；其中，所述人脸关键点检测网络基于卷积神经网络构建，并使用含有隐变量的概率模型作为极大似然估计的目标进行网络优化，用于输出人脸图像中关键点的响应图。在一些优选实施方式中，所述人脸关键点检测网络，其训练样本包括标注有关键点的人脸图像样本、各关键点位置为中心的标准高斯的响应图。在一些优选实施方式中，所述人脸关键点检测网络，其优化过程中所采用的目标函数为其中，x为输入人脸图像；为k个关键点的坐标集合；为网络预测的x中第k个关键点语义一致的真实位置；K为关键点的数量；W为网络权重；ok代表中x第k个标注关键点；σ1、σ2分别为预设的第一权重、第二权重；代表网络预测的响应图与标准高斯响应图之间的分布距离；N(ok)为以ok为中心的邻域。在一些优选实施方式中，所述人脸关键点检测网络的迭代优化过程中，第t轮迭代过程中固定网络权重W，通过下式计算真实位置其中，otk的值为上一轮迭代时优化得到的真实位置然后再基于真实位置通过下式获取优化的网络权重W，在一些优选实施方式中，所述人脸关键点检测网络的迭代优化过程的结束条件为：目标函数达到预设的收敛条件，或者迭代次数达到预设的次数。本专利技术的第二方面，提出了一种基于语义对齐的人脸关键点检测系统，该系统包括响应图获取模块、关键点预测坐标获取模块；所述响应图获取模块，配置为基于人脸关键点检测网络，获取待检测人脸图像的每个关键点的响应图；所述关键点预测坐标获取模块，配置为对于获取的每个关键点的响应图，选取响应峰值的坐标作为该关键点的预测坐标；其中，所述人脸关键点检测网络基于卷积神经网络构建，用于输出人脸图像中关键点的响应图。在一些优选实施方式中，所述人脸关键点检测网络，其训练样本包括标注有关键点的人脸图像样本、各关键点位置为中心的标准高斯的响应图。在一些优选实施方式中，所述人脸关键点检测网络，其优化过程中所采用的目标函数为其中，x为输入人脸图像；为k个关键点的坐标集合；为网络预测的x中第k个关键点语义一致的真实位置；K为关键点的数量；W为网络权重；ok代表中x第k个标注关键点；σ1、σ2分别为预设的第一权重、第二权重；代表网络预测的响应图与标准高斯响应图之间的分布距离；N(ok)为以ok为中心的邻域。本专利技术的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于语义对齐的人脸关键点检测方法。本专利技术的第五方面，提出了一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于语义对齐的人脸关键点检测方法。本专利技术的有益效果：分布在边缘的弱语义关键点的语义模糊性会导致人工标注产生随机误差。将人工标注直接作为网络训练的优化目标会使得训练中存在大量无效误差，且预测位置不断震荡。从而导致网络拟合能力无法集中在真正需要的地方。本专利技术的基于语义对齐的人脸关键点检测方法，能够计算出无误差且语义一致的关键点真实位置，有效地克服了标注随机性带来的训练震荡问题，同时使得弱语义点的拟合更加灵活。由于更合理地分配了网络拟合能力，本专利技术可以在运算量不变的前提下显著提升性能。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：图1是本专利技术一种实施例的基于语义对齐的人脸关键点检测方法中训练、检测流程示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关专利技术，而非对该专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关专利技术相关的部分。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。本专利技术的一种基于语义对齐的人脸关键点检测方法，该方法包括：步骤S10，基于人脸关键点检测网络，获取待检测人脸图像的每个关键点的响应图；步骤S20，对于获取的每个关键点的响应图，选取响应峰值的坐标作为该关键点的预测坐标；其中，所述人脸关键点检测网络基于卷积神经网络构建，并使用含有隐变量的概率模型作为极大似然估计的目标进行网络优化，用于输出人脸图像中关键点的响应图为了更清晰地对本专利技术基于语义对齐的人脸关键点检测方法进行说明，下面结合附图1从训练数据、网络优化、人脸关键点检测三个方面对本方专利技术方法进行展开详述。1、训练数据手工标定人脸关键点作为训练样本，需要预先给定标定好的人脸框，对于每个人脸框，精确标定出每个关键点在框内的二维坐标。对于训练样本中每个标注的关键点，生本文档来自技高网...

【技术保护点】
1.一种基于语义对齐的人脸关键点检测网络训练方法，其特征在于，该方法包括：步骤S10，基于人脸关键点检测网络，获取待检测人脸图像的每个关键点的响应图；步骤S20，对于获取的每个关键点的响应图，选取响应峰值的坐标作为该关键点的预测坐标；其中，所述人脸关键点检测网络基于卷积神经网络构建，并使用含有隐变量的概率模型作为极大似然估计的目标进行网络优化，用于输出人脸图像中关键点的响应图。

【技术特征摘要】
1.一种基于语义对齐的人脸关键点检测网络训练方法，其特征在于，该方法包括：步骤S10，基于人脸关键点检测网络，获取待检测人脸图像的每个关键点的响应图；步骤S20，对于获取的每个关键点的响应图，选取响应峰值的坐标作为该关键点的预测坐标；其中，所述人脸关键点检测网络基于卷积神经网络构建，并使用含有隐变量的概率模型作为极大似然估计的目标进行网络优化，用于输出人脸图像中关键点的响应图。2.根据权利要求1所述的基于语义对齐的人脸关键点检测方法，其特征在于，所述人脸关键点检测网络，其训练样本包括标注有关键点的人脸图像样本、各关键点位置为中心的标准高斯的响应图。3.根据权利要求2所述的基于语义对齐的人脸关键点检测方法，其特征在于，所述人脸关键点检测网络，其优化过程中所采用的目标函数为其中，x为输入人脸图像；为k个关键点的坐标集合；为网络预测的x中第k个关键点语义一致的真实位置；K为关键点的数量；W为网络权重；ok代表中x第k个标注关键点；σ1、σ2分别为预设的第一权重、第二权重；代表网络预测的响应图与标准高斯响应图之间的分布距离；N(ok)为以ok为中心的邻域。4.根据权利要求3所述的基于语义对齐的人脸关键点检测方法，其特征在于，所述人脸关键点检测网络的迭代优化过程中，第t轮迭代过程中固定网络权重W，通过下式计算真实位置其中，otk的值为上一轮迭代时优化得到的真实位置然后再基于真实位置通过下式获取优化的网络权重W，5.根据权利要求3所述的基于语义对齐的人脸关键点检测方法，其特征在于，所述人脸关键点检测网络的迭代优化过程的结束条件为：目标函数达...

【专利技术属性】
技术研发人员：朱翔昱，雷震，王金桥，刘智威，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京,11