脸部器官的状态和眨眼的检测方法、网络训练方法及装置制造方法及图纸

本申请公开了一种脸部器官的状态和眨眼的检测方法、网络训练方法及装置。其中，该脸部器官的状态检测方法包括：基于包含目标脸部的图像提取出目标的脸部器官图像和脸部器官的轮廓图；将脸部器官图像和脸部器官的轮廓图进行叠加，以得到叠加图像；对叠加图像进行检测，以确定脸部器官的张开闭合状态。本申请可以提高脸部器官状态的检测准确率。高脸部器官状态的检测准确率。高脸部器官状态的检测准确率。

【技术实现步骤摘要】
脸部器官的状态和眨眼的检测方法、网络训练方法及装置


[0001]本申请涉及图像处理
，特别是涉及一种脸部器官的状态和眨眼的检测方法、网络训练方法及装置。

技术介绍

[0002]随着图像智能处理技术的发展，对眼睛、嘴巴等脸部器官及其动作的检测得到了广泛应用。但是目前的脸部器官的状态检测方法还存在一些问题，例如检测准确率不高。

技术实现思路

[0003]本申请提供一种脸部器官的状态和眨眼的检测方法、网络训练方法及装置，可以提高检测准确率。
[0004]为解决上述问题，本申请提供一种脸部器官的状态检测方法，该方法包括：
[0005]基于包含目标脸部的图像提取出目标的脸部器官图像和脸部器官的轮廓图；
[0006]将脸部器官图像和脸部器官的轮廓图进行叠加，以得到叠加图像；
[0007]对叠加图像进行检测，以确定脸部器官的张开闭合状态。
[0008]其中，基于包含目标脸部的图像提取出目标的脸部器官图像和脸部器官的轮廓图的步骤包括：
[0009]从包含目标脸部的图像提取出目标的脸部器官图像；
[0010]利用边缘感知网络对脸部器官图像进行处理，以得到轮廓图。
[0011]其中，利用边缘感知网络对脸部器官图像进行处理的步骤之前包括：
[0012]基于包含目标脸部的图像确定目标脸部的朝向信息和计算脸部器官的纵横比；
[0013]在基于朝向信息确定目标脸部大致正对采集包含目标脸部的图像的装置的情况下，且脸部器官的纵横比小于闭合阈值，确定脸部器官处于闭合状态；
[0014]否则，则执行利用边缘感知网络对脸部器官图像进行处理的步骤。
[0015]其中，脸部器官为目标的眼睛，
[0016]基于包含目标脸部的图像确定目标脸部的朝向信息和计算脸部器官的纵横比的步骤包括：
[0017]基于包含目标脸部的图像计算目标的左眼和右眼的纵横比的差值，并计算目标的鼻尖偏离目标脸部中心的程度，将差值和程度作为朝向信息；
[0018]在基于朝向信息确定目标脸部大致正对采集包含目标脸部的图像的装置的情况下，且脸部器官的纵横比小于闭合阈值，确定脸部器官处于闭合状态的步骤包括：
[0019]若目标的鼻尖偏离目标脸部中心的程度小于偏离阈值，差值小于误差阈值，且脸部器官的纵横比小于闭合阈值，则确定脸部器官处于闭合状态。
[0020]其中，基于包含目标脸部的图像提取出目标的脸部器官图像：
[0021]提取包含目标脸部的图像中脸部的特征点；
[0022]基于脸部的特征点确定脸部器官中心点；
[0023]以脸部器官中心点为中心，脸部器官宽度为边长，从包含目标脸部的图像中截取脸部器官图像。
[0024]其中，将脸部器官图像和脸部器官的轮廓图进行叠加，以得到叠加图像的步骤包括：
[0025]将脸部器官图像和脸部器官的轮廓图在通道上进行叠加，以得到叠加图像。
[0026]其中，该方法包括：
[0027]获取脸部器官图像集；
[0028]基于脸部器官图像集训练边缘感知网络和状态检测网络；
[0029]其中，边缘感知网络用于对脸部器官图像进行处理得到脸部器官的轮廓图，状态检测网络用于对脸部器官图像和脸部器官的轮廓图叠加而成的叠加图像进行检测，以确定脸部器官的张开闭合状态。
[0030]其中，基于脸部器官图像集训练边缘感知网络和状态检测网络的步骤包括：
[0031]基于脸部器官图像集对边缘感知网络进行训练；
[0032]将脸部器官图像输入到训练后的边缘感知网络，得到脸部器官的轮廓图；
[0033]将脸部器官图像和脸部器官的轮廓图进行叠加，得到叠加图像；
[0034]基于叠加图像对状态检测网络进行训练。
[0035]其中，基于脸部器官图像集对边缘感知网络进行训练的步骤包括：
[0036]将脸部器官图像输入至边缘感知网络，得到脸部器官的轮廓图；
[0037]利用轮廓图和脸部器官图像中特征点的连接图计算第一损失；
[0038]在第一损失减小的方向，更新边缘感知网络的参数。
[0039]其中，基于叠加图像对状态检测网络进行训练的步骤：
[0040]将脸部器官图像对应的叠加图像输入至状态检测网络，以得到脸部器官图像中脸部器官的张开闭合状态的检测值；
[0041]利用脸部器官图像中脸部器官的张开闭合状态的检测值和真实值计算第二损失；
[0042]在第二损失减小的方向，更新状态检测网络的参数。
[0043]其中，基于叠加图像对状态检测网络进行训练的步骤之后包括：
[0044]基于脸部器官图像集对边缘感知网络和状态检测网络进行联合训练。
[0045]其中，基于脸部器官图像集对边缘感知网络和状态检测网络进行联合训练的步骤包括：
[0046]在联合训练过程中，计算第一损失和第二损失，计算第一损失和第二损失的加权值，在加权值减小的方向，更新边缘感知网络和状态检测网络的参数。
[0047]为解决上述问题，本申请还提供一种眨眼检测方法，该方法包括：
[0048]基于上述脸部器官的状态检测方法检测当前帧图像中目标眼部的张开闭合状态；
[0049]基于当前帧图像的目标眼部的张开闭合状态确认目标是否眨眼。
[0050]为解决上述问题，本申请还提供一种电子设备，该电子设备包括处理器；处理器用于执行指令以实现上述方法。
[0051]为解决上述问题，本申请还提供一种计算机可读存储介质，其用于存储指令/程序数据，指令/程序数据能够被执行以实现上述方法。
[0052]本申请先基于包含目标脸部的图像提取出目标的脸部器官图像和脸部器官的轮
廓图，然后对目标的脸部器官图像和脸部器官的轮廓图的叠加图像进行检测，以确定目标的脸部器官的张开闭合状态；这样可以通过脸部器官的轮廓图使得检测时注意力关注在脸部器官的轮廓上，能够在检测时更加准确地提取脸部器官边缘附近的优质特征，从而提高了脸部器官状态检测的准确度。并且相比于现有的对利用眼睛中心点生成的高斯模糊热图和眼睛图像相乘得到的图像进行检测以确定目标是否眨眼的方案，本申请不仅能更完整地保留脸部器官有效信息和全局信息，而且可以更好发挥网络对脸部器官区域特征的有效提取，从而使得本申请脸部器官状态检测方法具有较高的准确度。而且本申请方法的实现不依赖于辅助设备或传感器，降低使用成本。
附图说明
[0053]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0054]图1是本申请脸部器官的状态检测方法一实施方式的流程示意图；
[0055]图2是本申请脸部器官的状态检测方法中提取的脸部特征点的示意图；
[0056]图3是本申请脸部器官的状态检测方法中提取的脸部器官图像的示意图；
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种脸部器官的状态检测方法，其特征在于，所述方法包括：基于包含目标脸部的图像提取出所述目标的脸部器官图像和所述脸部器官的轮廓图；将所述脸部器官图像和所述脸部器官的轮廓图进行叠加，以得到叠加图像；对所述叠加图像进行检测，以确定所述脸部器官的张开闭合状态。2.根据权利要求1所述的脸部器官的状态检测方法，其特征在于，所述基于包含目标脸部的图像提取出所述目标的脸部器官图像和所述脸部器官的轮廓图的步骤包括：从包含目标脸部的图像提取出所述目标的所述脸部器官图像；利用边缘感知网络对所述脸部器官图像进行处理，以得到所述轮廓图。3.根据权利要求2所述的脸部器官的状态检测方法，其特征在于，所述利用边缘感知网络对所述脸部器官图像进行处理的步骤之前包括：基于所述包含目标脸部的图像确定所述目标脸部的朝向信息和计算所述脸部器官的纵横比；在基于所述朝向信息确定所述目标脸部大致正对采集所述包含目标脸部的图像的装置的情况下，且所述脸部器官的纵横比小于闭合阈值，确定所述脸部器官处于闭合状态；否则，则执行利用边缘感知网络对所述脸部器官图像进行处理的步骤。4.根据权利要求3所述的脸部器官的状态检测方法，所述脸部器官为目标的眼睛，其特征在于，所述基于所述包含目标脸部的图像确定所述目标脸部的朝向信息和计算所述脸部器官的纵横比的步骤包括：基于所述包含目标脸部的图像计算所述目标的左眼和右眼的纵横比的差值，并计算目标的鼻尖偏离目标脸部中心的程度，将所述差值和所述程度作为所述朝向信息；所述在基于所述朝向信息确定所述目标脸部大致正对采集所述包含目标脸部的图像的装置的情况下，且所述脸部器官的纵横比小于闭合阈值，确定所述脸部器官处于闭合状态的步骤包括：若所述目标的鼻尖偏离目标脸部中心的程度小于偏离阈值，所述差值小于误差阈值，且所述脸部器官的纵横比小于闭合阈值，则确定所述脸部器官处于闭合状态。5.根据权利要求2所述的脸部器官的状态检测方法，其特征在于，所述基于包含目标脸部的图像提取出所述目标的所述脸部器官图像：提取所述包含目标脸部的图像中脸部的特征点；基于所述脸部的特征点确定脸部器官中心点；以所述脸部器官中心点为中心，脸部器官宽度为边长，从所述包含目标脸部的图像中截取所述脸部器官图像。6.根据权利要求1所述的脸部器官的状态检测方法，其特征在于，所述将所述脸部器官图像和所述脸部器官的轮廓图进行叠加，以得到叠加图像的步骤包括：将所述脸部器官图像和所述脸部器官的轮廓图在通道上进行叠加，以得到所述叠加图像。7.一种脸部器官的状态检测网络的训练方法，其特征在于，所述方法包括：获取脸部器官图像集；基于脸部器官图像集训练边缘感知网络和状态检...

【专利技术属性】
技术研发人员：高康康，李永凯，王宁波，梁晓曦，徐佳文，郭思郁，李亚鹏，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：