一种基于面部特征点的眨眼动作识别的系统和方法技术方案

本申请涉及用于从连续图像中自动识别面部动作存在的系统和方法。所述系统和方法可以获取包括面部对象的至少两个连续候选图像帧，至少两个候选图像帧中的每一个图像帧可以包括与面部对象的眼睛相关的至少两个特征点；对于至少两个连续候选图像帧中的每一个图像帧，所述系统和方法可以基于至少两个特征点，确定多边形的面积；所述系统和方法可以确定与面部对象的眼睛相关的距离；所述系统和方法可以基于面积和距离，确定动作参数；所述系统和方法可以响应于所述动作参数满足一个或以上预设条件，识别眨眼动作的存在。

A system and method of blink recognition based on facial feature points

【技术实现步骤摘要】
【国外来华专利技术】一种基于面部特征点的眨眼动作识别的系统和方法
本申请一般涉及用于动作识别的系统和方法，尤其涉及用于从连续图像帧中自动识别眨眼动作存在的系统和方法。
技术介绍
基于人类动作识别(例如，眨眼动作识别)的生物体检测在许多场景中(例如，系统登录、身份认证、人机交互)变得越来越重要。以“系统登录”为例，当用户打算通过人脸识别登录系统时，为了验证“用户”是具有生命体的人而不是欺骗性对象(例如，图片)，系统可能需要识别用户的动作(例如，眨眼动作)以进行这种验证。现有技术通过使用需要过多计算能力的复杂算法来实现该目标，从而导致计算系统的沉重负担。因此，期望提供用于快速且有效地自动识别用户动作存在的系统和方法，优选地对计算能力的需求较少。
技术实现思路
本申请的一个方面涉及一种用于从连续图像自动识别面部动作存在的系统。所述系统可以包括至少一个存储介质，存储介质可以包括指令组，和与至少一个存储介质通信的至少一个处理器。当执行指令时，至少一个处理器可以用于使系统执行一个或以上以下操作。所述至少一个处理器可以获取包括面部对象的至少两个连续候选图像帧。至少两个候选图像帧中的每一个图像帧可以包括一个或以上与眼睛的上眼睑相关的第一特征点、一个或以上与眼睛的下眼睑相关的第二特征点、与眼睛的左端相关的第三特征点、以及与眼睛的右端相关的第四特征点。对于至少两个连续候选图像帧中的每一个图像帧，基于一个或以上第一特征点、一个或以上第二特征点、第三特征点、以及第四特征点，至少一个处理器可以确定多边形的面积。至少一个处理器可以确定至少两个连续候选图像帧中的每一个图像帧中的第三特征点与第四特征点之间的距离。基于至少两个连续候选图像帧中的每一个图像帧中的面积和距离，至少一个处理器可以确定动作参数。响应于动作参数满足一个或以上预设条件，至少一个处理器可以识别眨眼动作的存在。本申请的另一方面涉及一种在计算设备上实现的方法，所述计算设备具有至少一个处理器、至少一个存储介质和连接到网络的通信平台。所述方法可以包括一个或以上以下操作。至少一个处理器可以获取包括面部对象的至少两个连续候选图像帧。至少两个候选图像帧中的每一个图像帧可以包括一个或以上与眼睛的上眼睑相关的第一特征点、一个或以上与眼睛的下眼睑相关的第二特征点、与眼睛的左端相关的第三特征点、以及与眼睛的右端相关的第四特征点。对于至少两个连续候选图像帧中的每一个图像帧，基于一个或以上第一特征点、一个或以上第二特征点、第三特征点、以及第四特征点，至少一个处理器可以确定多边形的面积。至少一个处理器可以确定至少两个连续候选图像帧中的每一个图像帧中的第三特征点与第四特征点之间的距离。基于至少两个连续候选图像帧中的每一个图像帧中的面积和距离，至少一个处理器可以确定动作参数。响应于动作参数满足一个或以上预设条件，至少一个处理器可以识别眨眼动作的存在。本申请的另一方面涉及一种非暂时性计算机可读介质。所述非暂时性计算机可读介质可以包括可执行指令。当由至少一个处理器执行时，可执行指令可以使至少一个处理器执行方法，所述方法可以包括一个或以上以下操作。至少一个处理器可以获取包括面部对象的至少两个连续候选图像帧。至少两个候选图像帧中的每一个图像帧可以包括一个或以上与眼睛的上眼睑相关的第一特征点、一个或以上与眼睛的下眼睑相关的第二特征点、与眼睛的左端相关的第三特征点、以及与眼睛的右端相关的第四特征点。对于至少两个连续候选图像帧中的每一个图像帧，基于一个或以上第一特征点、一个或以上第二特征点、第三特征点、以及在第四特征点，至少一个处理器可以确定多边形的面积。至少一个处理器可以确定至少两个连续候选图像帧中的每一个图像帧中的第三特征点与第四特征点之间的距离。基于至少两个连续候选图像帧中的每一个图像帧中的面积和距离，至少一个处理器可以确定动作参数。响应于所述动作参数满足一个或以上预设条件，至少一个处理器可以识别眨眼动作的存在。在一些实施例中，至少部分地基于一个或以上第一特征点、一个或以上第二特征点、第三特征点、或第四特征点，至少一个处理器可以确定参考点。基于一个或以上第一特征点、一个或以上第二特征点、第三特征点、第四特征点和参考点，至少一个处理器可以确定至少两个三角形面积。至少两个三角形面积中的每一个面积可以基于参考点与一个或以上第一特征点、一个或以上第二特征点、第三特征点、第四特征点中的两个相邻点来确定。基于至少两个三角形面积，至少一个处理器可以确定多边形的面积。在一些实施例中，参考点可以包括一个或以上第一特征点、一个或以上第二特征点、第三特征点和第四特征点中的一个，或者多边形的垂心或多边形的中心点。在一些实施例中，动作参数可以是多边形的面积与第三特征点和第四特征点之间的距离之间的比率。在一些实施例中，至少一个处理器可以从至少两个连续候选图像帧中识别至少两个连续目标图像帧。至少两个连续目标图像帧可以包括开始图像帧和结束图像帧。至少一个处理器可以识别与对应于至少两个连续目标图像帧的至少两个动作参数相关的最大动作参数。至少一个处理器可以从对应于至少两个连续目标图像帧的至少两个动作参数识别最小动作参数。基于最大动作参数和最小动作参数，至少一个处理器可以确定不对称参数。从开始图像帧到对应于最小动作参数的目标图像帧，至少一个处理器可以确定目标图像帧的第一数量。从对应于最小动作参数的目标图像帧到结束图像帧，至少一个处理器可以确定图像帧的第二数量。响应于不对称参数大于不对称阈值、第一数量大于第一数量阈值、以及第二数量大于第二数量阈值，至少一个处理器可以识别眨眼的动作。在一些实施例中，对于候选图像帧，沿着至少两个连续候选图像帧的序列，至少一个处理器可以在候选图像帧之前选择至少两个先前图像帧，并且在候选图像帧之后选择至少两个后续图像帧。基于对应于至少两个先前图像帧的至少两个第一动作参数，至少一个处理器可以确定第一平均动作参数。基于对应于至少两个后续图像帧的至少两个第二动作参数，至少一个处理器可以确定第二平均动作参数。响应于第二平均动作参数小于第一平均动作参数，以及至少两个第二动作参数中的每一个参数小于对应于候选图像帧的动作参数，至少一个处理器可以识别候选图像帧为开始图像帧。在一些实施例中，对于开始图像帧之后的候选图像帧，沿着至少两个候选图像帧的序列，至少一个处理器可以在候选图像帧之前选择至少两个先前图像帧，并且在候选图像帧之后选择至少两个后续图像帧。基于对应于至少两个先前图像帧的至少两个第三动作参数，至少一个处理器可以确定第三平均动作参数。基于对应于至少两个后续图像帧的至少两个第四动作参数，至少一个处理器可以确定第四平均动作参数。响应于第四平均动作参数大于第三平均动作参数、至少两个第三动作参数中的每一个参数小于或等于对应于候选图像帧的动作参数、对应于与候选图像帧相邻的后续图像帧的动作参数大于或等于对应于候选图像帧的动作参数、以及与第一平均动作参数和第四平均动作参数相关的比率小于比率阈值，至少一个处理器可以将候选图像帧识别为结束图像帧。在一些实施例中，不对称阈值可以在1.6-2范围内。在一些实施例中，第一本文档来自技高网...

【技术保护点】
1.一种用于从连续图像中自动识别面部动作存在的系统，包括：/n存储有指令组的至少一个存储介质；以及/n与所述至少一个存储介质通信的至少一个处理器，其中，当执行所述指令组时，所述至少一个处理器用于使所述系统：/n获取包括面部对象的至少两个连续候选图像帧，所述至少两个候选图像帧中的每一个图像帧包括一个或以上与眼睛的上眼睑相关的第一特征点、一个或以上与所述眼睛的下眼睑相关的第二特征点、与所述眼睛的左端相关的第三特征点、以及与所述眼睛的右端相关的第四特征点；/n对于所述至少两个连续候选图像帧中的每一个图像帧，基于一个或以上第一特征点、一个或以上第二特征点、所述第三特征点、以及所述第四特征点，确定多边形的面积；/n确定所述至少两个连续候选图像帧中的每一个图像帧中的所述第三特征点与所述第四特征点之间的距离；/n基于所述至少两个连续候选图像帧中的每一个图像帧中的所述面积和所述距离，确定动作参数；以及/n响应于所述动作参数满足一个或以上预设条件，识别眨眼动作存在。/n

【技术特征摘要】
【国外来华专利技术】1.一种用于从连续图像中自动识别面部动作存在的系统，包括：
存储有指令组的至少一个存储介质；以及
与所述至少一个存储介质通信的至少一个处理器，其中，当执行所述指令组时，所述至少一个处理器用于使所述系统：
获取包括面部对象的至少两个连续候选图像帧，所述至少两个候选图像帧中的每一个图像帧包括一个或以上与眼睛的上眼睑相关的第一特征点、一个或以上与所述眼睛的下眼睑相关的第二特征点、与所述眼睛的左端相关的第三特征点、以及与所述眼睛的右端相关的第四特征点；
对于所述至少两个连续候选图像帧中的每一个图像帧，基于一个或以上第一特征点、一个或以上第二特征点、所述第三特征点、以及所述第四特征点，确定多边形的面积；
确定所述至少两个连续候选图像帧中的每一个图像帧中的所述第三特征点与所述第四特征点之间的距离；
基于所述至少两个连续候选图像帧中的每一个图像帧中的所述面积和所述距离，确定动作参数；以及
响应于所述动作参数满足一个或以上预设条件，识别眨眼动作存在。


2.根据权利要求1所述的系统，其特征在于，为确定所述多边形的所述面积，所述至少一个处理器用于使所述系统进一步：
至少部分地基于所述一个或以上第一特征点、所述一个或以上第二特征点、所述第三特征点、或所述第四特征点，确定参考点；
基于所述一个或以上第一特征点、所述一个或以上第二特征点、所述第三特征点、所述第四特征点和所述参考点，确定至少两个三角形面积，其中，所述至少两个三角形面积中的每一个面积基于所述参考点与所述一个或以上第一特征点、所述一个或以上第二特征点、所述第三特征点以及所述第四特征点中的两个相邻点确定；以及
基于所述至少两个三角形面积，确定所述多边形的所述面积。


3.根据权利要求2所述的系统，其特征在于，所述参考点是：
(a)所述一个或以上第一特征点、所述一个或以上第二特征点、所述第三特征点以及所述第四特征点中的一个，或
(b)所述多边形的垂心或所述多边形的中心点。


4.根据权利要求1-3中任一项所述的系统，其特征在于，所述动作参数是所述多边形的所述面积与所述第三特征点和所述第四特征点之间的所述距离之间的比率。


5.根据权利要求1-4中任一项所述的系统，其特征在于，为响应于所述动作参数满足所述一个或以上预设条件，识别所述眨眼动作存在，所述至少一个处理器用于使所述系统进一步：
从所述至少两个连续候选图像帧中识别至少两个连续目标图像帧，所述至少两个连续目标图像帧包括开始图像帧和结束图像帧；
识别与对应于所述至少两个连续目标图像帧的至少两个动作参数相关的最大动作参数；
从对应于所述至少两个连续目标图像帧的所述至少两个动作参数中识别最小动作参数；
基于所述最大动作参数和所述最小动作参数，确定不对称参数；
从所述开始图像帧到对应于所述最小动作参数的目标图像帧，确定目标图像帧的第一数量；
从对应于所述最小动作参数的所述目标图像帧到所述结束图像帧，确定图像帧的第二数量；以及
响应于所述不对称参数大于不对称阈值、所述第一数量大于第一数量阈值、以及所述第二数量大于第二数量阈值，识别所述眨眼动作存在。


6.根据权利要求5所述的系统，其特征在于，为识别所述至少两个连续目标图像帧的所述开始图像帧，所述至少一个处理器用于使所述系统：
对于候选图像帧，沿着所述至少两个连续候选图像帧的序列，在所述候选图像帧之前选择至少两个先前图像帧，以及在所述候选图像帧之后选择至少两个后续图像帧；
基于对应于所述至少两个先前图像帧的至少两个第一动作参数，确定第一平均动作参数；
基于对应于所述至少两个后续图像帧的至少两个第二动作参数，确定第二平均动作参数；以及
响应于所述第二平均动作参数小于所述第一平均动作参数，以及所述至少两个第二动作参数中的每一个参数小于对应于所述候选图像帧的动作参数，识别所述候选图像帧为所述开始图像帧。


7.根据权利要求5所述的系统，其特征在于，为识别所述至少两个连续目标图像帧的所述结束图像帧，所述至少一个处理器用于使所述系统进一步：
对于所述开始图像帧之后的候选图像帧，沿着所述至少两个连续候选图像帧的序列，在所述候选图像帧之前选择至少两个先前图像帧，以及在所述候选图像帧之后选择至少两个后续图像帧；
基于对应于所述至少两个先前图像帧的至少两个第三动作参数，确定第三平均动作参数；
基于对应于所述至少两个后续图像帧的至少两个第四动作参数，确定第四平均动作参数；以及
响应于所述第四平均动作参数大于所述第三平均动作参数、所述至少两个第三动作参数中的每一个参数小于或等于对应于所述候选图像帧的动作参数、对应于与所述候选图像帧相邻的后续图像帧的动作参数大于或等于对应于所述候选图像帧的所述动作参数，以及所述第一平均动作参数和所述第四平均动作参数的比率小于比率阈值，识别所述候选图像帧为所述结束图像帧。


8.根据权利要求5所述的系统，其特征在于，所述不对称阈值在1.6-2范围内。


9.根据权利要求5所述的系统，其特征在于，所述第一数量阈值在4-6范围内，或所述第二数量阈值在4-6范围内。


10.根据权利要求1-9任一项所述的系统，其特征在于，所述至少一个处理器用于使所述系统进一步：
响应于所述眨眼动作存在的识别结果，向与对应于所述面部对象的用户相关的终端设备提供认证。


11.根据权利要求1-10任一项所述的系统，进一步包括摄像机，其被配置用于提供视频数据，从所述视频数据获取所述至少两个连续候选图像帧。


12.一种在计算设备上实现的方法，所述计算设备包括至少一个处理器、至少一个存储介质和连接到网络的通信平台，所述方法包括：
获取包括面部对象的至少两个连续候选图像帧，所述至少两个候选图像帧中的每一个图像帧包括一个或以上与眼睛的上眼睑相关的第一特征点、一个或以上与所述眼睛的下眼睑相关的第二特征点、与所述眼睛的左端相关的第三特征点、以及与所述眼睛的右端相关的第四特征点；
对于所述至少两个连续候选图像帧中的每一个图像帧，基于一个或以上第一特征点、一个或以上第二特征点、所述第三特征点、以及所述第四特征点，确定多边形的面积；
确定所述至少两个连续候选图像帧中的每一个图像帧中的所述第三特征点与所述第四特征点之间的距离；
基于所述至少两个连续候选图像帧中的每一个图像帧中的所述面积和所述距离，确定动作参数；以及
响应于所述动作参数满足一个或以上预设条件，识别眨眼动作存在。


13.根据权利要求12所述的方法，其特征在于，确定所述多边形的面积包括：
至少部分地基于所述一个或以上第一特征点、所述一个或以上第二特征点、所述第三特征点、或所述第四特征点，确定参考点；
基于所述一个或以上第一特征点、所述一个或以上第二特征点、所述第三特征点、所述第四特征点和所述参考点，确定至少两个三角形面积，其中，所述至少两个三角形面积中的每一个面积基于所述参考点与所述一个或以上第一特征点、所述一个或以上第二特征点、所述第三特征点以及所述第四特征点中的两个相邻点确定；以及
基于所述至少两个三角形面积，确定所述多边形的所述面积。


14.根据权利要求13所述的方法，其特征在于，所述参考点是：
(a)所述一个或以上第一特征点、所述一个或以上第二特征点、所述第三特征点以及所述第四特征点中的一个，或
(b)所述多边形的垂心或所述多边形的中心点。


15.根据权利要求12-14任一项所述的方法，其特征在于，所述动作参数是所述多边形的所述面积与所述第三特征点和所述第四特征点之间的所述距离之间的比率。


16.根据权利要求12-15任一项所述的方法，其特征在于，响应于所述动作参数满足所述一个或以上预设条件，识别所述眨眼动作存在包括：
从所述至少两个连续候选图像帧中识别至少两个连续目标图像帧，所述至少两个连续目标图像帧包括开始图像帧和结束图像帧；
识别与对应于所述至少两个连续目标图像帧的至少两个动作参数相关的最大动作参数；
从对应于所述至少两个连续目标图像帧的所述至少两个动作参数中识别最小动作参数；
基于所述最大动作参数和所述最小动作参数，确定不对称参数；
从所...

【专利技术属性】
技术研发人员：张修宝，
申请(专利权)人：北京嘀嘀无限科技发展有限公司，
类型：发明
国别省市：北京;11