基于面部特征点的摇动动作识别系统和方法技术方案

本申请涉及动作识别的系统和方法。该系统和方法可以获取与对象的面部信息相关联的至少两个连续目标图像帧，每个所述至少两个连续目标图像帧包括与面部信息相关联的至少两个特征点；对于至少两个连续目标图像帧中的每一个，该系统和方法可以基于至少两个特征点确定第一区域和第二区域；对于至少两个连续目标图像帧中的每一个，该系统和方法可以基于第一区域和第二区域确定非对称参数；该系统和方法可以响应于非对称参数满足预设条件，识别摇动动作。

Recognition system and method of shaking motion based on facial feature points

【技术实现步骤摘要】
【国外来华专利技术】基于面部特征点的摇动动作识别系统和方法
本申请涉及用于动作识别的系统和方法，尤其涉及用于基于面部特征点的摇动动作识别的系统和方法。
技术介绍
基于动作识别(例如，摇动头动作识别)的活体检测在许多场景(例如，系统登录、身份认证和人机交互)中变得越来越重要。以“系统登录”为例，当用户打算通过人脸识别登录系统时，可能需要验证“用户”是生物体而不是假体(例如图片)。在当前的摇动头部运动识别中，三维信息主要由微软的Kinect获取，然后用于基于隐马尔可夫模型类别的机器学习。该系统涉及复杂的算法，该算法需要高计算能力，导致系统负载繁重且无法满足实时需求。因此，期望提供有效且快速的系统和方法，其需要较低的计算能力来识别用户的动作。
技术实现思路
本申请的一个方面涉及一种用于动作识别的系统。该系统可以包括包含指令组的至少一个存储介质，和与所述至少一个存储介质通信的至少一个处理器。当至少一个处理器执行所述指令组时，可以指示所述至少一个处理器使系统执行一个或以上以下操作。所述至少一个处理器可以获取与对象的面部信息相关联的至少两个连续目标图像帧。至少两个连续目标图像帧中的每一个图像帧可以包括与面部信息相关联的至少两个特征点。基于所述至少两个连续目标图像帧中的每一个图像帧中的至少两个特征点，所述至少一个处理器可以确定第一区域和第二区域。基于所述第一区域和所述第二区域，所述至少一个处理器可以确定所述至少两个连续目标图像帧中的每一个图像帧中的非对称参数。响应于非对称参数满足预设条件，至少一个处理器可以识别摇动动作。本申请的另一方面涉及一种用于在计算设备上实现的动作识别的方法，该计算设备具有至少一个处理器、至少一个存储设备和连接到网络的通信平台。所述方法可以包括一个或以上下述操作。所述至少一个处理器可以获取与对象的面部信息相关联的至少两个连续目标图像帧。至少两个连续目标图像帧中的每一个图像帧可以包括与面部信息相关联的至少两个特征点。基于所述至少两个连续目标图像帧中的每一个图像帧中的至少两个特征点，所述至少一个处理器可以确定第一区域和第二区域。基于所述第一区域和所述第二区域，所述至少一个处理器可以确定所述至少两个连续目标图像帧中的每一个图像帧中的非对称参数。响应于非对称参数满足预设条件，至少一个处理器可以识别摇动动作。本申请的另一方面涉及一种非暂时性计算机可读介质，其包括至少一组用于动作识别的指令。当至少一组指令由至少一个处理器执行时，至少一组指令可以使至少一个处理器实现方法。所述方法可以包括一个或以上下述操作。所述至少一个处理器可以获取与对象的面部信息相关联的至少两个连续目标图像帧。至少两个连续目标图像帧中的每一个图像帧可以包括与面部信息相关联的至少两个特征点。基于所述至少两个连续目标图像帧中的每一个图像帧中的至少两个特征点，所述至少一个处理器可以确定第一区域和第二区域。基于所述第一区域和所述第二区域，所述至少一个处理器可以确定所述至少两个连续目标图像帧中的每一个图像帧中的非对称参数。响应于非对称参数满足预设条件，至少一个处理器可以识别摇动动作。在一些实施例中，至少两个特征点可以包括第一特征点、第二特征点、第三特征点、第四特征点和第五特征点。在一些实施例中，第一特征点和第二特征点可以相对于与面部信息相关联的垂直中心线对称；第四特征点和第五特征点可以相对于与面部信息相关的垂直中心线对称；第三特征点可以位于与面部信息相关的垂直中心线上。在一些实施例中，第一特征点可以是左眼的中心点；第二特征点可能是右眼的中心点；第三特征点可能是鼻尖点；第四特征点可能是嘴唇的左端点；第五特征点可能是嘴唇的右端点。在一些实施例中，基于第一特征点、第三特征点和第四特征点，至少一个处理器可以确定第一区域。基于第二特征点、第三特征点和第五特征点，所述至少一个处理器可以确定第二区域。在一些实施例中，至少一个处理器可以确定第一区域与第二区域的第一比率。至少一个处理器可以确定第二区域与第一区域的第二比率。至少一个处理器可以将第一比率和第二比率中较大的一个确定为非对称参数。在一些实施例中，所述至少一个处理器可以获取与所述对象的面部信息相关联的至少两个连续候选图像帧，其中，对于每个连续候选图像帧，所述第三特征点位于基于第一特征点、第二特征点、第四特征点和第五特征点所确定的四边形内。所述至少一个处理器可以从至少两个连续候选图像帧识别至少两个连续目标图像帧的开始图像帧，其中对应于开始图像帧的非对称参数小于最小非对称比率阈值。所述至少一个处理器可以从至少两个连续候选图像帧识别至少两个连续目标图像帧的结束图像帧，其中对应于结束图像帧的非对称参数小于最小非对称比率阈值。在一些实施例中，至少一个处理器可以识别至少两个连续目标图像帧中的最大非对称参数对应的中间图像帧。所述至少一个处理器可以确定从开始图像帧到中间图像帧的连续目标图像帧的第一数量和从中间图像帧到结束图像帧的连续目标图像帧的第二数量。所述至少一个处理器可以通过拟合所述至少两个连续目标图像帧中的所述第三特征点确定预估线。响应于中间图像帧的非对称参数大于最大非对称比率阈值、第一数量大于第一数量阈值、第二数量大于第二数量阈值、预估线与水平线之间的角度小于角度阈值，所述至少一个处理器可识别摇动动作。在一些实施例中，最小非对称比率阈值可以在1.01-1.02范围内。在一些实施例中，最大非对称比率阈值可以在1.2-1.3范围内。在一些实施例中，第一数量阈值可以在2-10范围内，并且第二数量阈值可以在2-10范围内。在一些实施例中，角度阈值可以在5°-20°范围内。在一些实施例中，响应于摇动动作的识别，至少一个处理器可以向与对象相关联的终端设备提供认证。在一些实施例中，系统可以进一步包括摄像机，所述摄像机可以被配置用于提供视频数据，从所述视频数据中可以获取至少两个连续目标图像帧。在一些实施例中，至少一个处理器可以从由摄像机提供的视频数据获取至少两个目标图像帧。本申请的一部分附加特性可以在下面的描述中进行说明，通过对以下描述和相应附图的检查或者对实施例的生产或操作的了解，本申请的一部分附加特性对于本领域技术人员是明显的。本申请的特征可以通过对以下描述的具体实施例的各种方面的方法、手段和组合的实践或使用得以实现和达到。附图说明本申请将通过示例性实施例进行进一步描述。这些示例性实施例将通过附图进行详细描述。附图不按比例绘制。这些实施例是非限制性的示意性实施例，其中相同的附图标记在附图的若干视图中表示类似的结构，并且其中：图1是根据本申请的一些实施例所示的示例性动作识别系统的示意图；图2是根据本申请的一些实施例所示的计算设备的示例性硬件和/或软件组件的示意图；图3是根据本申请的一些实施例所示的移动设备的示例性硬件组件和/或软件组件的示意图；图4是根据本申请的一些实施例所示的示例性处理引擎的框图；图5是说明根据本申请的一些实施例的用于识别摇动动作的示例性过程的流程图。图6-A是根本文档来自技高网...

【技术保护点】
1.一种动作识别系统，包括：/n包含指令组的至少一个存储介质；/n与所述至少一个存储介质通信的至少一个处理器，其中当执行所述指令组时，所述至少一个处理器被配置为使所述系统：/n获取与对象的面部信息相关联的至少两个连续目标图像帧，所述至少两个连续目标图像帧的每一个均包括与所述面部信息相关联的至少两个特征点；/n对于所述至少两个连续目标图像帧的每一个，基于所述至少两个特征点确定第一区域和第二区域；/n对于所述至少两个连续目标图像帧的每一个，基于所述第一区域和所述第二区域确定非对称参数；以及/n响应于所述非对称参数满足预设条件，识别摇动动作。/n

【技术特征摘要】
【国外来华专利技术】1.一种动作识别系统，包括：
包含指令组的至少一个存储介质；
与所述至少一个存储介质通信的至少一个处理器，其中当执行所述指令组时，所述至少一个处理器被配置为使所述系统：
获取与对象的面部信息相关联的至少两个连续目标图像帧，所述至少两个连续目标图像帧的每一个均包括与所述面部信息相关联的至少两个特征点；
对于所述至少两个连续目标图像帧的每一个，基于所述至少两个特征点确定第一区域和第二区域；
对于所述至少两个连续目标图像帧的每一个，基于所述第一区域和所述第二区域确定非对称参数；以及
响应于所述非对称参数满足预设条件，识别摇动动作。


2.根据权利要求1所述的系统，其特征在于，所述至少两个特征点包括第一特征点、第二特征点、第三特征点、第四特征点和第五特征点，其中，
所述第一特征点和所述第二特征点相对于与所述面部信息相关的垂直中心线对称；
所述第四特征点和所述第五特征点相对于与所述面部信息相关的所述垂直中心线对称；以及
所述第三特征点位于与所述面部信息相关的所述垂直中心线上。


3.根据权利要求2所述的系统，其特征在于，
所述第一特征点是左眼的中心点；
所述第二特征点是右眼的中心点；
所述第三特征点是鼻尖点；
所述第四特征点是唇的左端点；
所述第五特征点是所述唇的右端点。


4.根据权利要求2或3所述的系统，其特征在于，对于所述至少两个连续目标图像帧的每一个，为了基于所述至少两个特征点确定第一区域和第二区域，所述至少一个处理器被配置为使所述系统进一步：
基于所述第一特征点、所述第三特征点和所述第四特征点，确定所述第一区域；以及
基于所述第二特征点、所述第三特征点和所述第五特征点，确定所述第二区域。


5.根据权利要求1-4任一项所述的系统，其特征在于，对于所述至少两个连续目标图像帧的每一个，为了基于所述第一区域和所述第二区域确定非对称参数，所述至少一个处理器被配置为使所述系统进一步：
确定所述第一区域与所述第二区域的第一比率；
确定所述第二区域与所述第一区域的第二比率；以及
确定所述第一比率和所述第二比率中较大的一个为所述非对称参数。


6.根据权利要求2-4任一项所述的系统，其特征在于，为了获取与对象的面部信息相关联的至少两个连续目标图像帧，所述至少一个处理器被配置为使所述系统进一步：
获取与所述对象的所述面部信息相关联的至少两个连续候选图像帧，其中对于每个连续候选图像帧，所述第三特征点在基于所述第一特征点、所述第二特征点、所述第四特征点、及所述第五特征点确定的四边形内；
从所述至少两个连续候选图像帧中识别所述至少两个连续目标图像帧的开始图像帧，其中对应于所述开始图像帧的所述非对称参数小于最小非对称比率阈值；以及
从所述至少两个连续候选图像帧中识别所述至少两个连续目标图像帧的结束图像帧，其中对应于所述结束图像帧的所述非对称参数小于所述最小非对称比率阈值。


7.根据权利要求6所述的系统，其特征在于，为了响应于所述非对称参数满足预设条件，识别摇动动作，所述至少一个处理器被配置为使所述系统进一步：
从所述至少两个连续目标图像帧中识别具有最大非对称参数的中间图像帧；
从所述开始图像帧到所述中间图像帧确定连续目标图像帧的第一数量，并且从所述中间图像帧到所述结束图像帧确定所述连续目标图像帧的第二数量；
通过拟合在所述至少两个连续目标图像帧中的所述第三特征点确定预估线；以及
响应于所述中间图像帧的非对称参数大于最大非对称比率阈值、所述第一数量大于第一数量阈值、所述第二数量大于第二数量阈值、所述预估线与水平线之间的角度小于角度阈值，识别所述摇动动作。


8.根据权利要求7所述的系统，其特征在于，所述最小非对称比率阈值在1.01-1.02范围内。


9.根据权利要求7或8所述的系统，其特征在于，所述最大非对称比率阈值在1.2-1.3范围内。


10.根据权利要求7-9任一项所述的系统，其特征在于，所述第一数量阈值在2-10范围内，以及所述第二数量阈值在2-10范围内。


11.根据权利要求7-10任一项所述的系统，其特征在于，所述角度阈值在5°-20°范围内。


12.根据权利要求1-11任一项所述的系统，其特征在于，所述至少一个处理器被配置以使所述系统进一步：
响应于所述摇动动作的识别，向与所述对象相关联的终端设备提供认证。


13.根据权利要求1-12任一项所述的系统，其特征在于，还包括摄像机，所述摄像机被配置为提供视频数据，从所述视频数据可获取所述至少两个连续目标图像帧。


14.一种用于在计算设备上实现动作识别的方法，所述计算设备包括至少一个处理器、至少一个存储设备和连接到网络的通信平台，所述方法包括：
获取与对象的面部信息...

【专利技术属性】
技术研发人员：张修宝，
申请(专利权)人：北京嘀嘀无限科技发展有限公司，
类型：发明
国别省市：北京;11