一种检测眨眼的方法和装置制造方法及图纸

本申请公开了一种检测眨眼的方法和装置，该方法包括：获得至少第一帧眼部图像、第二帧眼部图像的眼部特征和第一帧眼部图像表示眼部图像的睁闭眼状态的检测标志；基于该检测标志，首先判断第二帧眼部图像的眼部特征相对于第一帧眼部图像眼部特征是否满足第一预设条件；若是，再判断第二帧眼部图像的眼部特征是否满足第二预设条件；若是，确定第二帧眼部图像为眨眼状态图像。可见，根据眨眼过程中眨眼的实质特性为上眼皮上下移动特性和瞳孔基本不动特性，设置关于眨眼的第一预设条件和第二预设条件，基于前后两帧眼部图像中眼部特征是否满足上述眨眼条件判断是否处于眨眼状态，具有良好的健壮性和鲁棒性，减少检测错误率，提高检测精度。

【技术实现步骤摘要】
一种检测眨眼的方法和装置
本申请涉及图像识别分析
，尤其涉及一种检测眨眼的方法和装置。
技术介绍
随着生物信息识别技术和图形识别技术的快速发展，许多领域迫切需要基于图像处理技术进行眨眼检测，例如虚拟现实(英文：VirtualReality，缩写：VR)领域、增强现实(英文：AugmentedReality，缩写：AR)、人工智能领域等。现有技术中，一般基于眼部图像进行简单的阈值判断或者逻辑判断等方法进行眨眼检测，例如，判断眼中心是否在当前的联通区内等等。但是，专利技术人经过研究发现，目前的实现眨眼检测的各种判断方法，并没有抓住眨眼的实质，很难捕捉到真正眨眼瞬间，尤其是，帧频不高时更难捕捉到整个眨眼过程，容易出现检测错误的情况。
技术实现思路
本申请所要解决的技术问题是，提供一种检测眨眼的方法和装置，基于眼部图像中上眼皮边缘特征结合瞳孔特征是否满足这些眨眼条件判断是否处于眨眼状态，具有良好的健壮性和鲁棒性，减少检测错误率，提高检测精度。第一方面，本申请实施例提供了一种检测眨眼的方法，该方法包括：获得至少第一帧眼部图像、第二帧眼部图像的眼部特征和所述第一帧眼部图像的检测标志，所述检测标志用于表示眼部图像的睁闭眼状态；基于所述第一帧眼部图像的检测标志，判断所述第二帧眼部图像的眼部特征相对于所述第一帧眼部图像眼部特征是否满足第一预设条件；若是，判断所述第二帧眼部图像的眼部特征是否满足第二预设条件；若是，确定所述第二帧眼部图像为眨眼状态图像。可选的，所述眼部特征包括上眼皮边缘和瞳孔位置。可选的，所述第一帧眼部图像和所述第二帧眼部图像是按照预设图像预处理方式预处理前后两帧眼部运动图像得到的，所述预设图像预处理方式至少包括灰度直方图处理、腐蚀处理和二值化处理；所述上眼皮边缘是指所述第一帧眼部图像和所述第二帧眼部图像中灰度值交界点。可选的，所述第一预设条件为眨眼眼皮移动条件，所述眨眼眼皮移动条件包括所述第二帧眼部图像的上眼皮边缘相对于所述第一帧眼部图像的上眼皮边缘向下移动第一预设距离或所述第一帧眼部图像的检测标志为闭眼完成标志情况下所述第二帧眼部图像的上眼皮边缘相对于所述第一帧眼部图像的上眼皮边缘向上移动第二预设距离。可选的，所述第二预设条件为眼瞳孔位置条件或眨眼瞳孔位置移动条件。可选的，所述眨眼瞳孔位置条件包括所述第二帧眼部图像的瞳孔位置无效。可选的，所述眨眼瞳孔位置移动条件包括所述第二帧眼部图像中瞳孔位置有效情况下所述第二帧眼部图像的瞳孔位置相对于所述第一帧眼部图像的瞳孔位置的瞳孔位移小于第三预设距离。可选的，还包括：若所述第二帧眼部图像的眼部特征相对于所述第一帧眼部图像眼部特征不满足第一预设条件，确定所述第二帧眼部图像为非眨眼状态图像。可选的，还包括：若所述第二帧眼部图像的眼部特征不满足第二预设条件，确定所述第二帧眼部图像为非眨眼状态图像。第二方面，本申请实施例提供了一种检测眨眼的装置，该装置包括：第一获得单元，用于获得至少第一帧眼部图像、第二帧眼部图像的眼部特征和所述第一帧眼部图像的检测标志，所述检测标志用于表示眼部图像的睁闭眼状态；第一判断单元，用于基于所述第一帧眼部图像的检测标志，判断所述第二帧眼部图像的眼部特征相对于所述第一帧眼部图像眼部特征是否满足第一预设条件；若是，进入第二判断单元；第二判断单元，用于判断所述第二帧眼部图像的眼部特征是否满足第二预设条件；若是，进入第一确定单元；第一确定单元，用于确定所述第二帧眼部图像为眨眼状态图像。与现有技术相比，本申请至少具有以下优点：采用本申请实施例的技术方案，获得至少第一帧眼部图像、第二帧眼部图像的眼部特征和第一帧眼部图像表示眼部图像的睁闭眼状态的检测标志；基于第一帧眼部图像的检测标志，首先判断第二帧眼部图像的眼部特征相对于第一帧眼部图像眼部特征是否满足第一预设条件；若是，再判断第二帧眼部图像的眼部特征是否满足第二预设条件；若是，确定第二帧眼部图像为眨眼状态图像。可见，根据眨眼过程中眨眼的实质特性为上眼皮上下移动特性和瞳孔基本不动特性，设置关于眨眼的第一预设条件和第二预设条件，基于前后两帧眼部图像中眼部特征是否满足上述眨眼条件来判断是否处于眨眼状态，具有良好的健壮性和鲁棒性，减少检测错误率，提高检测精度。附图说明为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。图1为本申请实施例中一种应用场景所涉及的系统框架示意图；图2为本申请实施例提供的一种检测眨眼的方法的流程示意图；图3为本申请实施例提供的另一种检测眨眼的方法的流程示意图；图4为本申请实施例提供的一种检测眨眼的装置的结构示意图。具体实施方式为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。现阶段，VR领域、AR领域和人工智能领域等许多领域迫切需要基于图像处理技术进行眨眼检测，一般基于眼部图像进行简单的阈值判断或者逻辑判断等方法进行眨眼检测，例如，判断眼中心是否在当前的联通区内等等。但是，专利技术人经过研究发现，上述这些方法并没有抓住眨眼的实质，很难捕捉到真正眨眼瞬间，尤其是，帧频不高时更难捕捉到整个眨眼过程，容易出现检测错误的情况。为了解决这一问题，在本申请实施例中，获得至少第一帧眼部图像、第二帧眼部图像的眼部特征和第一帧眼部图像表示眼部图像的睁闭眼状态的检测标志；基于第一帧眼部图像的检测标志，首先判断第二帧眼部图像的眼部特征相对于第一帧眼部图像眼部特征是否满足第一预设条件；若是，再判断第二帧眼部图像的眼部特征是否满足第二预设条件；若是，确定第二帧眼部图像为眨眼状态图像。可见，根据眨眼过程中眨眼的实质特性为上眼皮上下移动特性和瞳孔基本不动特性，设置关于眨眼的第一预设条件和第二预设条件，基于前后两帧眼部图像中眼部特征是否满足上述眨眼条件来判断是否处于眨眼状态，具有良好的健壮性和鲁棒性，减少检测错误率，提高检测精度。举例来说，本申请实施例的场景之一，可以是应用到如图1所示的场景中，该场景包括处理器101和图像设备102。其中，图像设备102是指获得眼部运动图像的设备，例如摄像头、VR设备或者AR设备等。图像设备102用于获取眼部运动图像传送至处理器101，处理器101用于实施本申请实施例中的检测眨眼的方法。可以理解的是，在上述应用场景中，虽然将本申请实施方式的动作描述由处理器101执行，但是，本申请在执行主体方面不受限制，只要执行了本申请实施方式所公开的动作即可。可以理解的是，上述场景仅是本申请实施例提供的一个场景示例，本申请实施例并不限于此场景。下面结合附图，通过实施例来详细说明本申请实施例中检测眨眼的方法和装置的具体实现方式。示例性方法参见图2，示出了本申请实施例中一种检测眨眼的方法的流程示意图。在本实施例中，所述方法例如可以包括以下步骤：步骤201：获得至本文档来自技高网...

【技术保护点】
1.一种检测眨眼的方法，其特征在于，包括：获得至少第一帧眼部图像、第二帧眼部图像的眼部特征和所述第一帧眼部图像的检测标志，所述检测标志用于表示眼部图像的睁闭眼状态；基于所述第一帧眼部图像的检测标志，判断所述第二帧眼部图像的眼部特征相对于所述第一帧眼部图像眼部特征是否满足第一预设条件；若是，判断所述第二帧眼部图像的眼部特征是否满足第二预设条件；若是，确定所述第二帧眼部图像为眨眼状态图像。

【技术特征摘要】
1.一种检测眨眼的方法，其特征在于，包括：获得至少第一帧眼部图像、第二帧眼部图像的眼部特征和所述第一帧眼部图像的检测标志，所述检测标志用于表示眼部图像的睁闭眼状态；基于所述第一帧眼部图像的检测标志，判断所述第二帧眼部图像的眼部特征相对于所述第一帧眼部图像眼部特征是否满足第一预设条件；若是，判断所述第二帧眼部图像的眼部特征是否满足第二预设条件；若是，确定所述第二帧眼部图像为眨眼状态图像。2.根据权利要求1所述的方法，其特征在于，所述眼部特征包括上眼皮边缘和瞳孔位置。3.根据权利要求2所述的方法，其特征在于，所述第一帧眼部图像和所述第二帧眼部图像是按照预设图像预处理方式预处理前后两帧眼部运动图像得到的，所述预设图像预处理方式至少包括灰度直方图处理、腐蚀处理和二值化处理；所述上眼皮边缘是指所述第一帧眼部图像和所述第二帧眼部图像中灰度值交界点。4.根据权利要求2所述的方法，其特征在于，所述第一预设条件为眨眼眼皮移动条件，所述眨眼眼皮移动条件包括所述第二帧眼部图像的上眼皮边缘相对于所述第一帧眼部图像的上眼皮边缘向下移动第一预设距离或所述第一帧眼部图像的检测标志为闭眼完成标志情况下所述第二帧眼部图像的上眼皮边缘相对于所述第一帧眼部图像的上眼皮边缘向上移动第二预设距离。5.根据权利要求2所述的方法，其特征在于，所述第二预设条件为眼瞳孔...

【专利技术属性】
技术研发人员：王钦民，王云飞，黄通兵，
申请(专利权)人：北京七鑫易维信息技术有限公司，
类型：发明
国别省市：北京,11