眨眼运动的识别方法和装置制造方法及图纸

本发明专利技术公开了一种眨眼运动的识别方法和装置。其中，该方法包括：获取人脸图像帧序列的预定图像帧中眼部图像的纹理特征，其中，纹理特征用于表征眼部图像对应的眼部的生物特征；根据纹理特征确定预定图像帧中眼部图像为睁眼图像还是闭眼图像；判断人脸图像帧序列的眼部图像是否包括睁眼图像和闭眼图像；若人脸图像帧序列的眼部图像包括睁眼图像和闭眼图像，则确定人脸图像帧序列对应的人脸存在眨眼运动。本发明专利技术解决了检测人眼的运动状态不准确的技术问题。

【技术实现步骤摘要】
眨眼运动的识别方法和装置
本专利技术涉及人脸识别领域，具体而言，涉及一种眨眼运动的识别方法和装置。
技术介绍
人脸识别技术可以识别视频中的人脸是否有眨眼的动作，通常采用人脸五官关键点定位技术，使用多个关键点定位视频序列中每一帧的人脸图像的眼部，然后利用这些关键点的坐标计算出眼部面积，最后通过计算面积的变化来判定视频中人脸是否存在眨眼运动。当视频中人脸存在晃动时，依据人脸关键点进行的定位会出现定位失败或定位偏差较大的情况，使得定位的位置偏离人眼，因而造成所计算的眼部面积错误，并最终导致人眼运动状态检测不准确。针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
本专利技术实施例提供了一种眨眼运动的识别方法和装置，以至少解决检测人眼的运动状态不准确的技术问题。根据本专利技术实施例的一个方面，提供了一种眨眼运动的识别方法，包括：获取人脸图像帧序列的预定图像帧中眼部图像的纹理特征，其中，所述纹理特征用于表征所述眼部图像对应的眼部的生物特征；根据所述纹理特征确定所述预定图像帧中眼部图像为睁眼图像还是闭眼图像；判断所述人脸图像帧序列的眼部图像是否包括所述睁眼图像和所述闭眼图像；若所述人脸图像帧序列的眼部图像包括所述睁眼图像和所述闭眼图像，则确定所述人脸图像帧序列对应的人脸存在眨眼运动。根据本专利技术实施例的另一方面，还提供了一种眨眼运动的识别装置，包括：获取单元，用于获取人脸图像帧序列的预定图像帧中眼部图像的纹理特征，其中，所述纹理特征用于表征所述眼部图像对应的眼部的生物特征；第一确定单元，用于根据所述纹理特征确定所述预定图像帧中眼部图像为睁眼图像还是闭眼图像；判断单元，用于判断所述人脸图像帧序列的眼部图像是否包括所述睁眼图像和所述闭眼图像；第二确定单元，用于在所述人脸图像帧序列的眼部图像包括所述睁眼图像和所述闭眼图像时，确定所述人脸图像帧序列对应的人脸存在眨眼运动。在本专利技术实施例中，利用纹理特征能够反映眼部的生物特征的特性，以及利用纹理特征进行眼部识别时，即使局部有偏差也不会导致眼部图像的识别错误的特性，对眼部关键点的定位结果精确性的依赖较低，避免了采用计算眼部的面积来区分睁眼和闭眼时对定位结果精确性的依赖较高所导致识别不准确的问题，从而解决了检测人眼的运动状态不准确的技术问题，达到了准确检测人眼的运动状态的技术效果。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1是根据本专利技术实施例的硬件环境的示意图；图2是根据本专利技术实施例的眨眼运动的识别方法的流程图；图3是根据本专利技术实施例的定位人脸五官的示意图；图4是根据本专利技术实施例的眨眼运动的识别装置的示意图；图5是根据本专利技术实施例的终端的硬件结构示意图。具体实施方式为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。实施例1根据本专利技术实施例，提供了一种可以通过本申请装置实施例执行的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。根据本专利技术实施例，提供了一种眨眼运动的识别方法。可选地，在本实施例中，上述眨眼运动的识别方法可以应用于如图1所示的终端102和服务器104所构成的硬件环境中。如图1所示，终端102通过网络与服务器104进行连接，上述网络包括但不限于：移动通信网络、广域网、城域网或局域网，终端102可以是手机终端，也可以是PC终端、笔记本终端或平板电脑终端。图1中示出的硬件环境系统的主要工作原理是：终端102采集人脸图像帧序列，并识别人脸图像帧序列中是否有眨眼运动，若识别出眨眼运动，将识别结果发送给服务器104，由服务器104向终端102发出相应的指令信息，指示终端102执行预设动作。需要说明的是，终端102也可以在识别出眨眼运动后，根据自身的逻辑执行预设的动作，而无需等待服务器104的指令信息。并且，终端102可以一边采集人脸图像帧序列，一边识别眨眼运动，并实时输出识别结果。图2是根据本专利技术实施例的眨眼运动的识别方法的流程图，以下结合图2对本专利技术实施例所提供的眨眼运动的识别方法做具体介绍，如图2所示，该眨眼运动的识别方法主要包括如下步骤：步骤S202，获取人脸图像帧序列的预定图像帧中眼部图像的纹理特征，其中，纹理特征用于表征眼部图像对应的眼部的生物特征。人脸图像帧序列可以是视频、动图等具有至少两个图像帧的序列。预定图像帧可以是人脸图像帧序列中具有一定间隔的多个人脸图像帧，也可以是人脸图像帧序列中的每一帧。对于具有一定间隔的多个人脸图像帧，可以采用均匀时间间隔或者均匀图像帧数量间隔从人脸图像帧序列中抽取多个人脸图像帧。为了兼顾准确性和计算效率，例如，可以从时长为1秒的人脸图像帧序列中抽取30帧作为预定图像帧，即每间隔33毫秒抽出一个图像帧，或者每间隔4个图像帧抽取一个图像帧。纹理用来表示图像的均匀、细致、粗糙等现象，纹理特征是图像灰度等级的变化，这种变化是与空间统计相关的，即物体表面的属性反映在图像中所造成的图像灰度等级的变化。也就是说，纹理特征能够反映物体本身的属性特征。对于人脸图像来说，人脸图像中的纹理特征可以反映人脸的生物特征，如人脸图像中纹理特征的变化体现人脸上的凹陷、突起等生物特征，由于纹理特征不是图像中基于像素点的特征，而是包含多个像素点的区域中进行统计得到的纹理特征，因此，不会由于局部的偏差而无法体现人脸上五官的空间变化。本实施例采用的纹理特征可以是梯度方向直方图(HistogramofOrientedGradient，简称HOG)特征、局部二值模式特征(LocalBinaryPattern，简称为LBP)特征和Gabor特征等。步骤S204，根据纹理特征确定预定图像帧中眼部图像为睁眼图像还是闭眼图像。由于图像的纹理特征可以反映人脸的生物特征，因此，可以根据纹理特征确定出眼部图像为睁眼图像还是闭眼图像。有些人脸图像帧模糊导致无法确认该人脸图像中的眼部图像为睁眼图像还是闭眼图像，则确定该眼部图形既不是睁眼图像也不是闭眼图像，确定为模糊状态。步骤S206，判断人脸图像帧序列的眼部图像是否包括睁眼图像和闭眼图像。人脸图像帧序列的眼部图像可能全部为睁眼本文档来自技高网...

【技术保护点】
一种眨眼运动的识别方法，其特征在于，包括：获取人脸图像帧序列中的预定图像帧中眼部图像的纹理特征，其中，所述纹理特征用于表征所述眼部图像对应的眼部的生物特征；根据所述纹理特征确定所述预定图像帧中眼部图像为睁眼图像还是闭眼图像；判断所述人脸图像帧序列的眼部图像是否包括睁眼图像和闭眼图像；若所述人脸图像帧序列的眼部图像包括睁眼图像和闭眼图像，则确定所述人脸图像帧序列对应的人脸存在眨眼运动。

【技术特征摘要】
1.一种眨眼运动的识别方法，其特征在于，包括：获取人脸图像帧序列中的预定图像帧中眼部图像的纹理特征，其中，所述纹理特征用于表征所述眼部图像对应的眼部的生物特征；根据所述纹理特征确定所述预定图像帧中眼部图像为睁眼图像还是闭眼图像；判断所述人脸图像帧序列的眼部图像是否包括睁眼图像和闭眼图像；若所述人脸图像帧序列的眼部图像包括睁眼图像和闭眼图像，则确定所述人脸图像帧序列对应的人脸存在眨眼运动。2.根据权利要求1所述的方法，其特征在于，根据所述纹理特征确定所述预定图像帧中眼部图像为睁眼图像还是闭眼图像包括：获取用于区分眼部图像为睁眼图像还是闭眼图像的模型，所述模型包括第一规则和第二规则；通过所述模型判断第一纹理特征满足所述第一规则还是所述第二规则，其中，所述第一纹理特征为所述人脸图像帧序列中的任意一张图像中眼部图像的纹理特征；若通过所述模型判断出所述第一纹理特征满足所述第一规则，则通过所述模型输出用于指示所述第一纹理特征所属的眼部图像为睁眼图像的结果；若通过所述模型判断出所述第一纹理特征满足所述第二规则，则通过所述模型输出用于指示所述第一纹理特征所属的眼部图像为闭眼图像的结果。3.根据权利要求2所述的方法，其特征在于，通过所述模型判断第一纹理特征满足所述第一规则还是所述第二规则包括：将所述第一纹理特征映射到N维空间中，其中，所述N维空间被分类边界划分为第一空间和第二空间；判断所述第一纹理特征映射到所述第一空间还是所述第二空间；若所述第一纹理特征映射到所述第一空间，则确定所述第一纹理特征满足所述第一规则；若所述第一纹理特征映射到所述第二空间，则确定所述第一纹理特征满足所述第二规则。4.根据权利要求2所述的方法，其特征在于，通过所述模型判断第一纹理特征满足所述第一规则还是所述第二规则包括：将所述第一纹理特征输入到多个决策树中，其中，所述多个决策树采用不同的分类规则将所述第一纹理特征分为第一结果或第二结果，所述第一结果用于指示所述第一纹理特征属于睁眼图像，所述第二结果用于指示所述第一纹理特征属于闭眼图像；比较所述多个决策树输出的第一结果的数量和输出所述第二结果的数量；若所述第一结果的数量大于等于所述第二结果的数量，则确定所述第一纹理特征满足所述第一规则；若所述第一结果的数量小于所述第二结果的数量，则确定所述第一纹理特征满足所述第二规则。5.根据权利要求1所述的方法，其特征在于，获取人脸图像帧序列的预定图像帧中眼部图像的纹理特征包括：定位第一帧人脸图像中人脸五官的关键特征点，并根据所述关键特征点确定所述第一帧人脸图像中眼部图像的位置，其中，所述第一帧人脸图像为所述人脸图像序列帧中的任意一帧；按照所述位置从所述第一帧人脸图像中扣取眼部图像；从扣取的眼部图像中提取纹理特征作为所述第一帧人脸图像中眼部图像的纹理特征。6.根据权利要求1所述的方法，其特征在于，若所述人脸图像帧序列的眼部图像包括所述睁眼图像和所述闭眼图像，则确定所述人脸图像帧序列对应的人脸存在眨眼运动包括：判断第一睁眼图像和与所述第一睁眼图像最近的闭眼图像之间的帧间隔是否满足预设帧间隔，所述第一睁眼图像为所述人脸图像帧序列中的任意一个睁眼图像；若满足，则确定所述人脸图像帧序列对应的人脸存在眨眼运动；若不满足，则确定所述人脸图像帧序列对应的人脸存在由睁眼到闭眼的动作，或者存在由闭眼到睁眼的动作。7.根据权利要求6所述的方法，其特征在于，所述方法还包括：在确定所述人脸图像帧序列对应的人脸存在眨眼运动之后，发出用于指示目标对象执行第一预设动作指令信息；在确定所述人脸图像帧序列对应的人脸存在由睁眼到闭眼的动作，或者存在由闭眼到睁眼的动作之后，发出用于指示目标对象执行第二预设动作指令信息。8.一种眨眼运动的识别装置，其特征在于，包括：获取单元，用于获取人脸图像帧序列的预...

【专利技术属性】
技术研发人员：汪铖杰，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44