人脸动作识别方法技术

本发明专利技术提供一种人脸动作识别方法

【技术实现步骤摘要】
人脸动作识别方法、装置、电子设备及存储介质


[0001]本专利技术涉及计算机
，尤其涉及一种人脸动作识别方法
、
装置
、
电子设备及存储介质
。

技术介绍

[0002]作为计算机视觉领域的研究热点，人脸动作识别技术近年来发展迅速
。
人脸动作识别在多种场景下可单独作为动作识别的关键技术，又常作为人脸识别
、
活体检测的前处理模块，人脸动作识别在身份认证
、
健康监测
、
疲劳检测
、
动作驱动等领域有着广泛应用
。
[0003]目前人脸动作识别大多基于人脸关键点实现，通过计算特定人脸关键点之间的相对关系判定人脸动作；基于深度学习的人脸关键点检测算法得到的人脸关键点数量通常为
68
点
、98
点
、106
点等
。
然而，此类算法在人脸姿态较为极端的情况下，会由于人脸关键点重叠和遮挡，造成人脸动作的误识别，降低人脸动作识别的准确率
。

技术实现思路

[0004]针对现有技术存在的问题，本专利技术提供一种人脸动作识别方法，包括：
[0005]获取待识别视频；
[0006]针对所述视频中的各视频帧，对所述视频帧进行人脸关键点检测，得到所述视频帧对应的人脸关键点信息；
[0007]选取除目标关键点信息之外的其他人脸关键点信息进行头部姿态角检测，得到所述视频帧对应的头部姿态角信息；
[0008]基于所述目标关键点信息和所述头部姿态角信息，对所述视频帧进行人脸动作识别；
[0009]基于各视频帧对应的人脸动作识别结果，确定针对所述待识别视频的人脸动作识别结果
。
[0010]根据本专利技术提供的一种人脸动作识别方法，所述基于所述目标关键点信息和所述头部姿态角信息，对所述视频帧进行人脸动作识别，包括：
[0011]基于所述目标关键点信息，识别所述视频帧中的人脸部位动作；
[0012]基于所述头部姿态角信息，识别所述视频帧中的头部动作
。
[0013]根据本专利技术提供的一种人脸动作识别方法，所述目标关键点信息包括嘴部关键点信息，所述人脸部位动作包括嘴部动作；所述基于所述目标关键点信息，识别所述视频帧中的人脸部位动作，包括：
[0014]基于嘴部关键点信息，计算嘴部区域的长宽比；
[0015]若所述嘴部区域的长宽比小于第一嘴部长宽比阈值，识别所述视频帧中的嘴部动作为张嘴动作；
[0016]若所述嘴部区域的长宽比大于第二嘴部长宽比阈值，识别所述视频帧中的嘴部动作为闭嘴动作
。
[0017]根据本专利技术提供的一种人脸动作识别方法，所述目标关键点信息还包括眼睛关键点信息，所述眼睛关键点信息包括左眼关键点信息和右眼关键点信息，所述人脸部位动作还包括眼睛动作；所述基于所述目标关键点信息，识别所述视频帧中的人脸部位动作，还包括：
[0018]基于左眼关键点信息，计算左眼区域的长宽比；
[0019]基于右眼关键点信息，计算右眼区域的长宽比；
[0020]计算所述左眼区域的长宽比与所述右眼区域的长宽比的均值，作为眼睛区域的长宽比；
[0021]若所述眼睛区域的长宽比大于眼睛长宽比阈值，识别所述视频帧中的眼睛动作为闭眼动作
。
[0022]根据本专利技术提供的一种人脸动作识别方法，所述头部姿态角信息包括偏航角和俯仰角，所述基于所述头部姿态角信息，识别所述视频帧中的头部动作，包括：
[0023]若所述偏航角大于第一偏航角阈值，识别所述视频帧中的头部动作为向左摇头动作；
[0024]若所述偏航角小于第二偏航角阈值，识别所述视频帧中的头部动作为向右摇头动作；
[0025]若所述俯仰角小于俯仰角阈值，识别所述视频帧中的头部动作为点头动作
。
[0026]根据本专利技术提供的一种人脸动作识别方法，所述基于各视频帧对应的人脸动作识别结果，确定针对所述待识别视频的人脸动作识别结果，包括：
[0027]基于连续多个视频帧对应的人脸动作识别结果，判断所述待识别视频内的人脸动作是否完整执行；
[0028]基于判定结果，确定针对所述待识别视频的人脸动作识别结果
。
[0029]根据本专利技术提供的一种人脸动作识别方法，所述基于判定结果，确定针对所述待识别视频的人脸动作识别结果，包括：
[0030]若所述待识别视频为短视频，统计所述短视频中各视频片段内完整执行的各类人脸动作的数量；
[0031]根据所述各视频片段内完整执行的各类人脸动作的数量，以及所述各类人脸动作对应的预设权重，计算各视频片段的总权重；
[0032]返回总权重最大值对应的位置的索引
。
[0033]根据本专利技术提供的一种人脸动作识别方法，所述基于判定结果，确定针对所述待识别视频的人脸动作识别结果，包括：
[0034]若所述待识别视频为实时视频流，按照预设动作优先级，对所述实时视频流内完整执行的各类人脸动作进行排序；
[0035]输出动作优先级最高的人脸动作
。
[0036]根据本专利技术提供的一种人脸动作识别方法，所述针对所述视频中的各视频帧，对所述视频帧进行人脸关键点检测，得到所述视频帧对应的人脸关键点信息，包括：
[0037]针对所述视频中的各视频帧，按照预设视频帧尺寸进行裁剪；
[0038]对裁剪后的视频帧进行人脸检测，输出所述裁剪后的视频帧中的人脸框；
[0039]从所述人脸框中选择尺寸最大的人脸框进行人脸关键点检测，得到所述尺寸最大
的人脸框中的人脸关键点信息
。
[0040]本专利技术还提供一种人脸动作识别装置，包括：
[0041]获取模块，用于获取待识别视频；
[0042]检测模块，用于针对所述视频中的各视频帧，对所述视频帧进行人脸关键点检测，得到所述视频帧对应的人脸关键点信息；
[0043]选取模块，用于选取除目标关键点信息之外的其他人脸关键点信息进行头部姿态角检测，得到所述视频帧对应的头部姿态角信息；
[0044]识别模块，用于基于所述目标关键点信息和所述头部姿态角信息，对所述视频帧进行人脸动作识别；
[0045]确定模块，用于基于各视频帧对应的人脸动作识别结果，确定针对所述待识别视频的人脸动作识别结果
。
[0046]本专利技术还提供一种电子设备，包括存储器
、
处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一项所述的人脸动作识别方法的步骤
。
[0047]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的人脸动作识别方法的步骤
。
[0048]本专利技术实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种人脸动作识别方法，其特征在于，包括：获取待识别视频；针对所述视频中的各视频帧，对所述视频帧进行人脸关键点检测，得到所述视频帧对应的人脸关键点信息；选取除目标关键点信息之外的其他人脸关键点信息进行头部姿态角检测，得到所述视频帧对应的头部姿态角信息；基于所述目标关键点信息和所述头部姿态角信息，对所述视频帧进行人脸动作识别；基于各视频帧对应的人脸动作识别结果，确定针对所述待识别视频的人脸动作识别结果
。2.
根据权利要求1所述的方法，其特征在于，所述基于所述目标关键点信息和所述头部姿态角信息，对所述视频帧进行人脸动作识别，包括：基于所述目标关键点信息，识别所述视频帧中的人脸部位动作；基于所述头部姿态角信息，识别所述视频帧中的头部动作
。3.
根据权利要求2所述的方法，其特征在于，所述目标关键点信息包括嘴部关键点信息，所述人脸部位动作包括嘴部动作；所述基于所述目标关键点信息，识别所述视频帧中的人脸部位动作，包括：基于嘴部关键点信息，计算嘴部区域的长宽比；若所述嘴部区域的长宽比小于第一嘴部长宽比阈值，识别所述视频帧中的嘴部动作为张嘴动作；若所述嘴部区域的长宽比大于第二嘴部长宽比阈值，识别所述视频帧中的嘴部动作为闭嘴动作
。4.
根据权利要求3所述的方法，其特征在于，所述目标关键点信息还包括眼睛关键点信息，所述眼睛关键点信息包括左眼关键点信息和右眼关键点信息，所述人脸部位动作还包括眼睛动作；所述基于所述目标关键点信息，识别所述视频帧中的人脸部位动作，还包括：基于左眼关键点信息，计算左眼区域的长宽比；基于右眼关键点信息，计算右眼区域的长宽比；计算所述左眼区域的长宽比与所述右眼区域的长宽比的均值，作为眼睛区域的长宽比；若所述眼睛区域的长宽比大于眼睛长宽比阈值，识别所述视频帧中的眼睛动作为闭眼动作
。5.
根据权利要求4所述的方法，其特征在于，所述头部姿态角信息包括偏航角和俯仰角，所述基于所述头部姿态角信息，识别所述视频帧中的头部动作，包括：若所述偏航角大于第一偏航角阈值，识别所述视频帧中的头部动作为向左摇头动作；若所述偏航角小于第二偏航角阈值，识别所述视频帧中的头部动作为向右摇头动作；若所述俯仰角小于俯仰角阈值，识别所述视频帧中的头部动作为点头动作
。6.
根据权利要求5所述的方法，其特征在于，所述基于各视频帧对应的人脸动作识别结果，确定针对所述待识别视频的人脸动作识别结...

【专利技术属性】
技术研发人员：浦贵阳，吴兴文，李英，张文静，张弛，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：