一种基于人脸识别的控制指令生成方法及电子设备技术

本发明专利技术公开了一种基于人脸识别的控制指令生成方法及电子设备，属于图像处理领域。所述方法包括：获取当前视频帧，检测当前视频帧中的人脸；根据检测的人脸，获取人脸的多个二维特征点坐标；根据人脸的多个二维特征点坐标，获取对应的控制指令参数，控制指令参数包括人脸的旋转角度和/或人脸的上嘴唇和下嘴唇之间的距离；根据控制指令参数，控制目标对象的方向和/或速度。通过根据控制指令参数，控制目标对象的方向和/或速度,而该控制指令参数是在人脸检测的基础上，根据人脸的多个二维特征点坐标获取的，从而实现了通过人脸动作控制目标对象，操作简洁方便，同时增加了对目标对象进行控制的操作方式，提高了用户体验，满足了用户需求。

Method for generating control instruction based on face recognition and electronic equipment

The invention discloses a control instruction generation method based on human face recognition and an electronic device, belonging to the field of image processing. The method comprises: acquiring the current video frame, face detection in the current video frame; according to the detected face, a plurality of two-dimensional feature coordinates of the face; according to a number of two-dimensional coordinates of feature points on the face, to obtain the corresponding control command parameters, control instructions between parameters including face rotation and / or face the upper lip and the lower lip of the distance; according to the control command parameters, control the direction of the target object and / or speed. According to the control command parameters, control the direction of the target object and / or speed, and the control command parameters is based on the face detection, according to a number of two-dimensional coordinates of feature points of face acquisition, so as to realize the control target by face action, concise and convenient operation, while increasing the control of the target object the mode of operation, improve the user experience, to meet the needs of users.

【技术实现步骤摘要】
一种基于人脸识别的控制指令生成方法及电子设备
本专利技术涉及图像处理领域，特别涉及一种基于人脸识别的控制指令生成方法及电子设备。
技术介绍
随着人脸识别在计算机技术中的普及，通过计算机对人脸进行识别的技术已应用在各个领域，现在，台式电脑、笔记本上的游戏的主要操作方式还是通过鼠标、键盘，移动端应用或移动端的游戏以手指点按滑动等为主要操作方式，为了增强玩家游戏体验的需要，改变传统的键盘、鼠标控制以及手指点按滑动的操作方式，需要提供一种通过人脸识别控制游戏中的目标对象的方式。现有的体感游戏中，用户通过身体动作能够对游戏对象进行操作，其主要是通过感应器识别人体动作或者通过人体影像分析技术完成。在现有的体感游戏技术中，进行游戏操作往往需要较大活动空间以进行整体身体的运动，同时，由于为了达到较好的游戏效果，该类游戏适合在配备有较大屏幕的设备中进行，满足不了在移动终端中的应用；另外，传统的通过键盘、鼠标控制以及手指点按滑动的操作方式比较单一，满足不了用户对操作方式多样化以及更加有趣味性的操作方式的需求。
技术实现思路
为了能够通过人脸动作控制目标对象，简化操作，增加了对目标对象进行控制的操作方式，提高用户体验，满足用户需求，本专利技术实施例提供了一种基于人脸识别的控制指令生成方法及电子设备。所述技术方案如下：第一方面，提供了一种基于人脸识别的控制指令生成方法，所述方法包括：获取当前视频帧，检测所述当前视频帧中的人脸；根据检测的所述人脸，获取所述人脸的多个二维特征点坐标；根据所述人脸的多个二维特征点坐标，获取对应的控制指令参数，所述控制指令参数包括所述人脸的旋转角度和/或所述人脸的上嘴唇和下嘴唇之间的距离；根据所述控制指令参数，控制目标对象的方向和/或速度。结合第一方面，在第一种可能的实现方式中，所述获取所述人脸的旋转角度包括：获取所述人脸相对于三维模板人脸的姿态估计矩阵，所述三维模板人脸为处于正面的三维参照人脸；根据所述姿态估计矩阵，获取所述姿态估计矩阵对应的旋转角度。结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述获取所述人脸相对于三维模板人脸的姿态估计矩阵包括：根据所述人脸的多个二维特征点坐标中的部分特征点坐标，在所述三维模板人脸上采集与所述部分特征点坐标对应位置的多个三维特征点坐标；根据投影映射矩阵，计算所述多个三维特征点坐标对应的多个二维映射坐标；计算所述部分特征点坐标与所述多个二维映射坐标之间的误差；以及计算使得所述误差最小的姿态估计矩阵。结合第一方面，在第三种可能的实现方式中，所述获取所述人脸的上嘴唇和下嘴唇之间的距离包括：对所述多个二维特征点坐标的角度进行校正；对所述校正后的所述特征点坐标进行归一化处理；以及根据所述归一化处理的结果，获取所述人脸的上嘴唇和下嘴唇之间的距离。结合第一方面的第三种可能的实现方式，在第四种可能的实现方式中，所述对所述多个二维特征点坐标的角度进行校正包括：根据所述人脸的两只眼睛外角点的夹角，对所述多个二维特征点坐标的角度进行校正；获取校正后的所述多个二维特征点的坐标。结合第一方面的第四种可能的实现方式，在第五种可能的实现方式中，所述对所述校正后的所述特征点坐标进行归一化处理包括：根据所述校正后的所述多个二维特征点的坐标的重心位置，对所述校正后的所述多个二维特征点的坐标进行平移变换。结合第一方面的第五种可能的实现方式，在第六种可能的实现方式中，所述对所述校正后的所述多个二维特征点的坐标进行平移变换之后，方法还包括：对所述平移变换后的坐标进行缩放处理。结合第一方面至第一方面的第六种任一种所述的方式，在第七种可能的实现方式中，所述根据所述控制指令参数，控制目标对象的方向和/或速度包括：根据所述旋转角度，控制目标对象的方向；和/或根据所述人脸的上嘴唇和下嘴唇之间的距离的大小，控制所述目标对象的速度的快慢。第二方面，提供了一种电子设备，所述设备包括：视频帧获取模块，用于获取当前视频帧；人脸检测模块，用于检测所述当前视频帧中的人脸；特征点获取模块，用于根据检测的所述人脸，获取所述人脸的多个二维特征点坐标；控制指令参数获取模块，用于根据所述人脸的多个二维特征点坐标，获取对应的控制指令参数，所述控制指令参数包括所述人脸的旋转角度和/或所述人脸的上嘴唇和下嘴唇之间的距离；控制模块，用于根据所述控制指令参数，控制目标对象的方向和/或速度。结合第二方面，在第一种可能的实现方式中，所述控制指令参数获取模块包括姿态估计模块和旋转角度模块；所述姿态估计模块，用于获取所述人脸相对于三维模板人脸的姿态估计矩阵，所述三维模板人脸为处于正面的三维参照人脸；所述旋转角度模块，用于根据所述姿态估计矩阵，获取所述姿态估计矩阵对应的旋转角度。结合第二方面的第一种可能的实现方式，在第二种可能的实现方式中，所述姿态估计模块包括采集模块和计算模块；所述采集模块用于根据所述人脸的多个二维特征点坐标中的部分特征点坐标，在所述三维模板人脸上采集与所述部分特征点坐标对应位置的多个三维特征点坐标；所述计算模块用于根据投影映射矩阵，计算所述多个三维特征点坐标对应的多个二维映射坐标；所述计算模块还用于计算所述部分特征点坐标与所述多个二维映射坐标之间的误差；以及所述计算模块还用于计算使得所述误差最小的姿态估计矩阵。结合第二方面，在第三种可能的实现方式中，所述控制指令参数获取模块还包括校正模块、归一化处理模块和嘴唇距离获取模块；所述校正模块用于对所述多个二维特征点坐标的角度进行校正；所述归一化处理模块用于对所述校正后的所述特征点坐标进行归一化处理；以及所述嘴唇距离获取模块用于根据所述归一化处理的结果，获取所述人脸的上嘴唇和下嘴唇之间的距离。结合第二方面的第三种可能的实现方式，在第四种可能的实现方式中，所述校正模块具体用于根据所述人脸的两只眼睛外角点的夹角，对所述多个二维特征点坐标的角度进行校正，获取校正后的所述多个二维特征点的坐标。结合第二方面的第四种可能的实现方式，在第五种可能的实现方式中，所述归一化处理模块包括平移变换模块；所述平移变换模块用于根据所述校正后的所述多个二维特征点的坐标的重心位置，对所述校正后的所述多个二维特征点的坐标进行平移变换。结合第二方面的第五种可能的实现方式，在第六种可能的实现方式中，所述归一化处理模块还包括缩放处理模块；所述缩放处理模块具体用于对所述平移变换后的坐标进行缩放处理。结合第二方面至第二方面的第六种任一种所述的方式，在第七种可能的实现方式中，所述控制模块具体用于：根据所述旋转角度，控制目标对象的方向；和/或根据所述人脸的上嘴唇和下嘴唇之间的距离的大小，控制所述目标对象的速度的快慢。第三方面，提供了一种电子设备，所述电子设备包括显示屏、摄像头、存储器以及与所述显示屏、所述摄像头、所述存储器连接的处理器，其中，所述存储器用于存储一组程序代码，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：获取当前视频帧，检测所述当前视频帧中的人脸；根据检测的所述人脸，获取所述人脸的多个二维特征点坐标；根据所述人脸的多个二维特征点坐标，获取对应的控制指令参数，所述控制指令参数包括所述人脸的旋转角度和/或所述人脸的上嘴唇和下嘴唇之间的距离；根据所述控制指令参数，控制目标对象的方向和/或速度。本文档来自技高网...

【技术保护点】
一种基于人脸识别的控制指令生成方法，其特征在于，所述方法包括：获取当前视频帧，检测所述当前视频帧中的人脸；根据检测的所述人脸，获取所述人脸的多个二维特征点坐标；根据所述人脸的多个二维特征点坐标，获取对应的控制指令参数，所述控制指令参数包括所述人脸的旋转角度和/或所述人脸的上嘴唇和下嘴唇之间的距离；根据所述控制指令参数，控制目标对象的方向和/或速度。

【技术特征摘要】
1.一种基于人脸识别的控制指令生成方法，其特征在于，所述方法包括：获取当前视频帧，检测所述当前视频帧中的人脸；根据检测的所述人脸，获取所述人脸的多个二维特征点坐标；根据所述人脸的多个二维特征点坐标，获取对应的控制指令参数，所述控制指令参数包括所述人脸的旋转角度和/或所述人脸的上嘴唇和下嘴唇之间的距离；根据所述控制指令参数，控制目标对象的方向和/或速度。2.根据权利要求1所述的方法，其特征在于，所述获取所述人脸的旋转角度包括：获取所述人脸相对于三维模板人脸的姿态估计矩阵，所述三维模板人脸为处于正面的三维参照人脸；根据所述姿态估计矩阵，获取所述姿态估计矩阵对应的旋转角度。3.根据权利要求2所述的方法，其特征在于，所述获取所述人脸相对于三维模板人脸的姿态估计矩阵包括：根据所述人脸的多个二维特征点坐标中的部分特征点坐标，在所述三维模板人脸上采集与所述部分特征点坐标对应位置的多个三维特征点坐标；根据投影映射矩阵，计算所述多个三维特征点坐标对应的多个二维映射坐标；计算所述部分特征点坐标与所述多个二维映射坐标之间的误差；以及计算使得所述误差最小的姿态估计矩阵。4.根据权利要求1所述的方法，其特征在于，所述获取所述人脸的上嘴唇和下嘴唇之间的距离包括：对所述多个二维特征点坐标的角度进行校正；对所述校正后的所述特征点坐标进行归一化处理；以及根据所述归一化处理的结果，获取所述人脸的上嘴唇和下嘴唇之间的距离。5.根据权利要求4所述的方法，其特征在于，所述对所述多个二维特征点坐标的角度进行校正包括：根据所述人脸的两只眼睛外角点的夹角，对所述多个二维特征点坐标的角度进行校正；获取校正后的所述多个二维特征点的坐标。6.根据权利要求5所述的方法，其特征在于，所述对所述校正后的所述特征点坐标进行归一化处理包括：根据所述校正后的所...

【专利技术属性】
技术研发人员：周世威，
申请(专利权)人：掌赢信息科技上海有限公司，
类型：发明
国别省市：上海,31