一种眼球驱动方法及电子设备技术

本发明专利技术公开了一种眼球驱动方法及电子设备，属于图像处理领域。方法包括：获取当前视频帧中人脸的多个2D关键点坐标，根据多个2D关键点坐标确定人脸区域；通过左右眼滤波器对人脸区域进行滤波，获取当前视频帧中人脸的眼球位置的2D坐标；根据多个2D关键点坐标与对应的多个3D关键点坐标之间的转换关系，将眼球位置的2D坐标转换为眼球位置的3D坐标；根据眼球位置的3D坐标与眼球的初始位置的3D坐标，驱动目标对象的眼球。从而根据眼球位置的3D坐标与该眼球的初始位置的3D坐标，驱动目标对象的眼球位置，提高了眼球定位的精确度和稳定性，同时能够在移动端高效运行，提高了用户体验，满足了用户通过眼球转动控制目标对象的需求。

【技术实现步骤摘要】
一种眼球驱动方法及电子设备
本专利技术涉及图像处理领域，特别涉及一种眼球驱动方法及电子设备。
技术介绍
随着人脸识别在计算机技术中的普及，通过计算机对人脸进行识别的技术已应用在各个领域，在人脸识别中眼睛状态的识别至关重要，通过眼睛状态识别对眼球进行定位，能够实现用户对于通过眼睛识别对游戏中的目标进行控制等需求。现有技术中的人眼球定位方法主要包括以下几种：基于几何特征的方法，如灰度投影法，霍夫曼变换等，是在眼睛感兴趣区域首先用Canny算子计算人眼边缘轮廓，然后利用霍夫曼变换来进行眼球的定位；基于统计的方法,如利用神经网络或支持向量机的方法，基于知识的方法。但是现有技术中基于几何特征的方法非常容易受光照的影响，稳定性和精度都不够，而基于统计的方法虽然对光照有一定的适应性，但是需要大量的样本来训练分类器，使得使用该方法应用于移动端实时性较差，同时，基于知识的方法，是采用大量先验知识进行人眼定位，通用性不够。
技术实现思路
为了提高眼球定位的精确度和稳定性，同时使得该方法能够在移动端高效运行，提高用户体验，满足用户通过眼球转动控制游戏等中的目标对象的需求，本专利技术实施例提供了一种眼球驱动方法及电子设备。所述技术方案如下：第一方面，提供了一种眼球驱动方法，所述方法包括：获取当前视频帧中人脸的多个2D关键点坐标，根据所述多个2D关键点坐标确定人脸区域；通过左右眼滤波器对所述人脸区域进行滤波，获取所述当前视频帧中人脸的眼球位置的2D坐标；将所述多个2D关键点坐标转换为对应的多个3D关键点坐标；根据所述多个2D关键点坐标与所述对应的多个3D关键点坐标之间的转换关系，将所述眼球位置的2D坐标转换为眼球位置的3D坐标；根据所述眼球位置的3D坐标与所述眼球的初始位置的3D坐标，驱动目标对象的眼球位置；显示驱动后的所述目标对象的眼球。结合第一方面，在第一种可能的实现方式中，所述通过左右眼滤波器对所述人脸区域进行滤波，获取所述当前视频帧中人脸的眼球位置的2D坐标之前，所述方法还包括：对所述人脸区域的尺寸和/或光照进行归一化处理，得到归一化后的人脸区域；将所述归一化后的人脸区域转化为频域数据。结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述通过左右眼滤波器对所述人脸区域进行滤波，获取所述当前视频帧中人脸的眼球位置的2D坐标包括：通过左右眼滤波器对所述频域数据进行滤波，根据所述滤波后的输出图分别构建左右眼的感兴趣区域；分别在所述左右眼的感兴趣区域中，确定滤波输出结果中最大值所在的位置坐标，获取分别与所述左右眼的感兴趣区域对应的所述左右眼的所述位置坐标；判断所述左眼的所述位置坐标是否在左眼区域内，若是，则确定所述左眼的所述位置坐标为所述左眼的所述眼球位置的2D坐标，若否，则根据所述左眼的关键点信息，计算所述眼球位置的位置坐标，将所述计算所得的位置坐标作为所述左眼的所述眼球位置的2D坐标；以及判断所述右眼的所述位置坐标是否在右眼区域内，若是，则确定所述右眼的所述位置坐标为所述右眼的所述眼球位置的2D坐标，若否，则根据所述右眼的关键点信息，计算所述眼球位置的位置坐标，将所述计算所得的位置坐标作为所述右眼的所述眼球位置的2D坐标。结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，在执行所述确定所述位置坐标的步骤或所述计算所述眼球位置的位置坐标的步骤之后，所述方法还包括：在所述位置坐标的周边预设区域内进行积分投影，根据积分最小值的位置的坐标调整所述左眼的所述眼球位置的2D坐标和/或所述右眼的所述眼球位置的2D坐标。结合第一方面至第一方面的第三种任意一种可能的实现方式，在第四种可能的实现方式中，所述方法还包括：获取多个人眼训练样本；生成与所述多个人眼训练样本分别对应的多个精确滤波器；根据所述多个精确滤波器，生成所述左右眼滤波器。结合第一方面，在第五种可能的实现方式中，在将所述多个2D关键点坐标转换为对应的多个3D关键点坐标之前，方法还包括：根据3D模型数据，计算所述多个2D关键点坐标与所述对应的多个3D关键点坐标之间的转换关系。结合第一方面或第一方面的第五种可能的实现方式，在第六种可能的实现方式中，所述方法还包括：获取所述目标对象的多个2D关键点坐标和眼球位置的2D坐标；计算所述目标对象的多个3D关键点坐标和眼球位置的3D坐标。结合第一方面至第一方面的第六种任意一种可能的实现方式，在第七种可能的实现方式中，所述根据所述眼球位置的3D坐标与所述眼球的初始位置的3D坐标，驱动目标对象的眼球位置包括：分别获取所述左右眼的所述眼球位置的所述3D坐标与所述左右眼的所述眼球的初始位置的3D坐标的相对偏移量；将所述左右眼的所述相对偏移量分别映射到所述目标对象的左右眼的眼球位置的3D坐标；以及将所述目标对象的左右眼的眼球位置的3D坐标转换为2D坐标，驱动所述目标对象的眼球位置；其中，所述眼球的初始位置和所述目标对象的眼球初始位置相对应。结合第一方面的第七种可能的实现方式，在第八种可能的实现方式中，所述分别获取所述左右眼的所述眼球位置的所述3D坐标与所述左右眼的所述眼球的初始位置的3D坐标的相对偏移量包括：分别将所述左右眼的所述眼球位置的所述3D坐标与所述左右眼的所述眼球的初始位置的3D坐标进行对比，根据对比结果分别获取所述左右眼的偏移量；根据所述偏移量和对应的左右眼的感兴趣区域的宽和高，分别计算所述相对偏移量。结合第一方面的第七种可能的实现方式，在第九种可能的实现方式中，所述将所述目标对象的左右眼的眼球位置的3D坐标转换为2D坐标还包括：根据前一帧获取的转换2D坐标对当前转换的所述2D坐标进行预设比例加权调整，获取调整后的所述2D坐标。结合第一方面的第九种可能的实现方式，在第十种可能的实现方式中，所述显示驱动后的所述目标对象的眼球包括：根据调整后的所述2D坐标，显示驱动后的所述目标对象的眼球。第二方面，提供了一种电子设备，所述电子设备包括：获取关键点模块，用于获取当前视频帧中人脸的多个2D关键点坐标；人脸区域确定模块，用于根据所述多个2D关键点坐标确定人脸区域；滤波模块，用于通过左右眼滤波器对所述人脸区域进行滤波，获取所述当前视频帧中人脸的眼球位置的2D坐标；关键点转换模块，用于将所述多个2D关键点坐标转换为对应的多个3D关键点坐标；所述关键点转换模块还用于根据所述多个2D关键点坐标与所述对应的多个3D关键点坐标之间的转换关系，将所述眼球位置的2D坐标转换为眼球位置的3D坐标；驱动模块，用于根据所述眼球位置的3D坐标与所述眼球的初始位置的3D坐标，驱动目标对象的眼球位置；显示模块，用于显示驱动后的所述目标对象的眼球。结合第二方面，在第一种可能的实现方式中，所述设备还包括：归一化处理模块，用于对所述人脸区域的尺寸和/或光照进行归一化处理，得到归一化后的人脸区域；频域转换模块，用于将所述归一化后的人脸区域转化为频域数据。结合第二方面的第一种可能的实现方式，在第二种可能的实现方式中，所述滤波模块包括构建模块、位置确定模块、判断模块以及计算模块；所述构建模块用于通过左右眼滤波器对所述频域数据进行滤波，根据所述滤波后的输出图分别构建左右眼的感兴趣区域；所述位置确定模块用于分别在所述左右眼的感兴趣区域中，确定滤波输出结本文档来自技高网...

【技术保护点】
一种眼球驱动方法，其特征在于，所述方法包括：获取当前视频帧中人脸的多个2D关键点坐标，根据所述多个2D关键点坐标确定人脸区域；通过左右眼滤波器对所述人脸区域进行滤波，获取所述当前视频帧中人脸的眼球位置的2D坐标；将所述多个2D关键点坐标转换为对应的多个3D关键点坐标；根据所述多个2D关键点坐标与所述对应的多个3D关键点坐标之间的转换关系，将所述眼球位置的2D坐标转换为眼球位置的3D坐标；根据所述眼球位置的3D坐标与所述眼球的初始位置的3D坐标，驱动目标对象的眼球位置；显示驱动后的所述目标对象的眼球。

【技术特征摘要】
1.一种眼球驱动方法，其特征在于，所述方法包括：获取当前视频帧中人脸的多个2D关键点坐标，根据所述多个2D关键点坐标确定人脸区域；通过左右眼滤波器对所述人脸区域进行滤波，获取所述当前视频帧中人脸的眼球位置的2D坐标；将所述多个2D关键点坐标转换为对应的多个3D关键点坐标；根据所述多个2D关键点坐标与所述对应的多个3D关键点坐标之间的转换关系，将所述眼球位置的2D坐标转换为眼球位置的3D坐标；根据所述眼球位置的3D坐标与所述眼球的初始位置的3D坐标，驱动目标对象的眼球位置；显示驱动后的所述目标对象的眼球。2.根据权利要求1所述的方法，其特征在于，所述通过左右眼滤波器对所述人脸区域进行滤波，获取所述当前视频帧中人脸的眼球位置的2D坐标之前，所述方法还包括：对所述人脸区域的尺寸和/或光照进行归一化处理，得到归一化后的人脸区域；将所述归一化后的人脸区域转化为频域数据。3.根据权利要求2所述的方法，其特征在于，所述通过左右眼滤波器对所述人脸区域进行滤波，获取所述当前视频帧中人脸的眼球位置的2D坐标包括：通过左右眼滤波器对所述频域数据进行滤波，根据所述滤波后的输出图分别构建左右眼的感兴趣区域；分别在所述左右眼的感兴趣区域中，确定滤波输出结果中最大值所在的位置坐标，获取分别与所述左右眼的感兴趣区域对应的所述左右眼的所述位置坐标；判断所述左眼的所述位置坐标是否在左眼区域内，若是，则确定所述左眼的所述位置坐标为所述左眼的所述眼球位置的2D坐标，若否，则根据所述左眼的关键点信息，计算所述眼球位置的位置坐标，将所述计算所得的位置坐标作为所述左眼的所述眼球位置的2D坐标；以及判断所述右眼的所述位置坐标是否在右眼区域内，若是，则确定所述右眼的所述位置坐标为所述右眼的所述眼球位置的2D坐标，若否，则根据所述右眼的关键点信息，计算所述眼球位置的位置坐标，将所述计算所得的位置坐标作为所述右眼的所述眼球位置的2D坐标。4.根据权利要求3所述的方法，其特征在于，在执行所述确定所述位置坐标的步骤或所述计算所述眼球位置的位置坐标的步骤之后，所述方法还包括：在所述位置坐标的周边预设区域内进行积分投影，根据积分最小值的位置的坐标调整所述左眼的所述眼球位置的2D坐标和/或所述右眼的所述眼球位置的2D坐标。5....

【专利技术属性】
技术研发人员：周世威，
申请(专利权)人：掌赢信息科技上海有限公司，
类型：发明
国别省市：上海,31