视线确定方法、装置、电子设备和计算机可读存储介质制造方法及图纸

本发明专利技术提供一种视线确定方法、装置、电子设备和计算机可读存储介质，涉及互联网直播领域。该方法包括：根据目标对象的检测图像，获取第一眼睛的至少四个眼眶关键点；眼眶关键点为根据检测图像的多个人脸关键点中符合第一预设条件的人脸关键点；根据至少四个眼眶关键点，确定第一眼睛的瞳孔中心和眼眶中心；根据瞳孔中心和眼眶中心，确定第一眼睛的视线方向。在目标对象的第一眼睛中选取至少四个眼眶关键点，获取该至少四个眼眶关键点确定的第一眼睛的瞳孔中心和眼眶中心，确定第一眼睛的视线方向，相较于现有技术进行瞳孔检测，减少了计算量，相较于使用深度学习算法，降低了对硬件资源的要求，提高了视线确定的效率。

Line of sight determination method, device, electronic equipment and computer-readable storage medium

【技术实现步骤摘要】
视线确定方法、装置、电子设备和计算机可读存储介质
本专利技术涉及互联网直播领域，具体而言，涉及一种视线确定方法、装置、电子设备和计算机可读存储介质。
技术介绍
随着移动设备的更新换代和通信技术的迅速发展，依赖于互联网的直播平台如雨后春笋般蓬勃发展，而对于直播来说，通过主播与观看人员的互动能显著提高直播的趣味性。在主播和观看人员的互动中添加检测目标对象视线的功能，是一种直播中增加互动的方式。为了获取目前一般通过先精确检测目标对象的瞳孔位置，在得到瞳孔位置后，通过使用深度学习算法或外接其它设备，以便得到目标对象的视线方向。精确检测目标对象的瞳孔位置在各步骤均会引入误差，且每个步骤都需要调整或选择相关参数，计算过程复杂，最后得到的瞳孔位置误差较大；另外，使用深度学习算法通常有着较大的计算量或较高的设备要求，因而一般难以满足大多数视频直播场景实时、轻量的要求；此外，外接其它设备精度很高，但对外接设备的依赖使其难以适用于大多数视频直播场景。实际上，当前大多数视频直播场景并不要求非常高的视线方向估计精准性，为获取目标对象的视线方向，专门设计深度学习算法和外本文档来自技高网...

【技术保护点】
1.一种视线确定方法，其特征在于，所述方法包括：/n根据目标对象的检测图像，获取第一眼睛的至少四个眼眶关键点；所述第一眼睛为所述目标对象的任一只眼睛，所述眼眶关键点为根据所述检测图像的多个人脸关键点中符合第一预设条件的人脸关键点；/n根据所述至少四个眼眶关键点，确定所述第一眼睛的瞳孔中心和眼眶中心；/n其中，所述瞳孔中心为第一眼睛区域中，灰度值最小的点；所述第一眼睛区域为根据所述检测图像和所述至少四个眼眶关键点确定的灰度图像区域；所述眼眶中心为所述第一眼睛区域的中心点；/n根据所述瞳孔中心和所述眼眶中心，确定所述第一眼睛的视线方向。/n

【技术特征摘要】
1.一种视线确定方法，其特征在于，所述方法包括：
根据目标对象的检测图像，获取第一眼睛的至少四个眼眶关键点；所述第一眼睛为所述目标对象的任一只眼睛，所述眼眶关键点为根据所述检测图像的多个人脸关键点中符合第一预设条件的人脸关键点；
根据所述至少四个眼眶关键点，确定所述第一眼睛的瞳孔中心和眼眶中心；
其中，所述瞳孔中心为第一眼睛区域中，灰度值最小的点；所述第一眼睛区域为根据所述检测图像和所述至少四个眼眶关键点确定的灰度图像区域；所述眼眶中心为所述第一眼睛区域的中心点；
根据所述瞳孔中心和所述眼眶中心，确定所述第一眼睛的视线方向。


2.根据权利要求1所述的方法，其特征在于，所述根据所述至少四个眼眶关键点，确定所述第一眼睛的瞳孔中心和眼眶中心，包括：
根据所述检测图像，获取所述至少四个眼眶关键点组成的第一区域；
将所述第一区域进行灰度处理，以获取所述第一眼睛区域；
将所述第一眼睛区域的中心点作为所述眼眶中心；
确定所述第一眼睛区域中的灰度值最小点，将所述灰度值最小点作为所述瞳孔中心。


3.根据权利要求2所述的方法，其特征在于，所述第一眼睛区域处于直角坐标系中，所述确定所述第一眼睛区域中的灰度值最小点，将所述灰度值最小点作为所述瞳孔中心，包括：
根据第一像素点的坐标和第二像素点的坐标，确定第一坐标向量；
其中，所述第一像素点为所述第一眼睛区域的任一像素点，所述第二像素点为所述第一眼睛区域中除所述第一像素点的任一像素点，所述第一坐标向量表征所述第二像素点的坐标相对于所述第一像素点的坐标的位移矢量；
根据所述第一像素点的第一梯度向量和所述第一坐标向量，确定所述第二像素点的第一点积值；所述第一梯度向量表征所述第一像素点在所述第一眼睛区域中的灰度变化量；
遍历所述第一眼睛区域的所有像素点，获取所述第二像素点的当前点积值；所述当前点积值为所述第二像素点与所述第一眼睛区域的所有像素点的点积值之和；
确定所述第一眼睛区域中当前点积值最大的像素点为所述瞳孔中心。


4.根据权利要求3所述的方法，其特征在于，在所述根据所述第一像素点的第一梯度向量和所述第一坐标向量，确定所述第二像素点的第一点积值之前，所述确定所述第一眼睛区域中的灰度值最小点，将所述灰度值最小点作为所述瞳孔中心，还包括：
获取所述第一像素点的第一灰度梯度和第二灰度梯度；
其中，所述第一梯度为所述第一像素点在所述直角坐标系的横坐标方向的灰度梯度，所述第二灰度梯度为所述第一像素点在所述直角坐标系的纵坐标方向的灰度梯度；
获取所述第一像素点的梯度幅值；所述梯度幅值为所述第一灰度梯度的平方值与所述第二灰度梯度的平方值的和的算术平方根；
获取所述第一眼睛区域的梯度阈值；所述梯度阈值用于确定第一像素点的梯度向量；
判断所述第一像素点的梯度幅值是否大于或等于所述梯度阈值；
若是，则确定所述第一梯度向量为(0，0)；
若否，则根据所述第一灰度梯度、第二灰度梯度和所述梯度幅值，获取所述第一梯度向量。


5.根据权利要求1-4任一项所述的方法，其特征...

【专利技术属性】
技术研发人员：黄俊文，吴晓东，叶雁勇，
申请(专利权)人：广州虎牙科技有限公司，
类型：发明
国别省市：广东;44