基于图像的视线追踪方法、装置和电子设备制造方法及图纸

本发明专利技术提供了一种基于图像的视线追踪方法、装置和电子设备，涉及图像处理的技术领域，该方法包括：获取待处理图像；对待处理图像进行裁剪，得到包含人眼的人眼图像；从人眼图像中提取出红色通道图像；通过视线追踪模型对红色通道图像进行视线追踪处理，得到视线追踪结果。本发明专利技术的方法是通过视线追踪模型对红色通道图像进行的视线追踪，红色通道图像对外界光线具有强鲁棒性，在过度曝光或光线不足的情况下进行视线追踪时，准确度也不受影响，可在光线复杂的场景中应用，普适性好，另外，视线追踪模型的使用，简化了运算，耗时短，缓解了现有的视线追踪方法无法在光线复杂的场景中应用，普适性不好的技术问题。

Image-based line-of-sight tracking methods, devices and electronic devices

The invention provides an image-based line-of-sight tracking method, device and electronic equipment, which relates to the technical field of image processing. The method includes: acquiring the image to be processed; clipping the processed image to obtain the human eye image containing the human eye; extracting the red channel image from the human eye image; and performing line-of-sight tracking processing on the red channel image through the line-of-sight tracking model. The result of line-of-sight tracking is obtained. The method of the present invention is to track the line of sight of the red channel image by the line of sight tracking model. The red channel image has strong robustness to the external light, and the accuracy is not affected when the line of sight tracking is carried out under the condition of over exposure or insufficient light. It can be applied in the scene with complex light and has good universality. In addition, the use of the line of sight tracking model simplifies the calculation. It is time-consuming and can alleviate the technical problems of poor universality of the existing line-of-sight tracking methods which can not be applied in complex scenes.

【技术实现步骤摘要】
基于图像的视线追踪方法、装置和电子设备
本专利技术涉及图像处理的
，尤其是涉及一种基于图像的视线追踪方法、装置和电子设备。
技术介绍
移动端算力按照摩尔定律的规律不断增强，如此给很多以前不能够实现的功能提供了空间。当下很多设备都需要和人的视线交互，本质上，设备内容形式的最终确认，需要通过人的视觉、听觉或其他感觉器官进行信息交换。而视觉，作为当下最重要的信息交换出入口，在算力指数增长的前提下，可深入发掘其中应用的潜力。视线级别的追踪能够让一些交互方式从单纯的触屏，过渡到通过视线来控制交互内容中注意力区域。此前视线追踪算法，为了达到好的表现，利用了模版匹配，在海量已标记视线方向的模版当中匹配最邻近图像，此方法在研究中可以利用巨量数据得到结果，但因候选图片需要和海量模版一一比较，计算非常耗时，实际应用当中使用意义较小。另外一种视线追踪算法是固定待测者的头部，然后进行预先标定，之后在头部固定的基础上，进行视线追踪，此方法也偏向研究性质，实际使用无法固定人的头部姿态，也无法有效在开放环境中进行校对。综上，现有的视线追踪方法无法在光线复杂的场景中应用，普适性不好。专利技术内容有鉴于此，本专本文档来自技高网...

【技术保护点】
1.一种基于图像的视线追踪方法，其特征在于，包括：获取待处理图像，其中，所述待处理图像中包含用于进行视线追踪的人眼；对所述待处理图像进行裁剪，得到包含人眼的人眼图像；从所述人眼图像中提取出红色通道图像；通过视线追踪模型对所述红色通道图像进行视线追踪处理，得到视线追踪结果，其中，所述视线追踪结果为所述人眼相对于图像平面的欧拉角。

【技术特征摘要】
1.一种基于图像的视线追踪方法，其特征在于，包括：获取待处理图像，其中，所述待处理图像中包含用于进行视线追踪的人眼；对所述待处理图像进行裁剪，得到包含人眼的人眼图像；从所述人眼图像中提取出红色通道图像；通过视线追踪模型对所述红色通道图像进行视线追踪处理，得到视线追踪结果，其中，所述视线追踪结果为所述人眼相对于图像平面的欧拉角。2.根据权利要求1所述的方法，其特征在于，若所述人眼图像为灰度图像；从所述人眼图像中提取出红色通道图像包括：将所述人眼图像转换为目标RGB图像；从所述目标RGB图像中提取出所述红色通道图像。3.根据权利要求1所述的方法，其特征在于，对所述待处理图像进行裁剪，得到包含人眼的人眼图像包括：对所述待处理图像进行识别，得到人脸特征点；从所述人脸特征点中确定出所述人眼图像的边缘特征点；利用所述边缘特征点对所述待处理图像进行裁剪，得到所述人眼图像。4.根据权利要求3所述的方法，其特征在于，利用所述边缘特征点对所述待处理图像进行裁剪，得到所述人眼图像包括：利用所述边缘特征点确定所述待处理图像的裁剪参数，其中，所述裁剪参数包括裁剪宽度和裁剪长度；基于所述裁剪参数对所述待处理图像进行裁剪，得到所述人眼图像。5.根据权利要求4所述的方法，其特征在于，所述边缘特征点包括：第一端点和第二端点；利用所述边缘特征点确定所述待处理图像的裁剪参数包括：在所述待处理图像中确定所述第一端点和所述第二端点，其中，所述第一端点和所述第二端点为位于所述待处理图像中人眼两端的端点；按照预设延长倍数，在所述待处理图像中对所述第一端点和所述第二端点之间的连线进行两端延长处理，得到目标连线，并将所述目标连线的长度作为所述裁剪长度；根据所述裁剪长度和预设裁剪比例确定所述裁剪宽度。6.根据权利要求1所述的方法，其特征在于，所述视线追踪模型包括：第一卷积层、池化层、第二卷积层、第三卷积层、全连接层和回归层。7.根据权利要求6所述的方法，其特征在于，所述欧拉角包括：所述人眼相对于所述图像平面在X轴方向和Y轴方向的旋转角度；通过视线追踪模型对所述红色通道图像进行视线追踪处理，得到视线追踪结果包括：通过所述第一卷积层对所述红色通道图像进行卷积计算，得到第一卷积计算结果；利用所述池化层对所述第一卷积计算结果进行池化计算，得到池化计算结果；利用所述第二卷积层对所述池化计算结果进行卷积计算，得到第二卷积计算结果；利用所述第三卷积层对所述第二卷积计算结果进行卷积计算，得到第三卷积计算结果；利用所述全连接层对所述第三卷积计算结果进行全连接计算，得到全连接计算结果，并利用所述回归层对所述全连接计算结果进行回归计算，得到所述人眼相对于所述图像平面在X轴方向的旋转角度和所述人眼相对于所述图像平面在Y轴方向的旋转角度。8.根据权利要求1所述的方法，其特征在于，在获取待处理图像之前，所述方法还包括：构建训练样本，其中，所述训练样本包括多个训练图像，且每个训练图像对应一组属性参数，所述属性参数为所述训练图像中...

【专利技术属性】
技术研发人员：刘东昊，罗堃铭，赵姗，刘帅成，
申请(专利权)人：成都旷视金智科技有限公司，北京旷视科技有限公司，
类型：发明
国别省市：四川,51