一种实时检测眼球注意力位置的方法及系统技术方案

本发明专利技术公开了一种实时检测眼球注意力位置的方法及系统，包括以下步骤，图像采集模块分别获取人物对象的原始图片；所述原始图片输入opencv经过分割计算后输出输入数据；根据所述输入数据对应构建神经网络结构模型；采集标注训练数据；所述训练数据输入所述神经网络结构模型中进行模型训练并完成模型的训练参数设置；预测结果处理模块将所述神经网络结构模型生成的预测结果还原为原尺寸。本发明专利技术的有益效果：提升眼睛轮廓边缘识别精度，较传统识别结果有极大提高；以双眼瞳孔中心点为原点建立直角坐标系，可以准确地识别除左右两个方向外，眼球注意力在四个象限的准确位置，实用程度极大提高。

A method and system for real-time detection of eyeball's attention position

【技术实现步骤摘要】
一种实时检测眼球注意力位置的方法及系统
本专利技术涉及视觉处理的
，尤其涉及一种实时检测眼球注意力位置的方法及实时检测眼球注意力位置的系统。
技术介绍
近年来在智能控制发展越来越快速的今天，人们对图像捕捉和识别技术进行了研究并将其广泛应用于各种智能产品。既开创了一个新的热门研究领域，还极大的促进了电子产品的智能化进程，方便了人们的生活。而近年来，眼球作为一种新的信息来源越来越被人们所关注，其运动轨迹可以通过合理的研究从而判断出人们的意图，是一种被忽视了的控制方式，而且眼球的控制相比于其他如动作捕捉控制等控制方式要具有一定的便利性和低功耗需求，丰富了人机交互的方式。目前眼球捕捉的主要方式便是通过识别技术，但是图像识别一般精度不足以处理瞳孔这么微小的物体的运动轨迹，而且对大量图片所需的处理时间较长，而这些都主要取决于硬件上各组件的性能和识别算法的优良。因此，如何提高眼球捕捉的实时性和精度问题成为该
的关注重点。
技术实现思路
本部分的目的在于概述本专利技术的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本部分、说明书摘要和专利技术名称的目的模糊，而这种简化或省略不能用于限制本专利技术的范围。鉴于上述现有存在的问题，提出了本专利技术。因此，本专利技术解决的一个技术问题是：提供一种实时检测眼球注意力位置的方法，提升眼睛轮廓边缘识别精度。为解决上述技术问题，本专利技术提供如下技术方案：一种实时检测眼球注意力位置的方法，包括以下步骤，图像采集模块分别获取人物对象的原始图片；所述原始图片输入opencv经过分割计算后输出输入数据；根据所述输入数据对应构建神经网络结构模型；采集标注训练数据；所述训练数据输入所述神经网络结构模型中进行模型训练并完成模型的训练参数设置；预测结果处理模块将所述神经网络结构模型生成的预测结果还原为原尺寸，所述眼球注意力位置返回以所述图像采集模块为原点的直角坐标中的位置。作为本专利技术所述实时检测眼球注意力位置的方法的一种优选方案，其中：所述输入数据包括以下获取步骤，将所述原始图片经过opencv的haarcascade模型分割出左眼、右眼和脸部3幅图片，并同时计算出人脸在画面中所占的位置；将所述左眼图片、所述右眼图片、所述脸部图片和所述脸部网格共4个输入数据传递至所述神经网络结构模型。作为本专利技术所述实时检测眼球注意力位置的方法的一种优选方案，其中：输入opencv的图片为所述图像采集模块采集到的所述原始图片，且所述原始图片的分辨率1920x1080，以及通道数分别为3个。作为本专利技术所述实时检测眼球注意力位置的方法的一种优选方案，其中：所述神经网络结构模型包括以下构建步骤，所述原始图片的数据获取；所述神经网络结构模型的输入数据准备；构建所述神经网络结构模型神经网络结构单元。作为本专利技术所述实时检测眼球注意力位置的方法的一种优选方案，其中：所述左眼、右眼的图片分割获取包括将所述原始图片输入opencv的haarcascade_eye眼部识别单元，得到左右眼的两组x、y、w、h坐标，根据坐标切割出左右眼两幅图片。作为本专利技术所述实时检测眼球注意力位置的方法的一种优选方案，其中：所述脸部图片分割获取包括将所述原始图片输入opencv的haarcascade_frontface面部识别单元，获取面部的x、y、w、h四个坐标，根据坐标切割出面部图片。作为本专利技术所述实时检测眼球注意力位置的方法的一种优选方案，其中：所述脸部网格的获取包括将所述原始图片平均分成5x5的网格，每个网格中若面部占比超过50％，则将该网格位置标注为1否则标注为0，得到大小为5x5的面部位置mask。作为本专利技术所述实时检测眼球注意力位置的方法的一种优选方案，其中：所述神经网络结构单元包括左右特征提取网络结构、面部特征提取网络结构和特征合并，其中所述特征合并包括将左、右眼特征图拉直、再将面部特征图拉直以及脸部位置mask结果拉直，将四者合并最终输出二维结果，代表所述眼球注意力位置为原点坐标系上的x和y。作为本专利技术所述实时检测眼球注意力位置的方法的一种优选方案，其中：所述标注训练数据包括以下采集步骤，采用方格板作为标尺；采集观测者面部图片，观测者每次注释方格板中的一个点，拍摄观测者面部照片的同时，记录下其所注释的格子，所述方格板共计30个格子，每人采集30张面部照片和对应的格子位置；随机选取10名观测者，重复上述操作，得到300张1920x1080分辨率的图片和同样数量的相对应的格子位置；将图片保存在img目录下，格子位置换算成坐标系后保存在label目录下。本专利技术解决的另一个技术问题是：提供一种实时检测眼球注意力位置的系统，提升眼睛轮廓边缘识别精度。为解决上述技术问题，本专利技术提供如下技术方案：一种实时检测眼球注意力位置的系统，其特征在于：包括图像采集模块、神经网络结构模型和预测结果处理模块；所述图像采集模块用于分别获取人物对象的原始图片后构建所述神经网络结构模型；所述神经网络结构模型用于将输入的人物对象的眼球注意力输出为预测结果；所述预测结果处理模块接收的所述预测结果，用于将所述眼球注意力位置返回以所述图像采集模块为原点的直角坐标中的位置。本专利技术的有益效果：提升眼睛轮廓边缘识别精度，较传统识别结果有极大提高；以双眼瞳孔中心点为原点建立直角坐标系，可以准确地识别除左右两个方向外，眼球注意力在四个象限的准确位置，实用程度极大提高。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：图1为本专利技术第一种实施例所述实时检测眼球注意力位置的方法的整体流程结构示意图；图2为本专利技术第一种实施例所述左右特征提取网络结构的示意图；图3为本专利技术第一种实施例所述面部特征提取网络结构的示意图；图4为本专利技术第一种实施例所述Flatten层实现的示意图；图5为本专利技术第一种实施例所述Flatten层神经网络进行可视化的示意图；图6为本专利技术第一种实施例所述方格板的示意图；图7为本专利技术第一种实施例所述神经网络结构模型训练的示意图；图8为本专利技术第二种实施例所述实时检测眼球注意力位置的系统的整体原理结构示意图。具体实施方式为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本专利技术的具体实施方式做详细的说明，显然所描述的实施例是本专利技术的一部分实施例，而不是全部实施例。基于本专利技术中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术的保护的范围。在下面的描述中阐述了很多具体细节以便于充分理解本专利技术，但是本专利技术还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本专利技术本文档来自技高网...

【技术保护点】
1.一种实时检测眼球注意力位置的方法，其特征在于：包括以下步骤，/n图像采集模块(100)分别获取人物对象的原始图片；/n所述原始图片输入opencv经过分割计算后输出输入数据；/n根据所述输入数据对应构建神经网络结构模型(200)；/n采集标注训练数据；/n所述训练数据输入所述神经网络结构模型(200)中进行模型训练并完成模型的训练参数设置；/n预测结果处理模块(300)将所述神经网络结构模型(200)生成的预测结果还原为原尺寸，所述眼球注意力位置返回以所述图像采集模块(100)为原点的直角坐标中的位置。/n

【技术特征摘要】
1.一种实时检测眼球注意力位置的方法，其特征在于：包括以下步骤，
图像采集模块(100)分别获取人物对象的原始图片；
所述原始图片输入opencv经过分割计算后输出输入数据；
根据所述输入数据对应构建神经网络结构模型(200)；
采集标注训练数据；
所述训练数据输入所述神经网络结构模型(200)中进行模型训练并完成模型的训练参数设置；
预测结果处理模块(300)将所述神经网络结构模型(200)生成的预测结果还原为原尺寸，所述眼球注意力位置返回以所述图像采集模块(100)为原点的直角坐标中的位置。


2.如权利要求1所述的实时检测眼球注意力位置的方法，其特征在于：所述输入数据包括以下获取步骤，
将所述原始图片经过opencv的haarcascade模型分割出左眼、右眼和脸部3幅图片，并同时计算出人脸在画面中所占的位置；
将所述左眼图片、所述右眼图片、所述脸部图片和所述脸部网格共4个输入数据传递至所述神经网络结构模型(200)。


3.如权利要求1或2所述的实时检测眼球注意力位置的方法，其特征在于：输入opencv的图片为所述图像采集模块(100)采集到的所述原始图片，且所述原始图片的分辨率1920x1080，以及通道数分别为(r、g、b)3个。


4.如权利要求3所述的实时检测眼球注意力位置的方法，其特征在于：所述神经网络结构模型(200)包括以下构建步骤，
所述原始图片的数据获取；
所述神经网络结构模型(200)的输入数据准备；
构建所述神经网络结构模型(200)神经网络结构单元。


5.如权利要求4所述的实时检测眼球注意力位置的方法，其特征在于：所述左眼、右眼的图片分割获取包括将所述原始图片输入opencv的haarcascade_eye眼部识别单元，得到左右眼的两组x、y、w、h坐标，根据坐标切割出左右眼两幅图片。


6.如权利要求4或5所述的实时检测眼球注意力位置的方法，其...

【专利技术属性】
技术研发人员：戚鹏飞，
申请(专利权)人：的卢技术有限公司，
类型：发明
国别省市：江苏;32