基于级联神经网络的注意力检测方法、计算机装置及计算机可读存储介质制造方法及图纸

本发明专利技术提供一种基于级联神经网络的注意力检测方法、计算机装置及计算机可读存储介质，该方法包括获取视频数据，并对多帧图像进行识别，提取多帧图像的人脸区域；并且，应用第一卷积神经网络对人脸区域进行识别，判断是否出现注意力不集中的第一情形；如确认没有出现注意力不集中的第一情形，则应用第二卷积神经网络对人脸区域进行识别，判断是否出现注意力不集中的第二情形；其中，第一卷积神经网络的计算复杂度小于第二卷积神经网络的计算复杂度。本发明专利技术还提供实现上述方法的计算机装置及计算机可读存储介质。

Attention detection method, computer device and computer readable storage medium based on cascaded neural network

【技术实现步骤摘要】
【国外来华专利技术】基于级联神经网络的注意力检测方法、计算机装置及计算机可读存储介质
本专利技术涉及图像识别的处理领域，具体地，是基于级联神经网络的注意力检测方法以及实现这种方法的计算机装置、计算机可读存储介质。
技术介绍
随着智能技术的发展，通过图像识别的方式来对人的注意力检测已经成为前沿的新兴技术。人的注意力检测一直以来是机器学习领域研究的重点和热点之一，其主要应用于安防、辅助驾驶等方面。由于真实环境存在大量不确定的因素，如白天、黑夜等不同的光照条件的影响，又例如人的头部姿态和表情具有多样性，还存在人种、性别和年龄等差异以及人穿戴眼镜等因素，因此，真实环境下检测人的注意力状态是相当具有挑战性的。有鉴于此，如何提高人的注意力检测性能成为人工智能研究领域的热点，人们也为此提出了多种算法。例如，远程眼球跟踪是一种检测人的注意力的经典算法，在室外环境下该方法需要依赖于近红外照明设备来产生明亮的瞳孔效果，进而捕捉眼球信息，但是，这种方法所使用的近红外照明设备受到震动和颠簸的影响，很容易被损坏，需长期进行维护，成本比较高。因此，一些研究人员提出依靠头部姿态和眼部信息实现人的注意力的检测。一种方案是将头部姿态、眼部特征以及汽车的几何特征进行融合，进而对人眼关注的区域进行分类，实现人的注意力的检测，该方法取得了很好的效果。而另一种头部姿态和眼部特征相结合的方法是对人眼关注的区域进行分类。但上述两种方法有两个主要问题，第一个是需进行人脸检测、人脸标定、眼球检测以及特征提取等一系列复杂操作，如果该算法中的某一个子模块性能不佳，势必会影响整体效果；第二个是在进行特征提取时，采用传统机器学习方法与传统特征提取的算法泛化能力较差，例如在摄像头拍摄角度、外界光照条件以及目标的位置发生变化时，该方法性能急剧下降。因此，一些研究人员提出一种基于卷积神经网络的注意力估计方法，该方法能够自动从数据样本中学习头部姿态特征和眼部特征信息，无需手动设计特征提取算法，鲁棒性好，但采用的卷积神经网络的模型体积大，计算复杂度高，不适用于嵌入式设备，导致这种方法的使用受到很大的限制。技术问题本专利技术的主要目的是提供一种计算复杂度小且计算性能好的基于级联神经网络的注意力检测方法。本专利技术的另一目的是提供一种实现上述基于级联神经网络的注意力检测方法的计算机装置。本专利技术的再一目的是提供一种实现上述基于级联神经网络的注意力检测方法的计算机可读存储介质。技术解决手段为实现本专利技术的主要目的，本专利技术提供的基于级联神经网络的注意力检测方法包括获取视频数据，并对多帧图像进行识别，提取多帧图像的人脸区域；并且，应用第一卷积神经网络对人脸区域进行识别，判断是否出现注意力不集中的第一情形；如确认没有出现注意力不集中的第一情形，则应用第二卷积神经网络对人脸区域进行识别，判断是否出现注意力不集中的第二情形；其中，第一卷积神经网络的计算复杂度小于第二卷积神经网络的计算复杂度。一个优选的方案是，应用第二卷积神经网络对人脸区域进行识别包括：从人脸区域划截取出多种感兴趣区域，根据二种以上的感兴趣区域的识别结果判断是否出现注意力不集中的第二情形。进一步的方案是，多种感兴趣区域包括人脸框区域以及人脸补充区域；根据二种以上的感兴趣区域的识别结果判断是否出现注意力不集中的第二情形包括：根据人脸框区域以及人脸补充区域的图像识别结果判断是否出现注意力不集中的第二情形。更进一步的方案是，多种感兴趣区域包括人脸框区域以及眼部区域；根据二种以上的感兴趣区域的识别结果判断是否出现注意力不集中的第二情形包括：根据人脸框区域以及眼部区域的图像识别结果判断是否出现注意力不集中的第二情形。更进一步的方案是，判断是否出现注意力不集中的第一情形包括：应用第一卷积神经网络对人脸区域进行识别，判断头部向预设方向的转动角度是否大于预设角度，如是，确认出现注意力不集中的第一情形。更进一步的方案是，第二卷积神经网络包括依次级联的第一卷积层、逐深度卷积层、多个瓶颈残差层、第二卷积层、线性全局逐深度卷积层、线性卷积层、全连接层以及分类层。更进一步的方案是，瓶颈残差层包括卷积单元以及接收卷积单元输出的逐深度卷积单元，还设置有残差单元，残差单元在卷积单元的步长为1时，实现瓶颈残差层的残差运算。更进一步的方案是，获取视频数据后对多帧图像进行识别包括：从视频数据的每连续预设帧数的图像中选取一帧图像进行识别。为实现上是的另一目的，本专利技术提供的计算机装置包括处理器以及存储器，存储器存储有计算机程序，计算机程序被处理器执行时实现上述基于级联神经网络的注意力检测方法的各个步骤。为实现上是的再一目的，本专利技术提供计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述基于级联神经网络的注意力检测方法的各个步骤。有益效果应用本专利技术的方案，在提取多帧图像的人脸区域以后，首先通过第一级卷积神经网络进行识别，并判断是否出现注意力不集中的第一情形，只有确认没有出现注意力不集中的第一情形时，才使用第二卷积神经网络进行识别，判断是否出现注意力不集中的第二情形。这样，可以避免针对所有情况都使用计算程度比较复杂的卷积神经网络进行计算，从而简化注意力检测的整体复杂程度。此外，本专利技术的方案应用第二卷积神经网络对是否出现注意力不集中的第二情形时，首先将人脸区域划分为多种感兴趣区域，并且对多种感兴趣区域进行单独识别，然后结合多种感兴趣区域的识别结合进行融合分析，从而判断是否出现注意力不集中第二情形。这样，可以提高分析的准确性，对注意力不集中的识别效果较好。具体的，分别对人脸框区域以及人脸补充区域进行识别，可以识别出人员的多种注意力情况，例如驾驶员注视左后视镜、注视正前方、注视车内后视镜、注视右后视镜、注视仪表盘、注视中控区以及闭眼睛等情况，结合人脸框区域以及人脸补充区域的识别结果，可以判断驾驶员有无分心驾驶或者是否想变道行驶，当若干连续人脸图像被分成注视车内后视镜、注视仪表盘、注视中控区时可判断驾驶员分心驾驶，当若干连续人脸图像被分成注视左后视镜以及注视正前方时可判断驾驶员想变道行驶。而利用人脸框区域以及眼部区域的识别结果，可以判断驾驶员有无疲劳驾驶、分心驾驶或者是否想变道行驶，当连续若干人脸图像被分成闭眼睛时，可判断驾驶员疲劳驾驶，当若干连续人脸图像被分成偏左或者偏右，眼睛注视左侧或者右侧，可认为出现注意力不集中的第二情形。判断驾驶员是否出现注意力不集中的第一情形，只需要判断驾驶员的头部转动方向是否大于预设角度，例如向上、向下、向左或者向右转动超过60°，即可以认为出现注意力不集中的第一情形，这样，第一卷积神经网络的设计非常简单，运算量较小。一旦被判断为出现注意力不集中的第一情形，不需要执行第二情形的判断，可以节省注意力不集中判断的整体计算量。而第二卷积神经网络的计算量较为复杂，可以精确识别出驾驶员是否出现其他注意力不集中的情形，且判断更为准确。另外，由于在获取的视频数据中，连续帧的画面很相近，如果对每一帧都进行识本文档来自技高网...

【技术保护点】
1.基于级联神经网络的注意力检测方法，包括：/n获取视频数据，并对多帧图像进行识别，提取多帧图像的人脸区域；/n其特征在于：/n应用第一卷积神经网络对所述人脸区域进行识别，判断是否出现注意力不集中的第一情形；/n如确认没有出现注意力不集中的第一情形，则应用第二卷积神经网络对所述人脸区域进行识别，判断是否出现注意力不集中的第二情形；/n其中，所述第一卷积神经网络的计算复杂度小于所述第二卷积神经网络的计算复杂度。/n

【技术特征摘要】
【国外来华专利技术】1.基于级联神经网络的注意力检测方法，包括：
获取视频数据，并对多帧图像进行识别，提取多帧图像的人脸区域；
其特征在于：
应用第一卷积神经网络对所述人脸区域进行识别，判断是否出现注意力不集中的第一情形；
如确认没有出现注意力不集中的第一情形，则应用第二卷积神经网络对所述人脸区域进行识别，判断是否出现注意力不集中的第二情形；
其中，所述第一卷积神经网络的计算复杂度小于所述第二卷积神经网络的计算复杂度。


2.根据权利要求1所述的基于级联神经网络的注意力检测方法，其特征在于：
应用所述第二卷积神经网络对所述人脸区域进行识别包括：从所述人脸区域划截取出多种感兴趣区域，根据二种以上的所述感兴趣区域的识别结果判断是否出现注意力不集中的第二情形。


3.根据权利要求2述的基于级联神经网络的注意力检测方法，其特征在于：
多种所述感兴趣区域包括人脸框区域以及人脸补充区域；
根据二种以上的所述感兴趣区域的识别结果判断是否出现注意力不集中的第二情形包括：根据所述人脸框区域以及所述人脸补充区域的图像识别结果判断是否出现注意力不集中的第二情形。


4.根据权利要求2所述的基于级联神经网络的注意力检测方法，其特征在于：
多种所述感兴趣区域包括人脸框区域以及眼部区域；
根据二种以上的所述感兴趣区域的识别结果判断是否出现注意力不集中的第二情形包括：根据所述人脸框区域以及所述眼部区域的图像识别结果判断是否出现注意力不集中的第二情形。


5.根据权利要...

【专利技术属性】
技术研发人员：李晓会，彭刚，南楠，叶丽萍，
申请(专利权)人：珠海全志科技股份有限公司，
类型：发明
国别省市：广东;44