一种注意力水平检测方法、装置、计算设备及存储介质制造方法及图纸

本申请公开了一种注意力水平检测方法、装置、计算设备及存储介质。所述方法包括：采用SSIM算法从监控设备输出的视频中提取关键帧；采用卷积神经网络检测所述关键帧中人物的睡意、注视情况及面部表情；根据睡意检测结果、面部表情检测结果、以及注视情况检测结果确定视频中人物的注意力水平。所述装置包括：关键帧提取模块、检测模块和判断模块。所述计算设备包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，其中，所述处理器执行所述计算机程序时实现本申请所述的方法。所述存储介质优选为非易失性可读存储介质，其内存储有计算机程序，所述计算机程序在由处理器执行时实现本申请所述的方法。

【技术实现步骤摘要】
一种注意力水平检测方法、装置、计算设备及存储介质
本申请涉及视频图像中人物的动作表情识别，特别是涉及课堂上人物注意力检测技术。
技术介绍
评估学生注意力水平通常采用的方法是评估教室中学生的肢体语言，包括检查学生是否在睡觉、在演讲过程中学生是否有愉快的表情、以及学生的目光朝向等。由于只检测了单个方面，所以评估结果往往不够准确。
技术实现思路
本申请的目的在于克服上述问题或者至少部分地解决或缓减解决上述问题。根据本申请的一个方面，提供了一种注意力水平检测方法，包括：采用SSIM算法从监控设备输出的视频中提取关键帧；采用卷积神经网络检测所述关键帧中人物的睡意、注视情况及面部表情；根据睡意检测结果、面部表情检测结果、以及注视情况检测结果确定视频中人物的注意力水平。可选地，所述的根据睡意检测结果、面部表情检测结果、以及注视情况检测结果确定视频中人物的注意力水平包括：根据睡意检测结果、面部表情检测结果、以及注视情况检测结果确定每一帧为专注或不专注；统计专注和不专注的帧数，并根据专注帧数和不专注帧数计算专注度百分比。可选地，睡意检测结果包括阴性和阳性，当所述睡意检测结果为阳性时，表明所述关键帧中的人物正在睡觉；注视检测结果包括阴性和阳性，当所述注视检测结果为阳性时，表明所述关键帧中的人物注意力集中；面部表情检测结果包括阴性情绪和阳性情绪。可选地，所述的SSIM算法所采用的公式为：SSIM(x,y)＝l(x，y).c(x，y).s(x，y)其中，l(x,y)表示图像x和图像y之间亮度的变化，c(x,y)表示图像x和图像y之间对比度的变化，s(x,y)表示图像x和图像y之间像素结构的变化，SSIM(x,y)表示图像x和图像y之间的相似度指数。根据本申请的另一个方面，提供了一种注意力水平检测装置，包括：关键帧提取模块，其配置成采用SSIM算法从监控设备输出的视频中提取关键帧；检测模块，其配置成采用卷积神经网络检测所述关键帧中人物的睡意、注视情况及面部表情；和判断模块，其配置成根据睡意检测结果、面部表情检测结果、以及注视情况检测结果确定视频中人物的注意力水平。可选地，所述的判断模块包括：专注情况判断子模块，其配置成根据睡意检测结果、面部表情检测结果、以及注视情况检测结果确定每一帧为专注或不专注；和计算子模块，其配置成统计专注和不专注的帧数，并根据专注帧数和不专注帧数计算专注度百分比。可选地，睡意检测结果包括阴性和阳性，当所述睡意检测结果为阳性时，表明所述关键帧中的人物正在睡觉；注视检测结果包括阴性和阳性，当所述注视检测结果为阳性时，表明所述关键帧中的人物注意力集中；面部表情检测结果包括阴性情绪和阳性情绪。可选地，所述的SSIM算法所采用的公式为：SSIM(x，y)＝l(x，y).c(x，y).s(x，y)其中，l(x,y)表示图像x和图像y之间亮度的变化，c(x,y)表示图像x和图像y之间对比度的变化，s(x,y)表示图像x和图像y之间像素结构的变化，SSIM(x,y)表示图像x和图像y之间的相似度指数。根据本申请的第三个方面，提供了一种计算设备，包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，其中，所述处理器执行所述计算机程序时实现本申请所述的方法。根据本申请的第四个方面，提供了一种计算机可读的存储介质，优选为非易失性可读存储介质，其内存储有计算机程序，所述计算机程序在由处理器执行时实现本申请所述的方法。本申请的注意力水平检测方法、装置、计算设备及存储介质，由于综合了人物的睡意、面部表情以及注视情况的检测结合，因此，能够较准确的评估注意力水平。根据下文结合附图对本申请的具体实施例的详细描述，本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。附图说明后文将参照附图以示例性而非限制性的方式详细描述本申请的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：图1是根据本申请一个实施例的一种注意力水平检测方法的示意性流程图；图2是根据本申请一个实施例的一种注意力水平检测装置的结构示意图；图3是根据本申请一个实施例的一种计算设备的结构示意图；图4是根据本申请一个实施例的一种计算机可读存储介质的结构示意图。具体实施方式图1是根据本申请一个实施例的一种注意力水平检测方法的示意性流程图。所述方法一般性地可包括：步骤S1、采用SSIM算法从监控设备输出的视频中提取关键帧：所述的监控设备用于捕捉人物视频，例如教室中学生的视频，应当使用高质量的摄像机拍摄视频，并且避免光照变化及出现阴影等；SSIM算法用于视频摘要和其他与视频相关的处理，关键帧是SSIM算法使用颜色直方图、矩和相关性度量等视觉功能生成的，该算法生成的摘要视频接近于人类的感知，所述的SSIM算法所采用的公式为：SSIM(x,y)＝l(x，y).c(x，y).s(x，y)其中，l(x,y)表示图像x和图像y之间亮度的变化，c(x,y)表示图像x和图像y之间对比度的变化，s(x,y)表示图像x和图像y之间像素结构的变化，SSIM(x,y)表示图像x和图像y之间的相似度指数；衡量结构信息的变化可以提供一个良好的近似感知图像失真，可以用来评估图像中亮度l(x,y)、对比度c(x,y)和结构s(x,y)变化所产生的视觉影响；结构相似性SSIM(x,y)是一种全参考的图像质量评价指标，它分别从亮度、对比度、结构三方面度量两幅图像相似性，其值越大越好，最大值为1；作为结构相似性理论的实现，结构相似度指数从图像组成的角度将结构信息定义为独立于亮度、对比度的，反映场景中物体结构的属性，并将失真建模为亮度、对比度和结构三个不同因素的组合；用均值作为亮度的估计，标准差作为对比度的估计，协方差作为结构相似程度的度量。步骤S2、采用卷积神经网络检测所述关键帧中人物的睡意、面部表情以及注视情况：睡意检测结果包括阴性和阳性，当所述睡意检测结果为阳性时，表明所述关键帧中的人物正在睡觉，否则表示人物没有睡觉；注视检测结果包括阴性和阳性，当所述注视检测结果为阳性时，表明所述关键帧中的人物注意力集中，否则表示人物注意力不集中；面部表情检测结果包括阴性情绪和阳性情绪；当注视检测结果为阳性、且面部表情检测结果阴性情绪时，表明人物不专心；当注视检测结果为阳性、且面部表情检测结果阳性情绪时，表明人物专心。步骤S3、根据睡意检测结果、面部表情检测结果、以及注视情况检测结果确定视频中人物的注意力水平，具体包括：步骤S31、根据睡意检测结果、面部表情检测结果、以及注视情况检测结果确定每一帧为专注或不专注；...

【技术保护点】
1.一种注意力水平检测方法，包括：/n采用SSIM算法从监控设备输出的视频中提取关键帧；/n采用卷积神经网络检测所述关键帧中人物的睡意、注视情况及面部表情；/n根据睡意检测结果、面部表情检测结果、以及注视情况检测结果确定视频中人物的注意力水平。/n

【技术特征摘要】
1.一种注意力水平检测方法，包括：
采用SSIM算法从监控设备输出的视频中提取关键帧；
采用卷积神经网络检测所述关键帧中人物的睡意、注视情况及面部表情；
根据睡意检测结果、面部表情检测结果、以及注视情况检测结果确定视频中人物的注意力水平。


2.根据权利要求1所述的方法，其特征在于，所述的根据睡意检测结果、面部表情检测结果、以及注视情况检测结果确定视频中人物的注意力水平包括：
根据睡意检测结果、面部表情检测结果、以及注视情况检测结果确定每一帧为专注或不专注；
统计专注和不专注的帧数，并根据专注帧数和不专注帧数计算专注度百分比。


3.根据权利要求1或2所述的方法，其特征在于，
睡意检测结果包括阴性和阳性，当所述睡意检测结果为阳性时，表明所述关键帧中的人物正在睡觉；
注视检测结果包括阴性和阳性，当所述注视检测结果为阳性时，表明所述关键帧中的人物注意力集中；
面部表情检测结果包括阴性情绪和阳性情绪。


4.根据权利要求1或2所述的方法，其特征在于，所述的SSIM算法所采用的公式为：
SSIM(x，y)＝l(x，y).c(x，y).s(x，y)
其中，l(x,y)表示图像x和图像y之间亮度的变化，c(x,y)表示图像x和图像y之间对比度的变化，s(x,y)表示图像x和图像y之间像素结构的变化，SSIM(x,y)表示图像x和图像y之间的相似度指数。


5.一种注意力水平检测装置，包括：
关键帧提取模块，其配置成采用SSIM算法从监控设备输出的视频中提取关键帧；
检测模块，其配置成采用卷积神经网络检测所述关键帧中人物的睡意...

【专利技术属性】
技术研发人员：樊硕，
申请(专利权)人：北京影谱科技股份有限公司，
类型：发明
国别省市：北京;11