一种基于深度学习的注意行为模型制造技术

技术编号:22565705 阅读:33 留言:0更新日期:2019-11-16 12:17
本发明专利技术公开了一种基于深度学习的注意行为模型,包括数据采集单元、深度学习算法单元以及结果显示单元,所述数据采集模块至少包括一个摄像头和键盘模块,所述深度学习算法模块至少包括一个处理器,所述结果显示单元至少包括一个显示器,所述数据采集单元采集到的数据传送到所述深度学习算法单元的输入端,所述深度学习算法模块的输出端连接到所述结果显示单元的输入端,所述键盘模块的输出端与所述深度学习算法模块的输入端通过数据线连接。所述深度学习算法模块的内部通过编程软件装有深度学习算法。本发明专利技术通过建立这个深度学习的注意行为模型,对学生的个人行为进行分析,在学生分心、开小差的时候能够及时的提醒到学生。

A model of attention behavior based on deep learning

The invention discloses an attention behavior model based on deep learning, which comprises a data acquisition unit, a deep learning algorithm unit and a result display unit. The data acquisition module at least comprises a camera and a keyboard module, the deep learning algorithm module at least comprises a processor, the result display unit at least comprises a display, and the data acquisition unit The data collected by the meta module is transmitted to the input of the deep learning algorithm unit, the output of the deep learning algorithm module is connected to the input of the result display unit, and the output of the keyboard module is connected with the input of the deep learning algorithm module through a data line. The internal part of the deep learning algorithm module is equipped with the deep learning algorithm through the programming software. By establishing the attention behavior model of deep learning, the invention analyzes the individual behavior of students, and can timely remind students when students are distracted and open a small gap.

【技术实现步骤摘要】
一种基于深度学习的注意行为模型
本专利技术涉及深度学习
,尤其涉及一种基于深度学习的注意行为模型。
技术介绍
现有的中学教育都是老师在讲台上教授课本内容,学生坐在课桌上听讲,但是有时候学生上课的时候容易走神或者发呆,老师在讲台上并不能直接了解到学生的神态,当讲到重点内容时,如果发呆容易学生造成不够了解教学内容,老师不能时刻提醒到走神的学生。
技术实现思路
(一)解决的技术问题针对现有技术的不足,本专利技术提供了一种基于深度学习的注意行为模型,解决了现在中学教育体系中,学生在走神的状况下,老师不能快速了解到学生的神态的问题。(二)技术方案为实现上述目的,本专利技术提供如下技术方案:一种基于深度学习的注意行为模型,包括数据采集单元、深度学习算法单元以及结果显示单元,所述数据采集模块至少包括一个摄像头和键盘模块,所述深度学习算法模块至少包括一个处理器,所述结果显示单元至少包括一个显示器,所述数据采集单元采集到的数据传送到所述深度学习算法单元的输入端,所述深度学习算法模块的输出端连接到所述结果显示单元的输入端,所述键盘模块的输出端与所述深度学习算法模块的输入端通过数据线连接。优选的,所述深度学习算法模块的内部通过编程软件装有深度学习算法,所述深度学习算法的工作方法包括如下步骤:(1)构建注意行为特征库:首先利用数据采集单元不停的拍摄被注意人的行为日常,并且将拍摄的图像传送到深度学习算法模块,然后通过键盘模块对这些图像进行分类,构建注意行为图谱,选出注意行为的特征描述作为研究对象构建注意行为特征库,构建出不同的注意行为的特征描述,为深度学习网络模型对注意行为图像识别的准确度提供视觉依据;(2)注意行为图像特征库的构建:根据注意行为图谱分类,编写爬虫软件在权威图库中按照常见的注意行为类别下载图像,经过数据清洗,得到有效图像,构建了注意行为图像数据库(3)注意行为图像识别模型构建与分析:包括如下步骤:(A):首先从注意行为特征库中取出样本图像,进行数据扩增,先应用双线性插值方法将图像缩小到256×256大小,然后按照224×224大小截取图像中左上角、右上角、左下角、右下角和中间部分图像块,最后将截取后的图像块进行水平翻转,总共有10张子图像块输入到卷积网络模型的第一卷积层,达到数据集扩增效果;(B):数据扩增后进行ReLU非线性激活,激活后进行归一化处理,归一化处理是为了提高模型的泛化能力;然后再将数据输入到第二、第三卷积层,第二、第三卷积层直接相连,在进行归一化层和池化层之后,启用了9个Inception模块,模型在不同深度处增加了两个辅助性的分类量词来保证梯度回传消失;在初期模块操作之后,经过平均池化,降低特征维度,最后进行一个1024个神经元的全连接层和一个8类别输出的softmax函数,softmax函数产生8个注意行为类别的概率值,使用Top-1错误率,即将网络输出的8个概率值中最高值映射为1,表示深度学习网络将输入图像识别为该类,其余7个概率值映射为0,表示该输入图像不属于这些类别,最终测试值和真值进行比较,判别网络图像识别是否准确。优选的,在步骤(3)中的步骤(A)中,第一卷积层使用的卷积核大小为7×7,步长为2,一共设置了64个卷积核,生成64幅特征图;第一卷积层之后连接的是最大池化层,在卷积层输出基础上用64个大小为3×3的滤波核来降低学习特征的维数,并使池化后的特征表达具有一定的平移不变性,在平均意义上,与平均池化层近似,在局部意义上,则服从最大池化层的准则,最大池化层的结果是使得特征减少,参数减少,最大池化层目的是为了保持某种不变性。优选的,在步骤(3)中的步骤(B)中,第二卷积层使用了64个卷积核,大小为1×1,步长为1。第三卷积层使用了192个卷积核,大小为3×3,步长为1。优选的,在步骤(3)中,所述卷积网络模型的梯度反向传播过程中,第l层的梯度定义如式(1)所示:其中wl第l层的滤波权值参数,bl是l层的偏置,yl是第l层输出特征图像,f(·)是激活函数,f′是f的梯度,权值wl和偏置bl的更新如式(2)、(3)所示:其中μ为动量变量,α是动量因子,是权重延时,η为学习率,是目标函数L对w在第i次迭代下批量样本Di的平均梯度。优选的,所述学习率η的计算公式如式(4)所示:其中base_lr=0.01,power=0.5,t是当前迭代次数,T是最大迭代次数。(三)有益效果本专利技术提供了一种基于深度学习的注意行为模型,具备有以下有益效果:本专利技术基于深度学习的机器学习技术为图像自动识别提供了强有力的支持。与传统手工提取图像特征进行图像分类和识别的方式不同,深度学习通过建立类似于人脑的分层模型结构,自动对输入图像逐级提取从底层到高层的特征,从而能很好地建立从底层信号到高层语义的映射关系。深度学习应用于图像识别不但大大提升了准确性,而且避免了人工特征抽取的时间消耗,从而大大提高了在线计算效率,适合于学生行为的自动识别与分类。本专利技术根据注意行为图谱分类,选出常见的8类行为类别,通过数据采集模块不断的采集到图像数据,经过数据清洗,得到注意行为图像库。本专利技术采用深度卷积神经网络网络模型,使用数据集扩增(Dataaugmentation)技术,运用fine-tune方法将注意行为图像输入模型中进行训练,再用不同于训练集中的图像数据集进行网络测试,达到收敛为止。该网络模型识别精度高,可为学生行为远程自动诊断提供关键技术支持。通过对学生行为的不断分析,将学生的行为进行分类,当学生出现分心、开小差或者发呆的时候,能够及时提醒到学生,使老师督促学生恢复正常上课的状态。具体实施方式下面将对本专利技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本专利技术一部分实施例,而不是全部的实施例。基于本专利技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本专利技术保护的范围。现提出下述实施例:一种基于深度学习的注意行为模型,包括数据采集单元、深度学习算法单元以及结果显示单元,所述数据采集模块至少包括一个摄像头和键盘模块,所述深度学习算法模块至少包括一个处理器,所述结果显示单元至少包括一个显示器,所述数据采集单元采集到的数据传送到所述深度学习算法单元的输入端,所述深度学习算法模块的输出端连接到所述结果显示单元的输入端,所述键盘模块的输出端与所述深度学习算法模块的输入端通过数据线连接。优选的,所述深度学习算法模块的内部通过编程软件装有深度学习算法,所述深度学习算法的工作方法包括如下步骤:(1)构建注意行为特征库:首先利用数据采集单元不停的拍摄被注意人的行为日常,并且将拍摄的图像传送到深度学习算法模块,然后通过键盘模块对这些图像进行分类,构建注意行为图谱,选出注意行为的特征描述作为研究对象构建注意行为特征库,构建出不同的注意行为的特征描述,为深度学习网络模型对注意行为图像识别的准确度提供视本文档来自技高网...

【技术保护点】
1.一种基于深度学习的注意行为模型,其特征在于:包括数据采集单元、深度学习算法单元以及结果显示单元,所述数据采集模块至少包括一个摄像头和键盘模块,所述深度学习算法模块至少包括一个处理器,所述结果显示单元至少包括一个显示器,所述数据采集单元采集到的数据传送到所述深度学习算法单元的输入端,所述深度学习算法模块的输出端连接到所述结果显示单元的输入端,所述键盘模块的输出端与所述深度学习算法模块的输入端通过数据线连接。/n

【技术特征摘要】
1.一种基于深度学习的注意行为模型,其特征在于:包括数据采集单元、深度学习算法单元以及结果显示单元,所述数据采集模块至少包括一个摄像头和键盘模块,所述深度学习算法模块至少包括一个处理器,所述结果显示单元至少包括一个显示器,所述数据采集单元采集到的数据传送到所述深度学习算法单元的输入端,所述深度学习算法模块的输出端连接到所述结果显示单元的输入端,所述键盘模块的输出端与所述深度学习算法模块的输入端通过数据线连接。


2.根据权利要求1所述的一种基于深度学习的注意行为模型,其特征在于:所述深度学习算法模块的内部通过编程软件装有深度学习算法,所述深度学习算法的工作方法包括如下步骤:
(1)构建注意行为特征库:首先利用数据采集单元不停的拍摄被注意人的行为日常,并且将拍摄的图像传送到深度学习算法模块,然后通过键盘模块对这些图像进行分类,构建注意行为图谱,选出注意行为的特征描述作为研究对象构建注意行为特征库,构建出不同的注意行为的特征描述,为深度学习网络模型对注意行为图像识别的准确度提供视觉依据;
(2)注意行为图像特征库的构建:根据注意行为图谱分类,编写爬虫软件在权威图库中按照常见的注意行为类别下载图像,经过数据清洗,得到有效图像,构建了注意行为图像数据库
(3)注意行为图像识别模型构建与分析:包括如下步骤:
(A):首先从注意行为特征库中取出样本图像,进行数据扩增,先应用双线性插值方法将图像缩小到256×256大小,然后按照224×224大小截取图像中左上角、右上角、左下角、右下角和中间部分图像块,最后将截取后的图像块进行水平翻转,总共有10张子图像块输入到卷积网络模型的第一卷积层,达到数据集扩增效果;
(B):数据扩增后进行ReLU非线性激活,激活后进行归一化处理,归一化处理是为了提高模型的泛化能力;然后再将数据输入到第二、第三卷积层,第二、第三卷积层直接相连,在进行归一化层和池化层之后,启用了9个Inception模块,模型在不同深度处增加了两个辅助性的分类量词来保证梯度回传消失;在初期模块操作之后,经过平均池化,降低特征维度,最后进行一个1024个...

【专利技术属性】
技术研发人员:齐妙吕英华郑彩侠王建中孔俊
申请(专利权)人:东北师范大学
类型:发明
国别省市:吉林;22

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1