一种基于卷积神经网络和序列神经网络的眼动行为检测方法及系统技术方案

本发明专利技术提供了一种基于卷积神经网络和序列神经网络的眼动行为检测方法及系统，包括如下步骤：步骤1，采集目标人员视频，对视频进行帧图像提取，建立包含多类目标人员行为的目标人员行为数据集。本发明专利技术对卷积神经网络进行改进，配合时间图像序列神经网络，用两层卷积核大小为3*3的卷积层来代替卷积核大小为5*5的卷积层，来减少网络模型的参数量，卷积层之间使用SELU激活函数，可以更好地归一化数据集，并减少梯度爆炸或者消失，使用最大池化实现降采样处理，应用dropout函数，降低过拟合，能准确识别目标人员眼动几类行为和面部状态，实现视频自动化检索，提高分析眼动行为的效率。

【技术实现步骤摘要】

本专利技术涉及眼动行为检测，具体涉及一种基于卷积神经网络和序列神经网络的眼动行为检测方法及系统。

技术介绍

1、目前，增强现实(ar)和/或虚拟现实(vr)系统可以生成三维(3d)沉浸式环境。用户可以通过各种电子设备与3d虚拟沉浸式环境进行交互来体验，例如，mr眼镜或其他近眼显示设备(包括vr眼镜、ar眼镜、xr眼镜等)被统称为头戴式显示器(hmd)

2、相比于手势追踪、语音识别、6dof控制器等常见的交互方式之外，眼动追踪有其优势和优点，私密性更好，更加便捷，为此提供一种基于卷积神经网络和序列神经网络的眼动行为检测方法及系统，获取眼动数据实现眼动交互方式。

技术实现思路

1、为克服现有技术所存在的缺陷，现提供一种基于卷积神经网络和序列神经网络的眼动行为检测方法及系统，以解决在的问题。

2、为实现上述目的，提供一种基于卷积神经网络和序列神经网络的眼动行为检测方法，包括如下步骤：

3、步骤1，采集目标人员视频，对视频进行帧图像提取，建立包含多类目标人员行为的目标人员行为数据集本文档来自技高网...

【技术保护点】

1.一种基于卷积神经网络和序列神经网络的眼动行为检测方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种基于卷积神经网络和序列神经网络的眼动行为检测方法，其特征在于：步骤4还包括以帧数i为横坐标，以得到的行为分类结果Result为纵坐标，构造时间序列图。

3.根据权利要求1所述的一种基于卷积神经网络和序列神经网络的眼动行为检测方法，其特征在于：步骤4中还包括根据Result值对应的行为类别，得到一段视频内目标人员每类行为发生的次数以及每次的持续时长，判断时间序列图中目标人员一系列行为。

4.根据权利要求1所述的一种基于卷积神经网络和序列神经网...

【技术特征摘要】

1.一种基于卷积神经网络和序列神经网络的眼动行为检测方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种基于卷积神经网络和序列神经网络的眼动行为检测方法，其特征在于：步骤4还包括以帧数i为横坐标，以得到的行为分类结果result为纵坐标，构造时间序列图。

3.根据权利要求1所述的一种基于卷积神经网络和序列神经网络的眼动行为检测方法，其特征在于：步骤4中还包括根据result值对应的行为类别，得到一段视频内目标人员每类行为发生的次数以及每次的持续时长，判断时间序列图中目标人员一系列行为。

4.根据权利要求1所述的一种基于卷积神经网络和序列神经网络的眼动行为检测方法，其特征在于：步骤1中还包括对所述图像帧中的目标人员行为分类，并按照分类顺序分别对每类图像打上标签，生成目标人员行为数据集。

5.根据权利要求1所述的一种基于卷积神经网络和序列神经网络的眼动行为检测方法，其特征在于：步骤2中目标人员识别模型的建立包括：样本准备，将样本分为训练集和测试集，构建卷积神经网络结构，将训练集图像导入建立的卷积神经网络结构中进行训练，训练完成，得到训练精度高的卷积神经网络，即得到目标人员行为识别模型。

6.根据权利要求5所述的一种基于卷积神经网络和序列神经网络的眼动行为检测方法，其特征在于：步骤2中卷积神经网络结构如下以alexnet结构为基础，网络包括五个convolutional层、三个maxpooling层、三个dense层，所述convolutional层提取原始图像的基本特征；所述maxpooling层采用最大池化的方法，对前一层进行最大采样，滑窗大小为3×3，步长为2；所述dense层将经过convolutional层和maxpooling层...

【专利技术属性】
技术研发人员：王鑫，
申请(专利权)人：王鑫，
类型：发明
国别省市：