一种用于在线视频学习的基于眼动信号的情感识别方法技术

本发明专利技术公开了一种用于在线视频学习的基于眼动信号的情感识别方法。包括一下步骤：S1、自建眼动数据库，以学习视频作为刺激材料，获取眼动数据。并对数据标注、预处理、数据集设置、数据类型转换、数据扩增和数据集划分等操作。S2、设计一个基于卷积神经网路的子卷积块；S3、将网络设计成一个具有五个大层的网络结构；S4、对训练过程可视化并通过评价指标对所提出的网络结构评价，以检测所提出的网络的优劣。最后使用无监督学习和标记数据，使用于训练的数据更加准确。

【技术实现步骤摘要】
一种用于在线视频学习的基于眼动信号的情感识别方法本研究得到国家自然科学基金项目(编号：61906051)和广西自然科学基金项目(编号：2018GXNSFBA050029)资助
本专利技术涉及情感识别领域，尤其涉及一种针对在线视频学习的基于眼动测量并使用基于改进的卷积神经情感识别方法。
技术介绍
近年来，计算机和人工智能等领域飞速发展，现代教育技术也在快速发展与变革，为教育方式与教育手段带来了新的技术。随着国家对教育的投入，教育信息化进程日新月异，在线教育作为线下教育的补充，已经成为了一种突破时间和空间的阻碍的学习方式。每年在线学习的人数都以递增的趋势发展，在线教育越来越受到大众的欢迎与认可。在在线视频学习过程中，学习者会受学习材料产生不同的情感状态，而情感对于人类的认知、学习、记忆、思维和社交都有很大的影响。关联主义学习理论者西蒙斯(GeorgeSiemens)指出，在学习过程中，学习者的思维方式和情感状态会相互影响。相关心理学研究表明，学习过程中的认真、高兴、满意等积极正向的情感状态有助于激发学习兴趣，促进认知活动；而厌倦、困惑、厌恶本文档来自技高网...

【技术保护点】
1.一种用于在线视频学习的基于眼动信号的情感识别方法，其特征在于，包括以下步骤：/nS1；自建眼动数据库，以学习视频作为刺激材料，获取眼动数据，并对数据标注、预处理、数据集设置、数据类型转换、数据扩增和数据集划分操作；/nS2；设计一个基于卷积神经网路的子卷积块；/nS3；将网络设计成一个具有五个大层的网络结构；/nS4；对训练过程可视化并通过评价指标对所提出的网络结构评价，以检测所提出的网络性能的优劣。/n

【技术特征摘要】
1.一种用于在线视频学习的基于眼动信号的情感识别方法，其特征在于，包括以下步骤：
S1；自建眼动数据库，以学习视频作为刺激材料，获取眼动数据，并对数据标注、预处理、数据集设置、数据类型转换、数据扩增和数据集划分操作；
S2；设计一个基于卷积神经网路的子卷积块；
S3；将网络设计成一个具有五个大层的网络结构；
S4；对训练过程可视化并通过评价指标对所提出的网络结构评价，以检测所提出的网络性能的优劣。


2.根据权利要求1所述的一种用于在线视频学习的基于眼动信号的情感识别方法，其特征在于，所述S1具体包括以下步骤：
S11；自建实验数据集，使用学习视频作为刺激材料，诱发被试者在学习过程中的情感状态，采集过程中的眼动信息；
S12；采用离散型的情感标注模型对数据进行标注，将情感标注词分为正向和负向情感两种情感状态；
S13：对采集的眼动数据进行预处理，预处理包括：高质量数据筛选，去除异常值和缺省值；
S14：把数据集的时间窗口大小设置为5秒；
S15：将眼动信息中的瞳孔直径数字型数据转换为图像数据类型；
S16：对数据进行扩增，主要为反转和加噪处理；
S17：图像数据划分为训练集、验证集和测试集，划分比例为70％，10％，20％。


3.根据权利要求1所述的一种用于在线视频学习的基于眼动信号的情感识别方法，其特征在于，所述S2具体包括以下步骤：
S21：将该卷积块设计为一个四路的并联结构；
S22：首层为1*1的卷积层，卷积计算过程为：

其中，l代表层数，Mj代表第j个特征图，b代表偏置；
S23：后面并上一个上述的四路子网络结构，四路结构如下面步骤所示；
第一路为一个3*3的最大池化层和一个3*3的卷积层，其池化操作可以通过Kronecker乘积来得到：

其中，l代表卷积层，up()代表池化操作；
第二路为一个3*3的平均池化层和一个1*1的卷积层；
第三路为一个3*3的卷积层；

【专利技术属性】
技术研发人员：陶小梅，刘胜西，鲍金笛，李泽，
申请(专利权)人：桂林理工大学，
类型：发明
国别省市：广西;45