基于多模态融合的学生学习偏好识别方法技术

本发明专利技术公开了基于多模态融合的学生学习偏好识别方法，属于教学技术领域，包括以下步骤：S1、声音传感器获取学生的语音信息，利用语音特征学习网络对获取的语音信息进行语音特征学习，S2、穿戴设备获取学生的生命特征信息，采用维生命特征学习网络对生命特征信息进行维生命特征学习。本发明专利技术中，采用多尺度的方式，根据视频背景变化分割不同时长的n个小视频，实现精准识别，同时，采用多模态融合，根据表情、语音、心率、呼吸、血压等信息建立多模态特征，识别效果更好，通过LSTM模型，在更深的机制层面实现网络的结合，强化了长时记忆能力。

【技术实现步骤摘要】
基于多模态融合的学生学习偏好识别方法
本专利技术涉及教学
，具体为基于多模态融合的学生学习偏好识别方法。
技术介绍
学生中小学阶段的教育是最能体现甚至于决定学生兴趣方向的教育阶段。目前，学生家长和教师都非常重视对学生的兴趣培养，而从巨大的学习资源库中挑选学习资源来帮助培养学生学习兴趣，这种方式不仅会造成学习资源的浪费以及不合理占用，而且自主推荐的学习资源多而杂，难以抓住学生学习的兴趣点，从而难以达到提升学习兴趣的效果；此外，学校所提供的教育资源无法根据学生用户的能力和兴趣进行个性化推荐，如此便导致了现有的教育资源的利用率普遍不高，即使教育资源库中的内容再丰富，但对中小学生学习的影响甚微。传统的教学设计不考虑学生的差异性，而实际情况是学生群体庞大，学习偏好有差异，这是普遍存在的客观规律，即使是25人的小班，个体之间的差异也非常大，传统教学模式很难兼顾所有学生的个性化需求。综上所述，研发一种基于多模态融合的学生学习偏好识别方法，仍是教学
中急需解决的关键问题。
技术实现思路
本专利技术提供的专利技术目的在于提供基于多模态融合的学生学习偏好识别方法，相较于传统的方式，将视频划分为n个长度相等的片段，然后进行抽样，容易丢失重要信息，或容易增加计算量，采用多尺度的方式，根据视频背景变化分割不同时长的n个小视频，实现精准识别，同时，采用多模态融合，根据表情、语音、心率、呼吸、血压等信息建立多模态特征，识别效果更好，通过LSTM模型，在更深的机制层面实现网络的结合，强化了长时记忆能力。为了实现上述效果，本专利技术提供如下技术方案：基于多模态融合的学生学习偏好识别方法，包括以下步骤：S1、声音传感器获取学生的语音信息，利用语音特征学习网络对获取的语音信息进行语音特征学习。S2、穿戴设备获取学生的生命特征信息，采用维生命特征学习网络对生命特征信息进行维生命特征学习。S3、摄像头获取学生的视频信息，利用二维空间特征学习网络和二维时间特征学习网络，对视频信息进行二维空间特征学习和二维时间特征学习。S4、采用3D时间特征网络来学习时序特征。S5、将语音特征学习结果、维生命特征学习结果、二维空间特征学习结果、二维时间特征学习结果和时序特征学习结果，输入到神经网络模型中进行融合，获得预测结果。进一步的，所述生命特征信息包括心率信息、呼吸信息和血压信息。进一步的，在所述步骤S1中，包括以下步骤：S101、声音传感器获取学生的语音信息。S102、训练语音特征学习网络。S103、训练完成后，利用语音特征学习网络参数对原始输入进行一映射得到特征信息得分，即：y＝f(x,θDNN)，其中x表示原始语音信息，θDNN表示网络参数，y表示映射后的特征信息得分。进一步的，在所述步骤S2中，包括以下步骤：S201、穿戴设备获取学生的生命特征信息。S202、将穿戴设备获取的生命信号转换位三通道的二维图像。S203、采用维生命特征学习网络，获取二维图像的维生命特征信息得分。进一步的，在所述步骤S3中，包括以下步骤：S301、摄像头获取学生的视频信息。S302、将视频分为N段，以单帧RGB图像为输入，通过二维空间特征学习网络，获得二维空间特征学习预测得分，以连续光流场为输入，通过二维时间特征学习网络，获得二维空间特征学习预测得分。S303、将N个预测结果进行聚合，分别得到空间和时间网络上对视频中类别预测的得分。进一步的，在所述步骤S4中，所述3D时间特征网络将得到的N帧RGB图像为输入，通过将3D卷积分解为空间上的二维卷积及时间上的一维卷积，来学习时序特征。进一步的，在所述步骤S4中，所述神经网络模型为LSTM网络模型。进一步的，所述语音特征学习网络、维生命特征学习网络、二维空间特征学习网络、二维时间特征学习网络和3D时间特征网络均Resnet-50为基础网络。本专利技术提供了基于多模态融合的学生学习偏好识别方法，具备以下有益效果：(1)、本专利技术中，改变了传统方法，获取学生的视频，将视频划分为n个长度相等的片段，然后进行抽样，传统方式容易丢失重要信息，或容易增加计算量，影响识别的效果和精度，采用多尺度，根据视频背景变化分割不同时长的n个小视频，实现精准识别。(2)、本专利技术中，采用多模态融合，根据表情、语音、心率、呼吸、血压等信息建立多模态特征，识别效果更好，同时通过LSTM模型，不仅能在时间层面，也能在空间层面上进行依赖的表象特征和运动特征的抽取，从而在更深的机制层面实现网络的结合，强化了长时记忆能力。附图说明图1为基于多模态融合的学生学习偏好识别方法的流程图；图2为基于多模态融合的学生学习偏好识别方法中步骤一的流程图；图3为基于多模态融合的学生学习偏好识别方法中步骤二的流程图；图4为基于多模态融合的学生学习偏好识别方法中步骤三的流程图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述；显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例，基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。下面结合实施例对本专利技术作进一步的描述。实施例：请参照图4所示，基于多模态融合的学生学习偏好识别方法，包括以下步骤：步骤一、声音传感器获取学生的语音信息，利用语音特征学习网络对获取的语音信息进行语音特征学习。包括以下步骤：101)、声音传感器获取学生的语音信息。102)、训练语音特征学习网络，取逐层预训练的方法对网络参数进行初始化，先通过强制对齐得到每一帧训练数据对应的状态id，作为训练标签，以训练数据作为激励，取输出值最大的节点记为预测标签，通过以最小化交叉熵为目标函数，利用误差反向传播算法调整参数，目标函数记为：其中，θ表示网络参数，N表示不同标签的总数，y(i)表示定训练数据情况下，网络输出层i节点的输出值，即状态i的预测出现概率，y、(i)表示状态i的实际出现概率。103)、训练完成后，利用语音特征学习网络参数对原始输入进行一映射得到特征信息得分，即：y＝f(x,θDNN)，其中x表示原始语音信息，θDNN表示网络参数，y表示映射后的特征信息得分。步骤二、穿戴设备获取学生的生命特征信息，采用维生命特征学习网络对生命特征信息进行维生命特征学习。包括以下步骤：201)、穿戴设备获取学生的生命特征信息。202)、将穿戴设备获取的生命信号转换位三通道的二维图像。203)、采用维生命特征学习网络，获取二维图像的维生命特征信息得分。步骤三、摄像头获取学生的视频信息，利用二维空间特征学习网络和二维时间特征学习网络，对视频信息进行二维空间特征学习和二维时间特征学习。包括以下步骤：3本文档来自技高网...

【技术保护点】
1.基于多模态融合的学生学习偏好识别方法，其特征在于，包括以下步骤：/nS1、声音传感器获取学生的语音信息，利用语音特征学习网络对获取的语音信息进行语音特征学习；/nS2、穿戴设备获取学生的生命特征信息，采用维生命特征学习网络对生命特征信息进行维生命特征学习；/nS3、摄像头获取学生的视频信息，利用二维空间特征学习网络和二维时间特征学习网络，对视频信息进行二维空间特征学习和二维时间特征学习；/nS4、采用3D时间特征网络来学习时序特征；/nS5、将语音特征学习结果、维生命特征学习结果、二维空间特征学习结果、二维时间特征学习结果和时序特征学习结果，输入到神经网络模型中进行融合，获得预测结果。/n

【技术特征摘要】
1.基于多模态融合的学生学习偏好识别方法，其特征在于，包括以下步骤：
S1、声音传感器获取学生的语音信息，利用语音特征学习网络对获取的语音信息进行语音特征学习；
S2、穿戴设备获取学生的生命特征信息，采用维生命特征学习网络对生命特征信息进行维生命特征学习；
S3、摄像头获取学生的视频信息，利用二维空间特征学习网络和二维时间特征学习网络，对视频信息进行二维空间特征学习和二维时间特征学习；
S4、采用3D时间特征网络来学习时序特征；
S5、将语音特征学习结果、维生命特征学习结果、二维空间特征学习结果、二维时间特征学习结果和时序特征学习结果，输入到神经网络模型中进行融合，获得预测结果。


2.根据权利要求1所述的基于多模态融合的学生学习偏好识别方法，其特征在于，所述生命特征信息包括心率信息、呼吸信息和血压信息。


3.根据权利要求1所述的基于多模态融合的学生学习偏好识别方法，其特征在于，在所述步骤S1中，包括以下步骤：
S101、声音传感器获取学生的语音信息；
S102、训练语音特征学习网络；
S103、训练完成后，利用语音特征学习网络参数对原始输入进行一映射得到特征信息得分，即：y＝f(x,θDNN)，其中x表示原始语音信息，θDNN表示网络参数，y表示映射后的特征信息得分。


4.根据权利要求1所述的基于多模态融合的学生学习偏好识别方法，其特征在于，在所述步骤S2中，...

【专利技术属性】
技术研发人员：徐坚，张泽鹏，楼可欣，刘创，章胜鹏，
申请(专利权)人：浙江开放大学，
类型：发明
国别省市：浙江;33