面向视频学习过程的认同度量化评估方法及系统技术方案

本发明专利技术公开了一种面向视频学习过程的认同度量化评估方法及系统，属于多媒体内容分析技术领域，包括：采集教学视频和学习者的面部视频；基于语音情感分类模型对教学视频进行处理，得到教学视频的情感表示矩阵；基于人脸情感分类模型对学习者的面部视频进行处理，得到学习者的情感表示矩阵；根据教学视频的情感表示矩阵和学习者的情感表示矩阵，计算学习者和教学视频的情感一致性。本发明专利技术通过分析视频内容和学习者面部表情的情感一致性来评估学习者对视频内容的认同度，可有效度量视频内容和人脸情感的相关性。人脸情感的相关性。人脸情感的相关性。

【技术实现步骤摘要】
面向视频学习过程的认同度量化评估方法及系统


[0001]本专利技术涉及多媒体内容分析
，特别涉及一种面向视频学习过程的认同度量化评估方法及系统。

技术介绍

[0002]以往在了解学习者对观看视频的认同度上大多采取填写调查问卷方法，进而再通过大数据进行分析。而现如今，在“互联网+”技术的发展推动下，通过构建深度学习模型来实时观测学习者的情感和对视频内容的认同度分析也成为可考虑的方法。在情感分析应用技术上，最普遍的便是应用人脸表情情感识别或语音情感识别。但这些方法主要通过多媒体分析技术对视频内容或者人脸面部表情进行情感分析，但是不能有效度量视频内容和人脸情感的相关性。

技术实现思路

[0003]本专利技术的目的在于克服上述
技术介绍
中的不足，通过分析视频内容和学习者面部表情的情感一致性评价学习者对视频内容的认同度，提高评估准确性。
[0004]为实现以上目的，一方面，采用一种面向视频学习过程的认同度量化评估方法，包括：
[0005]采集教学视频和学习者的面部视频；
[0006]基于语音情感分类模型对教学视频进行处理，得到教学视频的情感表示矩阵；
[0007]基于人脸情感分类模型对学习者的面部视频进行处理，得到学习者的情感表示矩阵；
[0008]根据教学视频的情感表示矩阵和学习者的情感表示矩阵，计算学习者和教学视频的情感一致性。
[0009]进一步地，在所述采集教学视频和学习者的面部视频之前，还包括：
[0010]收集教学视频的语音片段，对语音片段进行表情标注以及对语音片段进行语音矢量提取，构建语音情感数据集；
[0011]利用语音情感数据集对语音情感分类模型进行训练。
[0012]进一步地，在所述采集教学视频和学习者的面部视频之前，还包括：
[0013]收集被试者的面部图像；
[0014]采用面部检测器定位被试者的面部图像中的面部区域，并对面部区域进行表情标注；
[0015]利用被试者的面部图像及对应表情标注对人脸情感分类模型进行训练。
[0016]进一步地，所述对语音片段进行语音矢量提取，包括：
[0017]对所述语音片段使用汉明窗进行分帧，并对每一帧做短时傅里叶变换后，利用信号幅值计算声谱图；
[0018]将声谱映射到64阶梅尔滤波器组中计算梅尔声谱，通过控制时长，得到96
×
64维
的梅尔倒谱系数矩阵；
[0019]对每个矩阵，利用语音模型，提取其128维的语音矢量表示。
[0020]进一步地，所述基于语音情感分类模型对教学视频进行处理，得到教学视频的情感表示矩阵，包括：
[0021]对所述教学视频提取其音频数据，并将音频数据平均切割成N个语音片段；
[0022]将N个语音片段输入至所述语音情感分类模型，预测每个语音片段的情感因素；
[0023]将每个语音片段的情感因素组成所述教学视频的情感表示矩阵。
[0024]进一步地，所述基于人脸情感分类模型对学习者的面部视频进行处理，得到学习者的情感表示矩阵，包括：
[0025]对于所述学习者的面部视频，在每个所述语音片段对应的时间间隔内提取一帧图像，得到N帧图像；
[0026]利用面部检测器定位每帧图像中的面部区域；
[0027]将每帧图像中的面部区域输入至所述人脸情感分类模型，预测每帧图像的情感因素；
[0028]将N帧图像的情感因素组成所述学习者的面部视频的情感表示矩阵。
[0029]进一步地，所述根据教学视频的情感表示矩阵和学习者的情感表示矩阵，计算学习者和教学视频的情感一致性，采用如下公式实现：
[0030][0031]其中，c(V
c
,V
f
)表示情感一致性，V
c
表示所述教学视频，V
f
表示所述学习者的面部视频，E
f
表示所述学习者的面部视频的情感表示矩阵，E
c
表示所述教学视频的情感表示矩阵，N0表示学习者经过N0个时间片段后和视频内容的情感达到一致。
[0032]进一步地，还包括：
[0033]将所述学习者和教学视频的情感一致性与设定的阈值进行比较；
[0034]若在阈值范围内，则确定所述学习者认同所述教学视频；
[0035]若不在阈值范围内，则确定所述学习者不认同所述教学视频。
[0036]另一方面，采用一种面向视频学习过程的认同度量化评估系统，包括采集模块、第一情感因素预测模块、第二情感因素预测模块和情感度量模块，其中：
[0037]采集模块用于采集教学视频和学习者的面部视频；
[0038]第一情感因素预测模块用于基于语音情感分类模型对教学视频进行处理，得到教学视频的情感表示矩阵；
[0039]第二情感因素预测模块用于基于人脸情感分类模型对学习者的面部视频进行处理，得到学习者的情感表示矩阵；
[0040]情感度量模块用于根据教学视频的情感表示矩阵和学习者的情感表示矩阵，计算学习者和教学视频的情感一致性。
[0041]进一步地，所述情感度量模块采用如下公式实现：
[0042][0043]其中，c(V
c
,V
f
)表示情感一致性，V
c
表示所述教学视频，V
f
表示所述学习者的面部视频，E
f
表示所述学习者的面部视频的情感表示矩阵，E
c
表示所述教学视频的情感表示矩阵，N0表示学习者经过N0个时间片段后和视频内容的情感达到一致。
[0044]与现有技术相比，本专利技术存在以下技术效果：本专利技术将情感分析应用于学习者在对教学视频学习过程中，对视频内容的认同度分析上，在观看视频时，通过分析视频内容和学习者面部表情的情感一致性来评估学习者对视频内容的认同度，有效度量视频内容和人脸情感的相关性，提高了学习者对教学内容学习过程认同度评估的准确性。
附图说明
[0045]下面结合附图，对本专利技术的具体实施方式进行详细描述：
[0046]图1是一种面向视频学习过程的认同度量化评估方法的流程图；
[0047]图2是一种面向视频学习过程的认同度量化评估方法的整体流程图；
[0048]图3是一种面向视频学习过程的认同度量化评估系统的结构图。
具体实施方式
[0049]为了更进一步说明本专利技术的特征，请参阅以下有关本专利技术的详细说明与附图。所附图仅供参考与说明之用，并非用来对本专利技术的保护范围加以限制。
[0050]如图1至图2所示，本实施例公开了一种面向视频学习过程的认同度量化评估方法，包括如下步骤S1至S4：
[0051]S1、采集教学视频和学习者的面部视频；
[0052]需要说明的是，教学视频和学习者的面部视频的采集过程可为：在学习者通过视频进行视频学习过程中，收集相应的学习视频，并利本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向视频学习过程的认同度量化评估方法，其特征在于，包括：采集教学视频和学习者的面部视频；基于语音情感分类模型对教学视频进行处理，得到教学视频的情感表示矩阵；基于人脸情感分类模型对学习者的面部视频进行处理，得到学习者的情感表示矩阵；根据教学视频的情感表示矩阵和学习者的情感表示矩阵，计算学习者和教学视频的情感一致性。2.如权利要求1所述的面向视频学习过程的认同度量化评估方法，其特征在于，在所述采集教学视频和学习者的面部视频之前，还包括：收集教学视频的语音片段，对语音片段进行表情标注以及对语音片段进行语音矢量提取，构建语音情感数据集；利用语音情感数据集对语音情感分类模型进行训练。3.如权利要求1所述的面向视频学习过程的认同度量化评估方法，其特征在于，在所述采集教学视频和学习者的面部视频之前，还包括：收集被试者的面部图像；采用面部检测器定位被试者的面部图像中的面部区域，并对面部区域进行表情标注；利用被试者的面部图像及对应表情标注对人脸情感分类模型进行训练。4.如权利要求2所述的面向视频学习过程的认同度量化评估方法，其特征在于，所述对语音片段进行语音矢量提取，包括：对所述语音片段使用汉明窗进行分帧，并对每一帧做短时傅里叶变换后，利用信号幅值计算声谱图；将声谱映射到64阶梅尔滤波器组中计算梅尔声谱，通过控制时长，得到96
×
64维的梅尔倒谱系数矩阵；对每个矩阵，利用语音模型，提取其128维的语音矢量表示。5.如权利要求1所述的面向视频学习过程的认同度量化评估方法，其特征在于，所述基于语音情感分类模型对教学视频进行处理，得到教学视频的情感表示矩阵，包括：对所述教学视频提取其音频数据，并将音频数据平均切割成N个语音片段；将N个语音片段输入至所述语音情感分类模型，预测每个语音片段的情感因素；将每个语音片段的情感因素组成所述教学视频的情感表示矩阵。6.如权利要求5所述的面向视频学习过程的认同度量化评估方法，其特征在于，所述基于人脸情感分类模型对学习者的面部视频进行处理，得到学习者的情感表示矩阵，包括：对于所述学习者的面部视频，在每个所述语音片段对应的时间间隔内提取一帧图像，得到N帧图像；利用面部检测器定位每帧图像中的面部区域；将每帧图像中的面部区域输入至所述人脸情感分类模型，预测每帧图...

【专利技术属性】
技术研发人员：刘学亮，孙乐璇，薛峰，郝世杰，闵海，罗月童，汪萌，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：