一种面向课堂实录视频的教师言语智能检测方法及系统技术方案

本发明专利技术涉及计算机信息处理领域，提供一种面向课堂实录视频的教师言语的智能检测方法及系统，该方法包括以下步骤：(1)构建教师言语样本，将课堂实录视频资源转化成音频数据，基于教师音频特征筛选提取教师音频，将教师音频转化成教师言语数据，构建教师言语样本；(2)建立教师言语检测模型，将标注后的样本语料数据输入改进的TextCNN文本卷积神经网络模型，通过模型训练参数调整，选择最优模型保存为教师言语检测模型；(3)测算不当言语检测结果，应用教师言语检测模型测算教师不当言语检测结果。本发明专利技术能够对课堂教师言语进行自动化提取、智能化检测与可视化反馈，为课堂教学质量提升提供支持。供支持。供支持。

【技术实现步骤摘要】
一种面向课堂实录视频的教师言语智能检测方法及系统


[0001]本专利技术涉及计算机信息处理领域，具体涉及一种面向课堂实录视频的教师言语智能检测方法及系统。

技术介绍

[0002]随着人工智能技术的发展，将人工智能技术应用于教育和教学过程，促进教育事业的发展，提升教学质量已成为教育领域研究的热点问题。在教育信息化的众多应用中，利用人工智能技术识别教师言语行为，促进教师改善教学方式，是一个值得研究的课题。依托大量可获取的教学视频，结合具体教学场景，探究基于深度学习技术的教师言语智能检测方法，能够及时评估教师教学状态，改善教师教学质量。
[0003]当前面向课堂实录视频的教师言语检测工作中存在以下困难：(1)目前对教师言语检测大多通过课堂观察、问卷调查等方法，主观性较强，难以保证结果真实准确；(2)课堂实录视频资源的音频信息复杂多样，涉及各类人声、机器声、多媒体播放声，教师音频特征不明显，难以实现对教师、学生以及其他背景音的音频分离；(3)常规基于机器学习的言语检测模型不能有效解决语义相似判断问题，在文本语义检测识别方面准确度较低；(4)缺乏本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向课堂实录视频的教师言语智能检测方法，其特征在于该方法包括以下步骤：(1)构建教师言语样本，将课堂实录视频资源转化成音频数据，基于教师音频特征筛选提取教师音频，并进行强化、降噪处理；应用基于librosa的语音识别模型，将教师音频转化成教师言语数据，构建教师言语样本；(2)建立教师言语检测模型，对教师言语样本进行预处理，并根据言语类别进行词性标注，形成标注后的样本语料数据；将标注后的样本语料数据输入改进的TextCNN文本卷积神经网络模型，通过模型训练参数调整，选择最优模型保存为教师言语检测模型；(3)测算言语检测结果，从待检测的课堂实录视频资源中提取教师言语数据，应用教师言语检测模型测算教师言语检测结果，并通过可视化方式展示。2.根据权利要求1所述的面向课堂实录视频的教师言语智能检测方法，其特征在于步骤(1)中所述构建教师言语样本的具体过程如下：(1
‑
1)音频数据提取，读取数据库中的课堂实录视频资源，提取课堂视频资源的对应课堂音频voice_class；(1
‑
2)教师音频提取，应用声纹识别模型ECAPA
‑
TDNN识别教师的说话特征，对其音频段进行强化和降噪处理，保留含有教师音频的有效音频；(1
‑2‑
1)课堂音频分类，将课堂音频voice_class切分多个音频片段，利用声纹识别模型ECAPA
‑
TDNN计算各音频片段的声音特征种类数量num，并基于num值将音频片段分为以下三类：
①
若num＝1表示该音频片段仅有一种声音特征，该音频片段为单特征音片段voice_single；
②
若num>1表示该音频片段有多种声音特征，该音频片段为多特征音片段voice_multiple；
③
若num＝0表示该音频片段没有任何声音特征，该音频片段为静默片段voice_silent；(1
‑2‑
2)教师音频特征识别，根据特征音差异，将单特征音片段voice_single分为不同特征音的音频片段集合{clip1,clip2,
…
,clip
i
}，统计各特征音的总时长T、信噪比SNR；T＝{t1,t2,
…
,t
i
}SNR＝{snr1,snr2,
…
,snr
i
}其中，clip
i
表示第i个特征音的音频片段集合，t
i
表示第i个特征音的总时长，snr
i
表示第i个特征音的信噪比；在音频片段集合{clip1,clip2,
…
,clip
i
}中，选取信噪比小于10dB的音频片段集合为备选片段选取备选片段中时长最大的片段标记为教师特征音teacher_feature；(1
‑2‑
3)针对多特征音片段voice_multiple，先使用TasNet网络将不同声音进行分离，提取与教师特征音teacher_feature一致的音频片段，并与单特征音片段voice_single中的教师音频组合为完整教师音频teacher_voice；(1
‑
3)教师言语样本构建，对教师音频teacher_voice进行降噪和音频加强处理，应用
基于librosa的语音识别模型，将教师音频teacher_voice转写为教师言语文本teacher_text，并将其作为教师言语样本。3.根据权利要求1所述的面向课堂实录视频的教师言语智能检测方法，其特征在于步骤(2)中所述建立教师言语检测模型的具体步骤如下：(2
‑
1)确定言语标签类别，根据言语内涵特征差异，将教师言语划分为m种类型，并生成对应的m个言语标签；(2
‑
2)样本数据预处理，对教师言语文本teacher_text进行预处理，通过清洗、分词、词性标注、去停用词，得到标注后的样本语料数据sample_mark；(2
‑2‑
1)基础分词，使用jieba...

【专利技术属性】
技术研发人员：吴砥，陈敏，周驰，徐建，
申请(专利权)人：华中师范大学，
类型：发明
国别省市：