互动教学方法、装置、存储介质及电子设备制造方法及图纸

本公开涉及一种互动教学的方法、装置、存储介质及电子设备，可以在接收到互动请求消息的情况下，获取音频采集装置采集的教学互动音频信息；所述教学互动音频信息包括教师发出的音频信息或者学生发出的音频信息；将教学互动音频信息进行语音分段处理，得到多个子音频信息；根据多个子音频信息通过预先训练得到的语音识别模型，得到所述教学互动音频信息对应的文本识别结果，所述语音识别模型的模型结构去掉长短期记忆网络LSTM层；根据所述文本识别结果生成教学素材查询指令；根据所述教学素材查询指令查询与所述教学互动音频信息匹配的目标素材；将目标素材添加至当前正在展示的教学课件中，以便展示根据教学互动音频信息查找的所述目标素材。

【技术实现步骤摘要】
互动教学方法、装置、存储介质及电子设备
本公开涉及智能教学领域，具体地，涉及一种互动教学的方法、装置、存储介质及电子设备。
技术介绍
当下智慧教室越来越重要，其功能不仅仅局限于教室硬件设备的智能化(例如智能开关，智能投影仪等)，其更多地体现于课堂内容的智能记录与智能处理，在具体的教学形式上，表现为对教师、学生等教学活动主体间的良好互动支持，因此，做好教学互动环节，是掌握好教学环节的质量，提高教学水平的关键。目前的线下教学场景中，需要教师在每一节课前都准备大量课件、视频、音频等素材，引导学生思路，教学走向需要依靠教师不断引导，而一旦学生的思维或反馈超出课堂本身的内容准备时，教师也只能草草讲解或延至下次课准备好之后再进行讲解，无法及时响应来自学生的“互动请求”。
技术实现思路
本公开的目的是提供一种互动教学的方法、装置、存储介质及电子设备。第一方面，提供一种互动教学的方法，所述方法包括：在接收到互动请求消息的情况下，获取音频采集装置采集的教学互动音频信息；所述教学互动音频信息包括教师发出的音频信息或者学生发出的音频信息；将所述教学互动音频信息进行语音分段处理，得到多个子音频信息；根据多个所述子音频信息通过预先训练得到的语音识别模型，得到所述教学互动音频信息对应的文本识别结果，所述语音识别模型的模型结构去掉长短期记忆网络LSTM层；根据所述文本识别结果生成教学素材查询指令；根据所述教学素材查询指令查询与所述教学互动音频信息匹配的目标素材；将所述目标素材添加至当前正在展示的教学课件中，以便展示根据所述教学互动音频信息查找的所述目标素材。可选地，所述文本识别结果包括由多个离散的文本字符组成的字符序列；所述根据多个所述子音频信息通过预先训练得到的语音识别模型，得到所述教学互动音频信息对应的文本识别结果包括：针对多个所述子音频信息中的每个子音频信息，提取该子音频信息对应的梅尔倒谱系数MFCC特征；将每个所述子音频信息分别对应的所述MFCC特征依次输入所述语音识别模型，得到所述字符序列。可选地，所述根据所述文本识别结果生成教学素材查询指令包括：根据所述字符序列进行模糊匹配，得到目标关键字；根据所述目标关键字生成所述教学素材查询指令。可选地，在所述根据所述教学素材查询指令查询与所述教学互动音频信息匹配的目标素材之前，所述方法还包括：确定所述教学互动音频信息对应的声源身份，所述声源身份包括教师或者学生；根据所述声源身份从预先搭建的检索平台中确定目标检索平台；所述根据所述教学素材查询指令查询与所述教学互动音频信息匹配的目标素材包括：根据所述教学素材查询指令从所述目标检索平台查询所述目标素材。可选地，所述确定所述教学互动音频信息对应的声源身份包括：确定所述教学互动音频信息对应的目标采集方向；在所述目标采集方向为预设方向的情况下，确定所述教学互动音频信息对应的声源身份为教师；在所述目标采集方向不是所述预设方向的情况下，确定所述教学互动音频信息对应的声源身份为学生。可选地，所述将所述目标素材添加至当前正在展示的教学课件中包括：将所述目标素材以图层的方式添加至所述教学课件中的最顶层图像帧中。可选地，所述将所述目标素材添加至当前正在展示的教学课件中包括：确定是否接收到第一添加指令，所述第一添加指令为根据用户的触发操作生成的指令；在接收到所述第一添加指令的情况下，将所述目标素材添加至所述教学课件中。可选地，所述方法还包括：确定是否接收到用户触发的第二添加指令，所述第二添加指令用于指示将所述教学互动音频信息和/或课堂录像信息添加至所述教学课件中，所述课堂录像信息包括由录像装置采集的当前课堂的上课录像；在接收到所述第二添加指令的情况下，将所述教学互动音频信息和/或所述课堂录像信息添加至所述教学课件中。第二方面，提供一种互动教学装置，所述装置包括：获取模块，用于在接收到互动请求消息的情况下，获取音频采集装置采集的教学互动音频信息；所述教学互动音频信息包括教师发出的音频信息或者学生发出的音频信息；语音处理模块，用于将所述教学互动音频信息进行语音分段处理，得到多个子音频信息；语音识别模块，用于根据多个所述子音频信息通过预先训练得到的语音识别模型，得到所述教学互动音频信息对应的文本识别结果；生成模块，用于根据所述文本识别结果生成教学素材查询指令；查询模块，用于根据所述教学素材查询指令查询与所述教学互动音频信息匹配的目标素材；素材添加模块，用于将所述目标素材添加至当前正在展示的教学课件中，以便展示根据所述教学互动音频信息查找的所述目标素材。第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开第一方面所述方法的步骤。第四方面，提供一种电子设备，包括：存储器，其上存储有计算机程序；处理器，用于执行所述存储器中的所述计算机程序，以实现本公开第一方面所述方法的步骤。通过上述技术方案，在接收到互动请求消息的情况下，获取音频采集装置采集的教学互动音频信息；所述教学互动音频信息包括教师发出的音频信息或者学生发出的音频信息；将所述教学互动音频信息进行语音分段处理，得到多个子音频信息；根据多个所述子音频信息通过预先训练得到的语音识别模型，得到所述教学互动音频信息对应的文本识别结果，所述语音识别模型的模型结构去掉长短期记忆网络LSTM层；根据所述文本识别结果生成教学素材查询指令；根据所述教学素材查询指令查询与所述教学互动音频信息匹配的目标素材；将所述目标素材添加至当前正在展示的教学课件中，以便展示根据所述教学互动音频信息查找的所述目标素材，这样，可以接收由教师触发的互动教学请求，之后可以对音频采集装置收集的学生或者教师的音频进行语音识别后，搜索与学生或者教师的“互动请求”相关的教学素材，以便在教学视频中及时增加与该“互动请求”相关的该教学素材，从而可以及时响应来自学生或者教师的教学互动请求，提升教学质量，增加教师与学生的互动性，同时增加线下课堂教学的智能型和趣味性；另外，在进行语音识别的过程中，通过对音频信息进行语音分段处理，得到多个子音频信息，这样每个子音频信息可以直接输入去掉LSTM层的小型网络进行语音识别，使得网络结构变得简单，降低了算力成本的同时，也提高了语音识别的准确率和效率。本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。附图说明附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：图1是根据一示例性实施例示出的一种互动教学方法的流程图；图2是根据一示例性实施例示出的另一种互动教学方法的流程图；图3是根据一示例性实施例示出的一种互动教学装置的框图；图4是根据一示例性实施例示出的一种电子设备的结构框图。具体实施方式以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。本文档来自技高网...

【技术保护点】
1.一种互动教学方法，其特征在于，所述方法包括：/n在接收到互动请求消息的情况下，获取音频采集装置采集的教学互动音频信息；所述教学互动音频信息包括教师发出的音频信息或者学生发出的音频信息；/n将所述教学互动音频信息进行语音分段处理，得到多个子音频信息；/n根据多个所述子音频信息通过预先训练得到的语音识别模型，得到所述教学互动音频信息对应的文本识别结果，所述语音识别模型的模型结构去掉长短期记忆网络LSTM层；/n根据所述文本识别结果生成教学素材查询指令；/n根据所述教学素材查询指令查询与所述教学互动音频信息匹配的目标素材；/n将所述目标素材添加至当前正在展示的教学课件中，以便展示根据所述教学互动音频信息查找的所述目标素材。/n

【技术特征摘要】
1.一种互动教学方法，其特征在于，所述方法包括：
在接收到互动请求消息的情况下，获取音频采集装置采集的教学互动音频信息；所述教学互动音频信息包括教师发出的音频信息或者学生发出的音频信息；
将所述教学互动音频信息进行语音分段处理，得到多个子音频信息；
根据多个所述子音频信息通过预先训练得到的语音识别模型，得到所述教学互动音频信息对应的文本识别结果，所述语音识别模型的模型结构去掉长短期记忆网络LSTM层；
根据所述文本识别结果生成教学素材查询指令；
根据所述教学素材查询指令查询与所述教学互动音频信息匹配的目标素材；
将所述目标素材添加至当前正在展示的教学课件中，以便展示根据所述教学互动音频信息查找的所述目标素材。


2.根据权利要求1所述的方法，其特征在于，所述文本识别结果包括由多个离散的文本字符组成的字符序列；所述根据多个所述子音频信息通过预先训练得到的语音识别模型，得到所述教学互动音频信息对应的文本识别结果包括：
针对多个所述子音频信息中的每个子音频信息，提取该子音频信息对应的梅尔倒谱系数MFCC特征；
将每个所述子音频信息分别对应的所述MFCC特征依次输入所述语音识别模型，得到所述字符序列。


3.根据权利要求2所述的方法，其特征在于，所述根据所述文本识别结果生成教学素材查询指令包括：
根据所述字符序列进行模糊匹配，得到目标关键字；
根据所述目标关键字生成所述教学素材查询指令。


4.根据权利要求1所述的方法，其特征在于，在所述根据所述教学素材查询指令查询与所述教学互动音频信息匹配的目标素材之前，所述方法还包括：
确定所述教学互动音频信息对应的声源身份，所述声源身份包括教师或者学生；
根据所述声源身份从预先搭建的检索平台中确定目标检索平台；
所述根据所述教学素材查询指令查询与所述教学互动音频信息匹配的目标素材包括：
根据所述教学素材查询指令从所述目标检索平台查询所述目标素材。


5.根据权利要求4所述的方法，其特征在于，所述确定所述教学互动音频信息对应的声源身份包括：
确定所述教学互动音频信息对应的目标采集方向；
在所述目标采集方向为预设方向的情况下，确定所述教学互动音频信息对应的声源身份为教师；
...

【专利技术属性】
技术研发人员：张建鑫，陈奕名，霍卫涛，麻越，马丁，王超，
申请(专利权)人：新东方教育科技集团有限公司，
类型：发明
国别省市：北京;11