一种笔记生成方法、系统、装置及计算机可读存储介质制造方法及图纸

本发明专利技术公开了一种笔记生成方法，包括：接收录像装置发送的课堂音频信号与课堂图像数据；对所述课堂音频信号进行语音识别得到文本数据；对所述课堂图像数据进行图像处理得到图像笔记；将所述图像笔记插入所述文本数据，得到文本笔记。由此可见，本申请可以对录像装置发送的课堂音频信号和课堂图像数据进行处理，分别转换为文本数据和图像笔记，再将文本数据与图像笔记相结合，得到图文并茂的笔记，从而既可以替代手动记笔记，使笔记的记录方式更加简单，又可以使笔记更加规范完整，改善了笔记记录的效果。本申请还提供一种笔记生成系统、装置及计算机可读存储介质，同样可以实现上述技术效果。

A Note Generation Method, System, Device and Computer Readable Storage Media

【技术实现步骤摘要】
一种笔记生成方法、系统、装置及计算机可读存储介质
本专利技术涉及人工智能领域，更具体地说，涉及一种笔记生成方法、系统、装置、及计算机可读存储介质。
技术介绍
在如今互联网的高速发展，多媒体技术的逐渐兴起，社会信息化程度变得越来越高，让人们对于知识的获取变的多样化，在教育行业，对于学生的课堂听课仍是以对老师的授课内容做笔记记录为主要方式，方便课后复习以及增加对课堂内容的深刻记忆。由于学生不可能一直高度的保持注意力，就难免会错过知识点的遗漏，听课效果变得降低，这使得学生在课后的学习里花费更多的时间去补充理解与学习，不利于学生的课下复习。与之相比随着科技的发展，学生也逐渐地开始使用自己的手机或者录像机等电子设备进行照片或是视频的拍摄录制等，通过尽可能地还原课堂记录来保证自己的学习进度不受影响。但学生拍摄的往往是非常杂乱的、无规律的，需要花费一定量的时间重新整理后才能确定那些重要的知识信息，而且视频和图片占用存储空间大。因此，如何改善笔记记录的效果，是本领域技术人员需要解决的问题。
技术实现思路
本专利技术的目的在于提供一种笔记生成方法、系统、装置、及计算机可读存储介质，以改善笔记记录的效果。为实现上述目的，本专利技术实施例提供了如下技术方案：一种笔记生成方法，包括：接收录像装置发送的课堂音频信号与课堂图像数据；对所述课堂音频信号进行语音识别得到文本数据；对所述课堂图像数据进行图像处理得到图像笔记；将所述图像笔记插入所述文本数据，得到文本笔记。可选地，所述对所述课堂音频信号进行语音识别得到文本数据之前，还包括：对所述课堂音频信号进行降噪处理，提取待识别音频信号。可选地，所述对所述课堂音频信号进行语音识别得到文本数据，包括：将所述课堂音频信号从时域转换到频域，得到转换结果；将所述转换结果作为声学模型的特征向量；利用所述声学模型根据声学特性计算每个所述特征向量在声学特征上的得分；利用所述得分确定每个所述特征向量的目标声学特征；利用字典确定与每个所述目标声学特征对应的文本片段；将所有所述文本片段生成所述文本数据。可选地，所述将所述图像笔记插入所述文本数据之后，还包括：利用预设机器学习模型对所述文本数据进行纠错处理，得到最终文本数据。可选地，所述接收录像装置发送的课堂音频信号与课堂图像数据，包括：接收所述录像装置发送的预设时间段的所述课堂音频信号与所述课堂图像数据；则所述图像笔记插入所述文本数据，得到文本笔记，包括：将所述图像笔记插入所述文本数据，得到文本笔记段；所述图像笔记插入所述文本数据，得到文本笔记之后，还包括：当所有预设时间段的所述课堂音频信号与所述课堂图像数据均被生成文本笔记段后，将所有所述文本笔记段按照时间顺序生成文本笔记。可选地，所述将所述图像笔记插入所述文本数据，得到文本笔记之后，还包括：间隔预设时间后删除所述文本笔记。可选地，所述将所述图像笔记插入所述文本数据，得到文本笔记，包括：对所述图像笔记的信息与所述文本数据中各预设间隔的文本数据进行相似度分析，得到所述图像笔记与每个预设间隔的文本数据的相似度结果；根据所述相似度结果将所述图像笔记插入所述文本数据。为实现上述目的，本申请还提供了一种笔记生成系统，其特征在于，包括：数据接收模块，用于接收录像装置发送的课堂音频信号与课堂图像数据；语音识别模块，用于对所述课堂音频信号进行语音识别得到文本数据；图像处理模块，用于对所述课堂图像数据进行图像处理得到图像笔记；文本笔记生成模块，用于将所述图像笔记插入所述文本数据，得到文本笔记。为实现上述目的，本申请还提供了一种笔记生成装置，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如任一项所述笔记生成方法的步骤。为实现上述目的，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如任一项所述笔记生成方法的步骤。通过以上方案可知，本专利技术实施例提供的一种笔记生成方法，包括：接收录像装置发送的课堂音频信号与课堂图像数据；对所述课堂音频信号进行语音识别得到文本数据；对所述课堂图像数据进行图像处理得到图像笔记；将所述图像笔记插入所述文本数据，得到文本笔记。由此可见，本申请提供的一种笔记生成方法，可以对录像装置发送的课堂音频信号和课堂图像数据进行处理，分别转换为文本数据和图像笔记，再将文本数据与图像笔记相结合，得到图文并茂的笔记，从而既可以替代手动记笔记，使笔记的记录方式更加简单，又可以使笔记更加规范完整，改善了笔记记录的效果。本申请还提供一种笔记生成系统、装置及计算机可读存储介质，同样可以实现上述技术效果附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例公开的一种笔记生成方法流程图；图2为本专利技术实施例公开的一种具体的笔记生成方法流程图；图3为本专利技术实施例公开的一种具体的笔记生成方法流程图；图4为本专利技术实施例公开的一种笔记生成系统结构示意图；图5为本专利技术实施例公开的一种笔记生成装置结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术实施例公开了一种笔记生成方法、系统、装置、及计算机可读存储介质，以改善笔记记录的效果。参见图1，本专利技术实施例提供的一种笔记生成方法，具体包括：S101，接收录像装置发送的课堂音频信号与课堂图像数据。为了避免占用用户终端的存储资源以及计算资源，本方案具体可以应用于远程服务器，远程服务器可以接收录像装置发送的课堂音频信号与课堂图像数据，并进行相应的处理。需要说明的是，录像装置可以是用户终端，也可以是安装于教室的专用录像装置，本方案不做具体限定。课堂音频信号即教师上课的录音数据，课堂图像数据即包括课堂上拍摄的板书、多媒体资料等。S102，对所述课堂音频信号进行语音识别得到文本数据。首先需要对课堂音频信号进行语音识别，将音频数据转换为文字数据，得到与课堂音频信号对应的文本数据。需要说明的是，由于音频信号中除了教师的授课音频，还可能会存在其他的杂音，从而导致文本数据与教师实际教授内容存在误差。为了避免此种情况，在一个具体的实施方式中，所述对所述课堂音频信号进行语音识别得到文本数据之前，还包括：对所述课堂音频信号进行降噪处理，提取待识别音频信号。需要说明的是，降噪处理具体可以采用滤波、分帧的方式进行，具体内容可以参见现有技术，本方案不再进行赘述。此外，还可以提前获取授课教师的声音模型，通过教师声音模型来对课堂音频信号进行处理，提取该教师的音频数据。参见图2，在一个具体的实施方式中，所述对所述课堂音频信号进行语音识别得到文本数据，包括：S201，将所述课堂音频信号从时域转换到频域，得到转换结果。具体的，首先需要将课堂音频信号从时域转换到频域，从而得到数字化的转换结果，以作为后本文档来自技高网...

【技术保护点】
1.一种笔记生成方法，其特征在于，包括：接收录像装置发送的课堂音频信号与课堂图像数据；对所述课堂音频信号进行语音识别得到文本数据；对所述课堂图像数据进行图像处理得到图像笔记；将所述图像笔记插入所述文本数据，得到文本笔记。

【技术特征摘要】
1.一种笔记生成方法，其特征在于，包括：接收录像装置发送的课堂音频信号与课堂图像数据；对所述课堂音频信号进行语音识别得到文本数据；对所述课堂图像数据进行图像处理得到图像笔记；将所述图像笔记插入所述文本数据，得到文本笔记。2.根据权利要求1所述的方法，其特征在于，所述对所述课堂音频信号进行语音识别得到文本数据之前，还包括：对所述课堂音频信号进行降噪处理，提取待识别音频信号。3.根据权利要求1所述的方法，其特征在于，所述对所述课堂音频信号进行语音识别得到文本数据，包括：将所述课堂音频信号从时域转换到频域，得到转换结果；将所述转换结果作为声学模型的特征向量；利用所述声学模型根据声学特性计算每个所述特征向量在声学特征上的得分；利用所述得分确定每个所述特征向量的目标声学特征；利用字典确定与每个所述目标声学特征对应的文本片段；将所有所述文本片段生成所述文本数据。4.根据权利要求3所述的方法，其特征在于，所述将所述图像笔记插入所述文本数据之后，还包括：利用预设机器学习模型对所述文本数据进行纠错处理，得到最终文本数据。5.根据权利要求1所述的方法，其特征在于，所述接收录像装置发送的课堂音频信号与课堂图像数据，包括：接收所述录像装置发送的预设时间段的所述课堂音频信号与所述课堂图像数据；则所述图像笔记插入所述文本数据，得到文本笔记，包括：将所述图像笔记插入所述文本数据，得到文本笔记段；所述图像笔...

【专利技术属性】
技术研发人员：吴晓鸰，吴迎岗，凌捷，王璋元，赵旭东，梅胜，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东,44