一种课堂音视频智能笔记方法技术

本发明专利技术公开了一种课堂音视频智能笔记方法。通过在教室部署图像获取设备拍摄教学内容展示区域，采用人工智能处理方法实现针对所拍摄教学内容展示区域进行处理，完成对教师、学生的肖像和声音进行脱敏；在内容脱敏处理的同时，对在授课过程中所涉及的知识要点进行提取，实现知识点视频片段自动切分；智能笔记对所提取的知识点与教学大纲知识纲要进行智能匹配，建立知识点智能检索引擎，提供给题目搜索知识点以及对应知识点搜索讲解视频应用。本发明专利技术通过采用人工智能语义识别技术为基础，实现了对视频中出现的人物肖像和敏感语音进行脱敏处理、对视频中教学内容知识点进行自动提取、对知识点出现位置进行自动打标，实现课堂音视频智能笔记。音视频智能笔记。音视频智能笔记。

【技术实现步骤摘要】
一种课堂音视频智能笔记方法


[0001]本专利技术属于音视频处理
，具体涉及一种课堂音视频智能笔记方法。

技术介绍

[0002]近年来，随着以物联网、云计算、大数据、人工智能、AR为代表的新一代信息技术在教育领域的广泛应用，课堂的教学环境正在经历着从多媒体教室向智慧教室，从数字校园向智慧校园的转变。近来，教育部发布《教育信息化2.0行动计划》要求“大力推进智能教育，开展以学习者为中心的智能化教学支持环境建设，推动人工智能在教学、管理等方面的全流程应用，利用智能技术加快推动人才培养模式、教学方法改革，探索泛在、灵活、智能的教育教学新环境建设与应用模式。”[0003]随着国家发展和时代的进步，国民的教育观念也在与时俱进，越来越多的家长和教师认识到注意力的集中对于学生成长，学习和发展的重要作用。为降低家庭培养负担和教育公平，降低学生学习负担，促进青少年全面发展，培养符合国家未来发展需要的人才，中共中央办公厅、国务院办公厅印发的《关于进一步减轻义务教育阶段学生作业负担和校外培训负担的意见》，该意见中强调了提高课后服务质量、拓展课后服务渠道、做强做优免费线上学习服务等，提升学校课后服务水平，满足学生多样化需求。
[0004]与其它教学学习方式相比，课堂教学学习方式是中小学生最合理的教学方式，教师在教学过程中会根据教学大纲、学生关联知识掌握情况、过程反馈等因素，及时调整课堂教学进度、知识讲解方式，尽可能使所有学生理解相关的知识点。授课结束后，通常教师布置的作业与当天课堂讲解知识直接关联，强化当天学习知识点的理解，学生在听课过程中做到认真听讲，是完成知识学习最重要的环节。然而，在课堂教学过程中有相当一部分学生对老师讲述的知识存在不注意听讲的问题，造成知识未理解或理解不够全面。因此，下课后对当天学习知识的回顾是加深、巩固知识的最有效途径，如何在不增加家长各方面的负担进行有效回顾成为当下迫切需要解决的问题。
[0005]作为学生接触新知识的第一来源，教师在上课过程中，针对知识点需要展开大量详细描述，为更加形象解释内容，教师还会伴随大量肢体动作配合知识描述。学生在课堂中对这些知识已经有初步理解，然而人的记忆曲线决定了学习需要及时回顾课堂内容，但是绝大部分学生在听课过程中根本无法完整记录整个描述内容。虽然一些公开课堂也有相关内容的讲解，但是相对本班课堂教学内容而言，学生对自己老师讲解知识的方法已经熟悉，对相关内容已经在课堂中有所了解，回顾本班老师课堂内容会有更好的效果，通过课堂音视频录像可以有效解决该问题。然而，课堂教学过程中包含一些教师和学生的个人隐私信息，将课堂原始数据直接对外发布，对学生、教师、学校等方面都有较大压力，实际推广难度大。

技术实现思路

[0006]本专利技术要解决的技术问题是提供一种课堂音视频智能笔记方法，通过在教室部署
图像获取设备拍摄黑板、电子白板或PPT播放区，采用人工智能处理方法实现针对所拍摄黑板、电子白板或PPT播放区进行处理，完成对教师、学生的肖像和声音进行脱敏；在内容脱敏处理的同时，对在授课过程中电子白板或PPT播放区或黑板中所涉及的知识要点进行提取，实现知识点视频片段自动切分；智能笔记对所提取的知识点与教学大纲知识纲要进行智能匹配，建立知识点智能检索引擎，提供给题目搜索知识点以及对应知识点搜索讲解视频应用。
[0007]一种课堂音视频智能笔记方法，包括如下步骤：
[0008]S1.安装至少一个以上图像获取设备，所述图像获取设备朝向讲台上的教学内容展示区域，在讲台位置安装拾音器；所述的教学内容展示区域为黑板区、电子白板或PPT播放区；
[0009]S2.设置图像获取设备拍摄范围，分别标定教学内容展示区域以及整个讲台活动区；
[0010]S3.对所拍摄的音视频进行视频和音频内容分离，分别获得视频流和音频流，对所述视频流执行步骤S4
‑
S8，对所述音频流执行步骤S9
‑
S13；
[0011]S4.对视频流进行解码获得视频帧流，采用语义分割算法对视频帧内含的人体部位进行分割，并对分割后的人体部位进行填充或替换，生成新的视频帧；
[0012]S5.对标定教学内容展示区域进行文字检测和识别；
[0013]S6.通过采用前后视频帧内容识别方法对所识别的文字信息进行分析比较，提取课堂知识点，并记录每个知识点第一次出现的时间位置；
[0014]S7.按照标定的讲台活动区，切除图像多余部分并调整为标准尺寸；
[0015]S8.针对分割后的视频帧流，采用标准视频压缩算法生成脱敏后的视频流；
[0016]S9.对音频流采用语音分段处理算法，将长语音流分割为多段短语音流；
[0017]S10.采用语音识别算法，将各段短语音转换为文字，并利用上下文语义识别获得语音文本转换数据；
[0018]S11.对所获语音文本数据进行内容审核，标定出现敏感内容的位置；
[0019]S12.根据标定的位置，对相应时间位置的语音内容进行过滤，去除不适合公开播放的语音内容，并对声音进行优化处理；
[0020]S13.合并所有处理后的短语音流，生成新的音频流；
[0021]S14.合并S8所获视频流和S13所获音频流，得到脱敏后的音视频文件；
[0022]S15.按照文字内容识别结果，标定出现知识点的起始位置；
[0023]S16.将所得到的脱敏音视频文件和知识点，发布到流媒体平台，得到便于学生观看的课堂音视频智能笔记；
[0024]S17.学生提交题目，课堂音视频智能笔记通过分析题目内容，实现题目到课堂知识点转换，提供课堂知识点播放链接。
[0025]本专利技术的有益效果：
[0026]本专利技术通过采用人工智能语义识别技术为基础，对课堂教学中所录制的教学视频内容采用图像和语音处理技术，实现对视频中出现的人物肖像和敏感语音进行脱敏处理、对视频中教学内容知识点进行自动提取、对知识点出现位置进行自动打标，实现课堂音视频智能笔记。
[0027]本专利技术通过对课堂视频内容进行语义分析，提取教师课堂教学中所涉及的知识点，利用模糊匹配算法，识别每次课中所涉及的知识点，标注视频知识点位置、发布带有知识点快照的流媒体播放内容；提高学生知识回顾效率，大幅降低课堂视频内容运营成本，有效降低学生的学习压力，减轻义务教育阶段学生作业负担和校外培训负担。
附图说明
[0028]图1为本专利技术的音视频智能笔记视频采集装置安装结构示意图；
[0029]图2为本专利技术的音视频智能笔记系统处理流程图。
[0030]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单的介绍，对于本领域一般技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他的附图。
具体实施方式
[0031]为了使本专利技术解决的技术问题、实施方案、优点更加清晰，下面结合系统实例以及上述附图进行详细描述。
[0032]本专利技术提供了一种课本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种课堂音视频智能笔记方法，其特征在于该方法包括如下步骤：S1. 安装至少一个以上图像获取设备，所述图像获取设备朝向讲台上的教学内容展示区域，在讲台位置安装拾音器；所述的教学内容展示区域为黑板区、电子白板或PPT播放区；S2. 设置图像获取设备拍摄范围，分别标定教学内容展示区域以及整个讲台活动区；S3. 对所拍摄的音视频进行视频和音频内容分离，分别获得视频流和音频流，对所述视频流执行步骤S4
‑
S8，对所述音频流执行步骤S9
‑ꢀ
S13；S4. 对视频流进行解码获得视频帧流，采用语义分割算法对视频帧内含的人体部位进行分割，并对分割后的人体部位进行填充或替换，生成新的视频帧；S5. 对标定教学内容展示区域进行文字检测和识别；S6. 通过采用前后视频帧内容识别方法对所识别的文字信息进行分析比较，提取课堂知识点，并记录每个知识点第一次出现的时间位置；S7. 按照标定的讲台活动区，切除图像多余部分并调整为标准尺寸；S8. 针对分割后的视频帧流，采用标准视频压缩算法生成脱敏后的视频流；S9. 对音频流采用语音分段处理算法，将长语音流分割为多段短语音流；S10. 采用语音识别算法，将各段短语音转换为文字，并利用上下文语义识别获得语音文本转换数据；S11. 对所获语音文本数据进行内容审核，标定出现敏感内容的位置；S12. 根据标定的位置，对相应时间位置的语音内容进行过滤，去除不适合公开播放的语音内容，并对声音进行优化处理；S13. 合并所有处理后的短语音流，生成新的音频流；S14. 合并S8所获视频流和S13所获音频流，得到脱敏后的音视频文...

【专利技术属性】
技术研发人员：叶利华，孙洪波，金煜威，羊海丰，徐建成，
申请(专利权)人：杭州海宴科技有限公司，
类型：发明
国别省市：