一种课堂音视频智能笔记方法技术

本发明专利技术公开了一种课堂音视频智能笔记方法。通过在教室部署图像获取设备拍摄教学内容展示区域，采用人工智能处理方法实现针对所拍摄教学内容展示区域进行处理，完成对教师、学生的肖像和声音进行脱敏；在内容脱敏处理的同时，对在授课过程中所涉及的知识要点进行提取，实现知识点视频片段自动切分；智能笔记对所提取的知识点与教学大纲知识纲要进行智能匹配，建立知识点智能检索引擎，提供给题目搜索知识点以及对应知识点搜索讲解视频应用。本发明专利技术通过采用人工智能语义识别技术为基础，实现了对视频中出现的人物肖像和敏感语音进行脱敏处理、对视频中教学内容知识点进行自动提取、对知识点出现位置进行自动打标，实现课堂音视频智能笔记。音视频智能笔记。音视频智能笔记。

【技术实现步骤摘要】
一种课堂音视频智能笔记方法


[0001]本专利技术属于音视频处理
，具体涉及一种课堂音视频智能笔记方法。

技术介绍

[0002]近年来，随着以物联网、云计算、大数据、人工智能、AR为代表的新一代信息技术在教育领域的广泛应用，课堂的教学环境正在经历着从多媒体教室向智慧教室，从数字校园向智慧校园的转变。近来，教育部发布《教育信息化2.0行动计划》要求“大力推进智能教育，开展以学习者为中心的智能化教学支持环境建设，推动人工智能在教学、管理等方面的全流程应用，利用智能技术加快推动人才培养模式、教学方法改革，探索泛在、灵活、智能的教育教学新环境建设与应用模式。”[0003]随着国家发展和时代的进步，国民的教育观念也在与时俱进，越来越多的家长和教师认识到注意力的集中对于学生成长，学习和发展的重要作用。为降低家庭培养负担和教育公平，降低学生学习负担，促进青少年全面发展，培养符合国家未来发展需要的人才，中共中央办公厅、国务院办公厅印发的《关于进一步减轻义务教育阶段学生作业负担和校外培训负担的意见》，该意见中强调了提高课后服务质量、拓展课后服务渠道、做强做本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种课堂音视频智能笔记方法，其特征在于该方法包括如下步骤：S1. 安装至少一个以上图像获取设备，所述图像获取设备朝向讲台上的教学内容展示区域，在讲台位置安装拾音器；所述的教学内容展示区域为黑板区、电子白板或PPT播放区；S2. 设置图像获取设备拍摄范围，分别标定教学内容展示区域以及整个讲台活动区；S3. 对所拍摄的音视频进行视频和音频内容分离，分别获得视频流和音频流，对所述视频流执行步骤S4
‑
S8，对所述音频流执行步骤S9
‑ꢀ
S13；S4. 对视频流进行解码获得视频帧流，采用语义分割算法对视频帧内含的人体部位进行分割，并对分割后的人体部位进行填充或替换，生成新的视频帧；S5. 对标定教学内容展示区域进行文字检测和识别；S6. 通过采用前后视频帧内容识别方法对所识别的文字信息进行分析比较，提取课堂知识点，并记录每个知识点第一次出现的时间位置；S7. 按照标定的讲台活动区，切除图像多余部分并调整为标准尺寸；S8. 针对分割后的视频帧流，采用标准视频压缩算法生成脱敏后的视频流；S9. 对音频流采用语音分段处理算法，将长语音流分割为多段短语音流；S10. 采用语音识别算法，将各段短语音转换为文字，并利用上下文语义识别获得语音文本转换数据；S11. 对所获语音文本数据进行内容审核，标定出现敏感内容的位置；S12. 根据标定的位置，对相应时间位置的语音内容进行过滤，去除不适合公开播放的语音内容，并对声音进行优化处理；S13. 合并所有处理后的短语音流，生成新的音频流；S14. 合并S8所获视频流和S13所获音频流，得到脱敏后的音视频文...

【专利技术属性】
技术研发人员：叶利华，孙洪波，金煜威，羊海丰，徐建成，
申请(专利权)人：杭州海宴科技有限公司，
类型：发明
国别省市：