基于深度学习的视频教学课程智能生成方法及系统技术方案

本发明专利技术涉及一种基于深度学习的视频教学课程智能生成方法及系统，方法通过智能终端和光学屏幕对讲师的授课录制初步视频课程，智能终端用于播放课程讲义，光学屏幕用于对课程讲义进行放大投影，光学屏幕还用于接收讲师书写的板书内容；基于深度学习，对初步视频课程中的人像信息进行蒙版提取，得到讲师人像；基于深度学习，对初步视频课程中的投影信息进行蒙版提取，得到板书内容；将板书内容与课程讲义进行合成，得到目标讲义板书；将讲师人像和目标讲义板书融合至预设背景中，生成目标视频教学课程，可以使得在家中即可完成高质量教学视频的录制，不再受限于具体的场地，节约了一定的录制成本的同时，还有效地方便了讲师对授课视频的录制。视频的录制。视频的录制。

【技术实现步骤摘要】
基于深度学习的视频教学课程智能生成方法及系统


[0001]本专利技术属于智能视频教学
，具体涉及一种基于深度学习的视频教学课程智能生成方法及系统。

技术介绍

[0002]大量教学课程转换为在线进行，视频课程需求出现了井喷式的增长。与之矛盾的是高品质的视频课程往往需要使用专业的摄影棚进行录制。由于视频课程往往对录制的背景、板书书写有着严格的要求，若未使用摄影棚进行录制将产生大量的后期处理需求，不但成本高，而且疫情的阻隔使讲师使用摄影棚的难度和安全风险也非常高。
[0003]因此，如何提供一种简单的智能系统能够帮助讲师在家完成高质量的视频课程录制，成为了本领域的技术人员亟需解决的技术问题。

技术实现思路

[0004]为了至少解决现有技术存在的上述问题，本专利技术提供了一种基于深度学习的视频教学课程智能生成方法及系统，以使得在家中即可完成高质量课程视频的录制，方便教学的同时，还有利于节约录制成本。
[0005]本专利技术提供的技术方案如下：
[0006]一方面，一种基于深度学习的视频教学课程智能生成方法，包括：
[0007]通过智能终端和光学屏幕对讲师的授课录制初步视频课程，所述智能终端用于播放课程讲义，所述光学屏幕用于对所述课程讲义进行放大投影，所述光学屏幕还用于接收讲师书写的板书内容；
[0008]基于深度学习，对所述初步视频课程中的人像信息进行蒙版提取，得到讲师人像；
[0009]基于深度学习，对所述初步视频课程中的投影信息进行蒙版提取，得到板书内容；
[0010]将所述板书内容与所述课程讲义进行合成，得到目标讲义板书；
[0011]将所述讲师人像和所述目标讲义板书融合至预设背景中，生成目标视频教学课程。
[0012]可选的，上述所述基于深度学习，对所述初步视频课程中的人像信息进行蒙版提取，得到讲师人像，包括：
[0013]构建预设数量的蒙版图数据集，所述蒙版图数据集包括背景图子集和讲师人像子集；
[0014]初始化合成器，并与初始化的背景选择器、蒙版选择器和动作选择器进行串并，得到背景分割器；
[0015]根据所述蒙版图数据集对所述背景分割器进行训练，得到初步讲师人像图；
[0016]输入所述初步人像图至生成网络，并以所述蒙版图数据集中的人像前景图作为靶标，训练所述生成网络，输出讲师人像。
[0017]可选的，上述所述以所述蒙版图数据集中的人像前景图作为靶标，训练所述生成
网络，输出讲师人像，包括：
[0018]对所述蒙版图数据集中的人像前景图加入噪点，并结合原始前景图对所述生成网络进行训练，得到鉴别网络；
[0019]基于所述鉴别网络，输出讲师人像。
[0020]可选的，上述所述基于所述鉴别网络，输出讲师人像，包括：
[0021]基于残差网、解码器组合的合成图像生成器，利用所述鉴别网络对所述讲师人像进行检测；
[0022]若检测合格，则加载目标背景图，得到输出讲师人像。
[0023]可选的，上述所述构建预设数量的蒙版图数据集，包括：
[0024]获取预设数量的无人像背景图和预设数量的讲师视频，并采集每个所述讲师视频的每一帧；
[0025]对每一帧的所述讲师视频进行蒙版抠图，分离每一帧所述讲师视频中的讲师人像和讲师背景；
[0026]获取预设数量的无人像背景图作为背景图子集，获取预设数量的讲师人像作为讲师人像子集。
[0027]可选的，上述所述基于深度学习，对所述初步视频课程中的投影信息进行蒙版提取，得到板书内容，包括：
[0028]确定所述光学屏幕放大投影的范围，并逐帧提取所述范围内的画面截图；
[0029]比对所述画面截图与所述课程讲义图片，去除所述画面截图中的课程讲义内容，导出板书内容。
[0030]可选的，上述所述将所述板书内容与所述课程讲义进行合成，得到目标讲义板书，包括：
[0031]根据所述板书内容，基于动作骨骼跟踪器，确定讲师笔迹；
[0032]将所述讲师笔迹由手写笔迹转化为数字信号笔迹，并将所述数字信号笔迹与所述课程讲义合成，得到目标讲义板书。
[0033]可选的，上述所述根据所述板书内容，基于动作骨骼跟踪器，确定讲师笔迹之前，还包括：
[0034]基于每一级沙漏网络、卷积层和热力图组成多级特征聚合网络；
[0035]输入所述多级特征聚合网络至PoseTrack数据集进行训练，得到动作骨骼跟踪器。
[0036]可选的，上述所述得到动作骨骼跟踪器之前，还包括：
[0037]通过评估公式对训练后的所述多级特征聚合网络进行评估；
[0038]所述评估公式为：
[0039]其中σ表示单级热力图。
[0040]另一方面，一种基于深度学习的视频教学课程智能生成系统，包括：
[0041]视频录制模块，用于通过智能终端和光学屏幕对讲师的授课录制初步视频课程，所述智能终端用于播放课程讲义，所述光学屏幕用于对所述课程讲义进行放大投影，所述光学屏幕还用于接收讲师书写的板书内容；
[0042]蒙版提取模块，用于基于深度学习，对所述初步视频课程中的人像信息进行蒙版提取，得到讲师人像；基于深度学习，对所述初步视频课程中的投影信息进行蒙版提取，得到板书内容；
[0043]教学课程生成模块，用于将所述板书内容与所述课程讲义进行合成，得到目标讲义板书；将所述讲师人像和所述目标讲义板书融合至预设背景中，生成目标视频教学课程。
[0044]本专利技术的有益效果为：
[0045]本专利技术提供的一种基于深度学习的视频教学课程智能生成方法及系统，方法通过智能终端和光学屏幕对讲师的授课录制初步视频课程，智能终端用于播放课程讲义，光学屏幕用于对课程讲义进行放大投影，光学屏幕还用于接收讲师书写的板书内容；基于深度学习，对初步视频课程中的人像信息进行蒙版提取，得到讲师人像；基于深度学习，对初步视频课程中的投影信息进行蒙版提取，得到板书内容；将板书内容与课程讲义进行合成，得到目标讲义板书；将讲师人像和目标讲义板书融合至预设背景中，生成目标视频教学课程，可以使得在家中即可完成高质量教学视频的录制，不再受限于具体的场地，节约了一定的录制成本的同时，还有效地方便了讲师对授课视频的录制。
附图说明
[0046]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0047]图1是本专利技术实施例提供的基于深度学习的视频教学课程智能生成方法的一种流程图；
[0048]图2是本专利技术实施例提供的基于深度学习的视频教学课程智能生成系统的一种结构示意图。
具体实施方式
[0049]为使本专利技术的目的、技术方案和优点本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的视频教学课程智能生成方法，其特征在于，包括：通过智能终端和光学屏幕对讲师的授课录制初步视频课程，所述智能终端用于播放课程讲义，所述光学屏幕用于对所述课程讲义进行放大投影，所述光学屏幕还用于接收讲师书写的板书内容；基于深度学习，对所述初步视频课程中的人像信息进行蒙版提取，得到讲师人像；基于深度学习，对所述初步视频课程中的投影信息进行蒙版提取，得到板书内容；将所述板书内容与所述课程讲义进行合成，得到目标讲义板书；将所述讲师人像和所述目标讲义板书融合至预设背景中，生成目标视频教学课程。2.根据权利要求1所述的视频教学课程智能生成方法，其特征在于，所述基于深度学习，对所述初步视频课程中的人像信息进行蒙版提取，得到讲师人像，包括：构建预设数量的蒙版图数据集，所述蒙版图数据集包括背景图子集和讲师人像子集；初始化合成器，并与初始化的背景选择器、蒙版选择器和动作选择器进行串并，得到背景分割器；根据所述蒙版图数据集对所述背景分割器进行训练，得到初步讲师人像图；输入所述初步人像图至生成网络，并以所述蒙版图数据集中的人像前景图作为靶标，训练所述生成网络，输出讲师人像。3.根据权利要求2所述的视频教学课程智能生成方法，其特征在于，所述以所述蒙版图数据集中的人像前景图作为靶标，训练所述生成网络，输出讲师人像，包括：对所述蒙版图数据集中的人像前景图加入噪点，并结合原始前景图对所述生成网络进行训练，得到鉴别网络；基于所述鉴别网络，输出讲师人像。4.根据权利要求3所述的视频教学课程智能生成方法，其特征在于，所述基于所述鉴别网络，输出讲师人像，包括：基于残差网、解码器组合的合成图像生成器，利用所述鉴别网络对所述讲师人像进行检测；若检测合格，则加载目标背景图，得到输出讲师人像。5.根据权利要求2所述的视频教学课程智能生成方法，其特征在于，所述构建预设数量的蒙版图数据集，包括：获取预设数量的无人像背景图和预设数量的讲师视频，并采集每个所述讲师视频的每一帧；对每一帧的所述讲师视频进行蒙版抠图，分离每一帧所述讲师视频...

【专利技术属性】
技术研发人员：康立，洪贤斌，齐伟，
申请(专利权)人：康立，
类型：发明
国别省市：