本申请公开了一种板书抓拍方法、装置、电子设备及可读存储介质，所述板书抓拍方法包括：获取目标区域的全景画面，对所述全景画面进行识别，得到板书区域检测结果以及人形检测结果；根据所述板书区域检测结果从所述全景画面中裁切出板书区域，并根据所述板书区域检测结果以及所述人形检测结果，判断板书区域是否被遮挡；当所述板书区域未被遮挡时，根据所述板书区域内的画面，确定板书区域图像数据；当所述板书区域被部分遮挡时，更新未被遮挡的部分区域的图像帧，生成所述板书区域图像数据。本申请解决了板书抓拍系统复杂度高的技术问题。题。题。
【技术实现步骤摘要】
板书抓拍方法、装置、电子设备及可读存储介质
[0001]本申请涉及多媒体教学领域，尤其涉及一种板书抓拍方法、装置、电子设备及可读存储介质。
技术介绍
[0002]近年来线上教育系统的应用越来越广泛，主要是通过对课堂场景的拍摄录制，让广大的学习者通过线上方式进行网上学习，其中线上多媒体教学中黑板上的板书内容输出是重中之重。板书内容可以通过板书快照与板书特写视频的方式直观地展示给学员，不过由于教师在板书前面的不断活动，会给板书内容的输出带来一定的干扰。目前主要通过在黑板上方安装板书摄像机，拍摄黑板画面进行梯形校正后得到正常的板书画面，不过这种方式需要安装多个独立的摄像机来获取全景画面以及板书画面。另外也有使用电子白板或电子黑板取代传统黑板的方法，实现了手动触发板书快照的功能，以上板书抓拍方式都存在硬件组成复杂，从而导致板书抓拍系统复杂度偏高。
技术实现思路
[0003]本申请的主要目的在于提供一种板书抓拍方法、装置、电子设备及计算机可读存储介质，旨在解决板书抓拍系统复杂度高的技术问题。
[0004]为实现上述目的，本申请提供一种板书抓拍方法，所述板书抓拍方法包括：获取目标区域的全景画面，对所述全景画面进行识别，得到板书区域检测结果以及人形检测结果；根据所述板书区域检测结果从所述全景画面中裁切出板书区域，并根据所述板书区域检测结果以及所述人形检测结果，判断板书区域是否被遮挡；当所述板书区域未被遮挡时，根据所述板书区域内的画面，确定板书区域图像数据；当所述板书区域被部分遮挡时，更新未被遮挡的部分区域的图像帧，生成所述板书区域图像数据。
[0005]可选地，所述板书区域图像数据包括板书区域快照，所述人形检测结果包括教师动作检测信息，所述当所述板书区域未被遮挡时，根据所述板书区域内的画面，确定板书区域图像数据的步骤包括：当所述板书区域未被遮挡时，基于所述教师动作检测信息判断在上一板书区域快照的时间点与当前时间点之间是否存在板书动作，其中，所述上一板书区域快照为已存储的板书区域快照中对应的时间点与当前时间点最近的板书区域快照；若是，则对所述板书区域内的画面进行抓拍，得到板书区域快照，并存储所述板书区域快照。
[0006]可选地，所述板书区域图像数据包括板书区域快照，所述当所述板书区域未被遮挡时，根据所述板书区域内的画面，确定板书区域图像数据的步骤包括：
当所述板书区域未被遮挡时，对比当前板书区域图像与上一板书区域快照，得到图像差异值，其中，所述上一板书区域快照为已存储的板书区域快照中对应的时间点与当前时间点最近的板书区域快照；判断所述图像差异值是否大于预设差异阈值；若是，则将所述当前板书区域图像置为板书区域快照，并存储所述板书区域快照。
[0007]可选地，所述板书区域图像数据包括板书视频流数据，所述当所述板书区域被部分遮挡时，根据所述板书区域检测结果从所述全景画面中裁切出板书区域，并更新未被遮挡的部分区域的图像帧，生成所述板书区域图像数据的步骤包括：当所述板书区域被遮挡时，分析所述人形检测结果，得到人形遮挡区域；将所述人形遮挡区域的画面帧保持在未被遮挡前的画面帧，并更新未被遮挡的区域的图像帧，得到板书视频画面；对所述板书视频画面进行编码，生成所述板书视频流数据。
[0008]可选地，在所述将所述人形遮挡区域的画面帧保持在未被遮挡前的画面帧，并更新未被遮挡的区域的图像帧，得到板书视频画面的步骤之后，还包括：当检测到所述人形遮挡区域的画面帧与所述未被遮挡前的画面帧交界线处存在板书内容拼接异常的情况；对交界线两侧的内容进行检测，判断是否存在宽度大于预设阈值的空白区域；若是，则将所述板书空白区域置为所述人形遮挡区域的画面帧与所述未被遮挡前的画面帧交界线。
[0009]可选地，所述板书区域检测结果包括板书区域位置信息，所述人形检测结果包括人形位置信息以及教师动作检测信息，所述获取目标区域的全景画面，对所述全景画面进行识别，得到板书区域检测结果以及人形检测结果的步骤包括：通过单目摄像机采集目标区域的全景画面，通过板书区域检测模型对所述全景画面进行识别，得到所述板书区域位置信息，其中，所述板书区域检测模型是由课堂场景画面进行训练得到，其中，所述课堂场景画面包括至少包括屏幕、黑窗帘中的一种；通过人形检测模型对所述全景画面进行识别，得到所述人形位置信息以及教师动作检测信息，其中，所述人形位置信息包括教师位置信息以及学生位置信息，所述人形检测模型是由课堂场景画面以及包含教师板书动作的图片训练得到。
[0010]可选地，所述人形检测结果包括教师位置信息，所述板书抓拍方法还包括：对所述全景画面进行编码，得到全景视频流数据；根据所述教师位置信息，从所述全景画面中裁切出教师的特写画面；对所述特写画面进行编码，得到教师特写视频流数据。
[0011]本申请还提供一种板书抓拍装置，所述板书抓拍装置应用于板书抓拍设备，所述板书抓拍装置包括：画面识别模块，用于获取目标区域的全景画面，对所述全景画面进行识别，得到板书区域检测结果以及人形检测结果；板书裁切模块，用于根据所述板书区域检测结果从所述全景画面中裁切出板书区域，并根据所述板书区域检测结果以及所述人形检测结果，判断板书区域是否被遮挡；完整图像更新模块，用于当所述板书区域未被遮挡时，根据所述板书区域内的画
面，确定板书区域图像数据；部分图像更新模块，用于当所述板书区域被部分遮挡时，更新未被遮挡的部分区域的图像帧，生成所述板书区域图像数据。
[0012]可选地，所述完整图像更新模块还用于：当所述板书区域未被遮挡时，基于所述教师动作检测信息判断在上一板书区域快照的时间点与当前时间点之间是否存在板书动作，其中，所述上一板书区域快照为已存储的板书区域快照中对应的时间点与当前时间点最近的板书区域快照；若是，则对所述板书区域内的画面进行抓拍，得到板书区域快照，并存储所述板书区域快照。
[0013]可选地，所述完整图像更新模块还用于：当所述板书区域未被遮挡时，对比当前板书区域图像与上一板书区域快照，得到图像差异值，其中，所述上一板书区域快照为已存储的板书区域快照中对应的时间点与当前时间点最近的板书区域快照；判断所述图像差异值是否大于预设差异阈值；若是，则将所述当前板书区域图像置为板书区域快照，并存储所述板书区域快照。
[0014]可选地，所述部分图像更新模块还用于：当所述板书区域被遮挡时，分析所述人形检测结果，得到人形遮挡区域；将所述人形遮挡区域的画面帧保持在未被遮挡前的画面帧，并更新未被遮挡的区域的图像帧，得到板书视频画面；对所述板书视频画面进行编码，生成所述板书视频流数据。
[0015]可选地，所述部分图像更新模块还用于：当检测到所述人形遮挡区域的画面帧与所述未被遮挡前的画面帧交界线处存在板书内容拼接异常的情况；对交界线两侧的内容进行检测，判断是否存在宽度大于预设阈值的空白区域；若是，则将所述板书空白区域置为所述人形遮挡区域的画面帧与所述未被遮挡前的画面帧交界线。
[0016]可选地，所述画面识别模块还用于：通过单目摄像机本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种板书抓拍方法，其特征在于，所述板书抓拍方法包括：获取目标区域的全景画面，对所述全景画面进行识别，得到板书区域检测结果以及人形检测结果；根据所述板书区域检测结果从所述全景画面中裁切出板书区域，并根据所述板书区域检测结果以及所述人形检测结果，判断板书区域是否被遮挡；当所述板书区域未被遮挡时，根据所述板书区域内的画面，确定板书区域图像数据；当所述板书区域被部分遮挡时，更新未被遮挡的部分区域的图像帧，生成所述板书区域图像数据。2.如权利要求1所述板书抓拍方法，其特征在于，所述板书区域图像数据包括板书区域快照，所述人形检测结果包括教师动作检测信息，所述当所述板书区域未被遮挡时，根据所述板书区域内的画面，确定板书区域图像数据的步骤包括：当所述板书区域未被遮挡时，基于所述教师动作检测信息判断在上一板书区域快照的时间点与当前时间点之间是否存在板书动作，其中，所述上一板书区域快照为已存储的板书区域快照中对应的时间点与当前时间点最近的板书区域快照；若是，则对所述板书区域内的画面进行抓拍，得到板书区域快照，并存储所述板书区域快照。3.如权利要求1所述板书抓拍方法，其特征在于，所述板书区域图像数据包括板书区域快照，所述当所述板书区域未被遮挡时，根据所述板书区域内的画面，确定板书区域图像数据的步骤包括：当所述板书区域未被遮挡时，对比当前板书区域图像与上一板书区域快照，得到图像差异值，其中，所述上一板书区域快照为已存储的板书区域快照中对应的时间点与当前时间点最近的板书区域快照；判断所述图像差异值是否大于预设差异阈值；若是，则将所述当前板书区域图像置为板书区域快照，并存储所述板书区域快照。4.如权利要求1所述板书抓拍方法，其特征在于，所述板书区域图像数据包括板书视频流数据，所述当所述板书区域被部分遮挡时，根据所述板书区域检测结果从所述全景画面中裁切出板书区域，并更新未被遮挡的部分区域的图像帧，生成所述板书区域图像数据的步骤包括：当所述板书区域被遮挡时，分析所述人形检测结果，得到人形遮挡区域；将所述人形遮挡区域的画面帧保持在未被遮挡前的画面帧，并更新未被遮挡的区域的图像帧，得到板书视频画面；对所述板书视频画面进行编码，生成所述板书视频流数据。5.如权利要求4所述板书抓拍方法，其特征在于，在所述将所述人形遮挡区域的画面帧保持在未被遮挡前的画面帧，并更新未被遮挡的区域的图像帧，得到板书视频画面的步骤之后，还包括：当检测到所述人形遮挡区域的画面帧与所述未被遮挡前的画面帧交界线处存在板书内容...
【专利技术属性】
技术研发人员：柴亚伟，郑永勤，阮兆辉，文庆，
申请(专利权)人：深圳市鹏创软件有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。