用于板书显示的处理方法和相关装置制造方法及图纸

本公开提供了一种用于板书显示的处理方法和相关装置，该处理方法包括：通过第二图像帧的目标物分割图去除第二图像帧的遮挡区域，得到第二中间图像；通过目标物分割图去除第一图像帧中与遮挡区域位置对应区域之外的区域，得到第一中间图像；将第一中间图像和第二中间图像进行叠加，得到替换第二图像帧的图像帧；其中，第一图像帧为板书数据完整的图像帧，第二图像帧为因目标物遮挡而需要补全板书数据的图像帧。本公开能够快速且高度还原被遮挡图像帧的板书数据。像帧的板书数据。

【技术实现步骤摘要】
用于板书显示的处理方法和相关装置


[0001]本公开涉及图像处理的
，具体涉及一种用于板书显示的处理方法和相关装置。

技术介绍

[0002]在智慧课堂实际教学场景中，为了拍摄更为清晰的板书画面，往往会在写字板上方安置一个摄像头，该摄像头向下倾斜进行拍摄，拍摄出的视频中部分图像帧会因教师遮挡写字板而无法将板书数据完整呈现出来，这种视频若图像帧不经处理直接在显示屏播放则会严重影响学生的课堂观感。

技术实现思路

[0003]为了解决上述技术问题，本公开提供了一种用于板书显示的处理方法和相关装置。
[0004]根据本公开第一方面，提供了一种用于板书显示的处理方法，包括：
[0005]通过第二图像帧的目标物分割图去除所述第二图像帧的遮挡区域，得到第二中间图像；
[0006]通过所述目标物分割图去除第一图像帧中与所述遮挡区域位置对应区域之外的区域，得到第一中间图像；
[0007]将所述第一中间图像和第二中间图像进行叠加，得到替换所述第二图像帧的图像帧；
[0008]其中，所述第一图像帧为板书数据完整的图像帧，所述第二图像帧为因目标物遮挡而需要补全板书数据的图像帧。
[0009]可选地，所述目标物分割图中目标物为白色且背景为黑色；
[0010]通过第二图像帧的目标物分割图去除所述第二图像帧的遮挡区域，包括：将所述目标物分割图进行图像取反操作后得到的图像，与所述第二图像帧进行图像相与操作。
[0011]可选地，通过所述目标物分割图去除第一图像帧中与所述遮挡区域位置对应区域之外的区域，包括：将所述目标物分割图与所述第一图像帧进行图像相与操作。
[0012]可选地，将所述第一中间图像和第二中间图像进行叠加，包括：将所述第一中间图像和所述第二中间图像进行图像相加操作。
[0013]可选地，所述处理方法还包括：将所述第二图像帧输入至设定的目标物分割模型，经所述目标物分割模型分割而输出所述目标物分割图，其中，所述目标物分割模型为经训练后学习到目标物分割功能的神经网络。
[0014]可选地，所述处理方法还包括：
[0015]接收第二原始帧；
[0016]获取透射变换矩阵；
[0017]基于所述透射变换矩阵对所述第二原始帧进行矫正处理，得到所述第二图像帧，
其中，所述第二原始帧中写字板倾斜，所述第二图像帧中写字板和所述第一图像帧中写字板皆端正。
[0018]可选地，在通过第二图像帧的目标物分割图去除所述第二图像帧的遮挡区域之前，所述处理方法还包括：
[0019]获取写字板四个顶点在目标原始帧内矫正前的坐标信息；
[0020]根据摄像设备所拍摄场景中写字板的长宽比，确定写字板四个顶点在矫正后目标原始帧内的坐标信息，得到矫正后的坐标信息；
[0021]通过所述矫正前的坐标信息和所述矫正后的坐标信息，计算出所述透射变换矩阵；
[0022]其中，所述目标原始帧为所述摄像设备所拍摄视频的首个图像帧，所述矫正后目标原始帧为所述目标原始帧矫正到写字板端正情况下的图像帧。
[0023]可选地，获取写字板四个顶点在目标原始帧内矫正前的坐标信息，包括：
[0024]将所述目标原始帧输入至设定的写字板顶点检测模型，经所述写字板顶点检测模型检测而输出所述矫正前的坐标信息；
[0025]其中，所述写字板顶点检测模型为经训练后学习到写字板顶点检测功能的神经网络。
[0026]根据本公开第二方面，提供了一种电子设备，所述电子设备包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现第一方面所述的任一种处理方法的步骤。
[0027]根据本公开第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序或指令，所述计算机程序或指令被处理器执行时实现第一方面所述的任一种处理方法的步骤。
[0028]本公开的有益效果：
[0029]本公开提供的用于板书显示的处理方法，通过第二图像帧的目标物分割图分别去除第二图像帧的遮挡区域和第一图像帧中与遮挡区域位置对应区域之外的区域，然后将得到的第一中间图像和第二中间图像进行叠加来得到替换第二图像帧的图像帧，整个过程简便快捷。其中，第一图像帧作为板书数据完整的图像帧，其内与遮挡区域位置对应区域的板书数据与第二图像帧内被目标物遮挡的板书数据具有较高的一致性，因而替换第二图像帧的图像帧高度还原了第二图像帧的板书数据。
[0030]应当说明的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
[0031]图1示出本公开实施例提供的一种用于板书显示的处理方法的流程图；
[0032]图2示出本公开实施例中一种示例性的目标物分割图；
[0033]图3示出图2所示目标物分割图进行图像取反操作后得到的图像；
[0034]图4示出本公开实施例提供的另一种用于板书显示的处理方法的流程图；
[0035]图5示出写字板倾斜状态下的示意图；
[0036]图6示出写字板端正状态下的示意图；
[0037]图7示出本公开实施例提供的电子设备的结构示意图。
具体实施方式
[0038]为了便于理解本公开，下面将参照相关附图对本公开进行更全面的描述。附图中给出了本公开的较佳实施例。但是，本公开可以通过不同的形式来实现，并不限于本文所描述的实施例。相反的，提供这些实施例的目的是使对本公开的公开内容的理解更加透彻全面。
[0039]图1示出了本公开实施例提供的一种用于板书显示的处理方法的流程图。参照图1，该处理方法包括：
[0040]步骤S120，通过第二图像帧的目标物分割图去除第二图像帧的遮挡区域，得到第二中间图像。第二图像帧为因目标物遮挡而需要补全板书数据的图像帧。
[0041]步骤S140，通过目标物分割图去除第一图像帧中与遮挡区域位置对应区域之外的区域，得到第一中间图像。第一图像帧为板书数据完整的图像帧。
[0042]步骤S160，将第一中间图像和第二中间图像进行叠加，得到替换第二图像帧的图像帧。
[0043]具体地，经过步骤S120得到的第二中间图像不再包含第二图像帧的遮挡区域，经过步骤S140得到的第一中间图像只包含第一图像帧中与遮挡区域位置对应的区域，因而，替换第二图像帧的图像帧为由第一图像帧中与遮挡区域位置对应的区域和第二图像帧中遮挡区域之外区域组成的图像。
[0044]需要说明的是，上述第一图像帧可以是由摄像设备拍摄出的不存在目标物遮挡板书数据现象的一个原始帧，该原始帧无需经过板书数据的补全处理就能直接应用于步骤S140；第一图像帧也可以是摄像设备拍摄出的原始帧经过板书数据的补全处理后得到的板书数据完整的图像帧。
[0045]上述第一图像帧用于第二图像帧中板书数据的补全，因而第一图像帧应与第二图像帧接近，例如第一图像帧为视频中第二本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于板书显示的处理方法，其特征在于，包括：通过第二图像帧的目标物分割图去除所述第二图像帧的遮挡区域，得到第二中间图像；通过所述目标物分割图去除第一图像帧中与所述遮挡区域位置对应区域之外的区域，得到第一中间图像；将所述第一中间图像和第二中间图像进行叠加，得到替换所述第二图像帧的图像帧；其中，所述第一图像帧为板书数据完整的图像帧，所述第二图像帧为因目标物遮挡而需要补全板书数据的图像帧。2.根据权利要求1所述的处理方法，其特征在于，所述目标物分割图中目标物为白色且背景为黑色；通过第二图像帧的目标物分割图去除所述第二图像帧的遮挡区域，包括：将所述目标物分割图进行图像取反操作后得到的图像，与所述第二图像帧进行图像相与操作。3.根据权利要求2所述的处理方法，其特征在于，通过所述目标物分割图去除第一图像帧中与所述遮挡区域位置对应区域之外的区域，包括：将所述目标物分割图与所述第一图像帧进行图像相与操作。4.根据权利要求3所述的处理方法，其特征在于，将所述第一中间图像和第二中间图像进行叠加，包括：将所述第一中间图像和所述第二中间图像进行图像相加操作。5.根据权利要求1所述的处理方法，其特征在于，还包括：将所述第二图像帧输入至设定的目标物分割模型，经所述目标物分割模型分割而输出所述目标物分割图，其中，所述目标物分割模型为经训练后学习到目标物分割功能的神经网络。6.根据权利要求1所述的处理方法，其特征在于，还包括：接收第二原始帧；获取透射变换矩阵；基于所述透射变换矩阵对所述第二原始帧进行矫正处...

【专利技术属性】
技术研发人员：李伟琪，
申请(专利权)人：北京奕斯伟计算技术股份有限公司，
类型：发明
国别省市：