板书行为识别的方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开一种板书行为识别的方法、装置、设备及存储介质。其中，该方法包括步骤：获取待识别视频的视频帧和所述视频帧的人物检测结果；根据人物检测结果得出人物的人脸朝向，根据人脸朝向筛选出符合朝向要求的目标人物；检测目标人物与黑板之间的距离，在目标人物与黑板之间的距离在预设的阈值区间时，判断有板书行为。本发明专利技术与传统方法相比，不需要预设板书的具体姿态，减少了前期的工作量，同时也不会错误地将做着与板书类似的动作识别为板书行为，动作识别的准确性高，并且机器运算量少。量少。量少。

【技术实现步骤摘要】
板书行为识别的方法、装置、设备及存储介质


[0001]本专利技术涉及视频图像识别的
，更具体地，涉及一种板书行为识别的方法、装置、设备及存储介质。

技术介绍

[0002]在教学场景中，常常需要识别出各种各样与教学相关的行为，其中之一就是板书行为。目前对于板书行为的检测，常见方案主要是两阶段、甚至是三阶段的检测方案，即首先对板书范围进行人体检测，得到人体的包围框(bounding box)，然后对包围框内的人体进行关键点检测，部分算法最后还会根据手部关键点的位置，对手部的图片进一步使用分类算法进行分类用来区分是否是在进行板书这个动作。这类多阶段方案有如下缺陷：首先，需要预设教师/学生板书的具体姿态，预设姿态的丰富程度决定了这类方案的准确性；其次，这类方案是对姿态进行识别，但教师/学生有可能在不板书的情形下做着与板书类似的动作，所以会发生错误识别；最后，在教室场景下，部分场景会出现遮挡较多的情况，如讲台遮挡住身体的情况，导致第一步的人体检测模块输出精度降低。

技术实现思路

[0003]本专利技术为克服无法当前板书行为识别方法的缺陷，提供一种板书行为识别的方法、装置、设备及存储介质，本专利技术采用的技术方案如下。
[0004]第一方面，本专利技术提供一种板书行为识别的方法，包括步骤：
[0005]获取待识别视频的视频帧和所述视频帧的人物检测结果；
[0006]根据人物检测结果得出人物的人脸朝向，根据人脸朝向筛选出符合朝向要求的目标人物；
[0007]检测目标人物与黑板之间的距离，在目标人物与黑板之间的距离在预设的阈值区间时，判断有板书行为。
[0008]在一种实施方式中，所述人物检测结果包括：人头检测结果和人脸检测结果；
[0009]所述根据人物检测结果得出人物的人脸朝向，根据人脸朝向筛选出符合朝向要求的目标人物的过程，包括步骤：
[0010]在人头检测结果的对象中过滤掉能够检测到人脸的对象，得到剩余的对象；
[0011]将所述剩余的对象确定为目标人物。
[0012]在一种实施方式中，所述检测目标人物与黑板之间的距离，在目标人物与黑板之间的距离在预设的阈值区间时，判断有板书行为的过程，包括步骤：
[0013]对视频帧进行全图的深度信息检测；
[0014]提取目标人物的深度信息和黑板区域的深度信息，其中，所述黑板区域是预先划定的；
[0015]根据目标人物的深度信息、黑板区域的深度信息以及预设的深度阈值，判断是否有板书行为。
[0016]在一种实施方式中，所述人物检测结果包括：人头检测结果；
[0017]所述根据目标人物的深度信息、黑板区域的深度信息以及预设的深度阈值，判断是否有板书行为的过程，包括步骤：
[0018]计算人头区域的平均深度；
[0019]根据黑板区域的深度信息以及预设的深度阈值，得出板书深度区域的最大深度值和最小深度值，计算这两个值与[0,1]的区间的映射关系；
[0020]使用所述映射关系将人头区域的平均深度进行映射转换，得到人头区域在黑板区域的相对深度值；
[0021]根据相对深度值判断是否有板书行为。
[0022]在一种实施方式中，还包括步骤：过滤掉在预设板书范围外的人物检测结果。
[0023]在一种实施方式中，所述人物检测结果包括：人脸检测结果和/或人头检测结果。
[0024]第二方面，本专利技术提供一种板书行为识别的装置，包括：
[0025]获取模块，用于获取待识别视频的视频帧和所述视频帧的人物检测结果；
[0026]筛选模块，用于根据人物检测结果得出人物的人脸朝向，根据人脸朝向筛选出符合朝向要求的目标人物；
[0027]判断模块，用于检测目标人物与黑板之间的距离，在目标人物与黑板之间的距离在预设的阈值区间时，判断有板书行为。
[0028]在一种实施方式中，还包括：
[0029]过滤模块，用于过滤掉在预设板书范围外的人物检测结果。
[0030]第三方面，本专利技术提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一实施方式的方法。
[0031]第四方面，本专利技术提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述任一实施方式的方法。
[0032]本专利技术中，基于人做板书时，需要面向黑板，并且离黑板的距离是比较近的，会在一定的距离之内的这种特点，通过人脸朝向和人物与黑板的距离筛选识别出人的板书行为。与传统方法相比，不需要预设板书的具体姿态，减少了前期的工作量，同时也不会错误地将做着与板书类似的动作识别为板书行为，动作识别的准确性高，并且机器运算量少。
附图说明
[0033]图1是本专利技术实施例一一实施方式的流程示意图。
[0034]图2是全景摄像机拍摄到的画面示意图。
[0035]图3是本专利技术实施例一另一实施方式的流程示意图
[0036]图4是本专利技术实施例二整体结构示意图。
具体实施方式
[0037]下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围
完整的传达给本领域的技术人员。
[0038]需要说明的是，本专利技术实施例所涉及的术语“第一\第二\
……”
仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\
……”
在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\
……”
区分的对象在适当情况下可以互换，以使这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
[0039]实施例一
[0040]请参见图1，图1为本专利技术实施例一提供的一种板书行为识别的方法的流程示意图，该方法包括步骤S110、步骤S120和步骤S130。需要注意的是，步骤S110、步骤S120和步骤S130仅为附图标记，用于清晰解释实施例与附图1的对应关系，不代表对本实施例中各步骤的顺序限定。
[0041]步骤S110，获取待识别视频的视频帧和所述视频帧的人物检测结果。
[0042]步骤S120，根据人物检测结果得出人物的人脸朝向，根据人脸朝向筛选出符合朝向要求的目标人物；
[0043]步骤S130，检测目标人物与黑板之间的距离，在目标人物与黑板之间的距离在预设的阈值区间时，判断有板书行为。
[0044]获取摄像机端拍摄的视频，一般是全景摄像机拍摄的视频，对视频的每一帧图像帧进行分析，并获取关于这些图像帧的人物检测结果。
[0045]优选的，所述人物检测结果包括：人脸检测结果和/或人头检测结果。
[0046]由于在教室场景下本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种板书行为识别的方法，其特征在于，包括步骤：获取待识别视频的视频帧和所述视频帧的人物检测结果；根据人物检测结果得出人物的人脸朝向，根据人脸朝向筛选出符合朝向要求的目标人物；检测目标人物与黑板之间的距离，在目标人物与黑板之间的距离在预设的阈值区间时，判断有板书行为。2.根据权利要求1所述的板书行为识别的方法，其特征在于，所述人物检测结果包括：人头检测结果和人脸检测结果；所述根据人物检测结果得出人物的人脸朝向，根据人脸朝向筛选出符合朝向要求的目标人物的过程，包括步骤：在人头检测结果的对象中过滤掉能够检测到人脸的对象，得到剩余的对象；将所述剩余的对象确定为目标人物。3.根据权利要求1所述的板书行为识别的方法，其特征在于，所述检测目标人物与黑板之间的距离，在目标人物与黑板之间的距离在预设的阈值区间时，判断有板书行为的过程，包括步骤：对视频帧进行全图的深度信息检测；提取目标人物的深度信息和黑板区域的深度信息，其中，所述黑板区域是预先划定的；根据目标人物的深度信息、黑板区域的深度信息以及预设的深度阈值，判断是否有板书行为。4.根据权利要求3所述的板书行为识别的方法，其特征在于，所述人物检测结果包括：人头检测结果；所述根据目标人物的深度信息、黑板区域的深度信息以及预设的深度阈值，判断是否有板书行为的过程，包括步骤：计算人头区域的平均深度；根据黑板区域的深度信息以及预设的深度阈值，得出板书深度区域的最大深度值和...

【专利技术属性】
技术研发人员：詹建勋，
申请(专利权)人：广州市奥威亚电子科技有限公司，
类型：发明
国别省市：