基于计算机视觉的幼师体罚小孩行为检测方法技术

本发明专利技术涉及一种基于计算机视觉的幼师体罚小孩行为检测方法，该方法含有以下步骤：1.使用枪机摄像头拍摄幼师和小孩的图像，经目标检测网络检测处理，通过幼师和小孩的包围框中心点的L2距离判断两者是否存在交互；2.若存在交互，则使用球机摄像头拍摄幼师和小孩的图像，经网络处理后获取幼师和小孩的二维骨骼关键点信息和三维姿态序列信息；3.当检测到幼师的三维姿态为弯腰体罚姿态，且小孩的三维姿态为低头蜷缩站立姿态时，将检测到的多帧连续图像中幼师肢体关键点投影到BIM地面上，当幼师肢体的移动速度大于阈值时，则认为存在幼师体罚小孩行为；本发明专利技术可即时检测幼师是否体罚小孩，检测准确率高，效率高，实时性好。

【技术实现步骤摘要】
基于计算机视觉的幼师体罚小孩行为检测方法(一)、
本专利技术涉及一种行为检测方法，特别涉及一种基于计算机视觉的幼师体罚小孩行为检测方法。(二)、
技术介绍
幼儿是祖国的未来，幼儿园是幼儿快乐成长的地方，幼儿不仅要在幼儿园度过美好的童年时光，而且还要在幼儿园接受学前教育，在幼师的帮助和教育下学会良好的社会认知，与幼儿园小朋友建立良好的人际关系，养成良好的行为和习惯，初步形成完整的健康性格，获得认知自然和社会的能力，这对幼儿将来的成长起到十分重要的作用。然而，由于幼儿园老师的素质参差不齐，近年来，幼师虐待体罚幼儿的事件时有发生，给幼儿的身心健康带来了巨大的伤害，也给幼儿幼小的身心蒙上了心理阴影，同时也给社会的稳定留下了一定的隐患。因此，需要对幼儿园教室和寝室进行必要的实时监控，特别是对幼师体罚虐待幼儿的行为，一旦发现，应立即发出报警信号，制止并对幼师做出相应的处罚，保护幼儿身心的健康发展。近年来，已有不少有关检测异常行为的现有技术，如打架行为检测等，基本是针对特定场景，也能起到一定的检测作用，但其缺点也是很明显的，漏检误检严重，不适合幼儿园这种有高要求的场合。申请号为201510658151.0的授权专利公布了一种幼师体罚小孩行为的检测方法，该方法通过背景建模及前景识别提取运动前景块，实现幼师体罚小孩行为的检测，但幼儿园中图像背景较为复杂，幼儿年龄小又好动，幼师行为多变，造成该方法不能准确提取前景目标，且采用光流法进行运动前景的检测跟踪耗时长效率低，因此实时性及实用性都较差。(三)、专利技术内容本专利技术要解决的技术问题是：提供一种基于计算机视觉的幼师体罚小孩行为检测方法，该方法可即时检测幼师是否体罚小孩，检测准确率高，效率高，实时性好。本专利技术的技术方案：一种基于计算机视觉的幼师体罚小孩行为检测方法，含有以下步骤：步骤1、构建幼儿园区域的BIM(建筑信息模型)及其信息交换模块，即以建筑信息数据为基础，建立起三维建筑空间模型和建筑信息的有机综合体；建筑信息模型主要包含获取相机感知信息、相应的地理位置信息、内部设施、传感器以及幼儿园当前环境的信息，信息交换模块是一种BIM的数据库的访问模块；建立幼儿园BIM是为了实时展示幼儿园情况，帮助监管人员更加准确的获取幼师体罚小孩的位置信息，并及时在BIM中生成预警任务，以便监管人员及时发现幼师恶劣行为，及时制止并对其进行惩治。步骤2、幼儿园区域布置有枪球联动摄像头，枪球联动摄像头中含有枪机摄像头和球机摄像头，使用枪机摄像头进行拍摄，采集包含有幼师和小孩的图像，作为目标检测神经网络的输入数据；步骤3、使用目标检测网络对步骤2所采集到的包含有幼师和小孩的图像进行检测处理，获取幼师的包围框和小孩的包围框，计算幼师的包围框中心点和小孩的包围框中心点之间的L2距离；目标检测网络的具体训练要素包括：(1)使用幼儿园各枪机摄像头采集幼师和小孩的图像，作为目标检测网络的输入；(2)所拍摄的幼师和小孩的图像经过归一化处理，即将图像矩阵的值域变为[0,1]之间的浮点数，以便模型更好地收敛；(3)制作图像标签数据，图像标签数据同样经过归一化处理，对幼师的包围框和小孩的包围框进行标注，标签数据为x，y，w，h，其中x、y为包围框中心点坐标，w为包围框的宽度，h为包围框的高度；(4)使用采集的图像和包围框标签数据，端到端地训练目标检测编码器Encoder和目标检测解码器Decoder；目标检测编码器Encoder对图像进行特征提取，输入为经过归一化处理的图像数据，输出为Featuremap；目标检测解码器Decoder是对Featuremap进行上采样并生成幼师和小孩的包围框(BoundingBox)；(5)loss函数采用均方差损失函数。步骤4、当一个幼师的包围框中心点和一个小孩的包围框中心点之间的L2距离小于设定的阈值时，使用球机摄像头进行拍摄，采集包含该幼师和该小孩的图像，作为关键点检测网络的输入；本专利技术提前设定阈值，当L2距离小于一定阈值时，说明幼师和小孩之间存在交互行为，此时开始启动球机；步骤5、使用关键点检测网络检测步骤4所采集到的包含该幼师和该小孩的图像中人体的关键点，并对关键点进行坐标标注，即标注关键点的X,Y坐标，关键点包括人体的头部关键点、颈部关键点、左肩部关键点、右肩部关键点、左肘关节关键点、右肘关节关键点、左腕关节关键点、右腕关节关键点、左髋关节关键点、右髋关节关键点、左膝关节关键点、右膝关节关键点、左踝关节关键点、右踝关节关键点，共14个关键点，将坐标标注的人体关键点的散点图与高斯核卷积形成人体关键点热力图；在此说明，在对人体关键点进行坐标标注时，遮挡住的关键点也要标注出来，这样能够避免某些关键点检测不到的情况；关键点检测网络的具体训练要素包括：(1)使用幼儿园各球机摄像头采集的图像和人体关键点热力图标签，端到端地训练人体关键点检测编码器Encoder和关键点检测解码器Decoder；关键点检测编码器Encoder对图像进行特征提取，其输入为经过归一化处理的图像数据，其输出为Featuremap；关键点检测解码器Decoder是对Featuremap进行上采样与特征提取，其输入为关键点检测编码器Encoder产生的Featuremap，其输出为人体的关键点热力图(heatmap)；(2)Loss函数采用均方差损失函数；步骤6、将关键点检测网络输出的人体关键点热力图进行后处理，得到人体的各个关键点位置，热力图的后处理方法为周知的现有技术；步骤7、使用关键点关系矢量谱生成网络对步骤6中所得到的人体的各个关键点进行数据标注，得到人体的各个关键点的关系谱(PartAffinityFields，即PAFs)；数据标注的内容包含各个关键点的位置和方向；关键点关系矢量谱生成网络的具体训练要素包括：(1)使用幼儿园各球机摄像头采集的图像和标签数据，训练关系矢量谱编码器Encoder2和关系矢量谱解码器Decoder2，关系矢量谱编码器Encoder2对图像进行特征提取，其输入为经过归一化处理的图像数据，其输出为Featuremap2；关系矢量谱解码器Decoder2是对Featuremap2进行上采样与特征提取，其输入为Encoder2产生的Featuremap2，其输出为人体的各个关键点的关系谱PAFs。(2)Loss函数采用均方差损失函数。步骤8、结合人体的关键点和各个关键点的关系谱即可分别获取该幼师和该小孩的二维骨骼关键点信息；步骤9、将获取的至少两帧连续的该幼师的二维骨骼关键点信息和至少两帧连续的该小孩的二维骨骼关键点信息输入TCN网络(时序卷积神经网络)，经TCN网络处理后分别得到该幼师和该小孩的三维姿态序列信息；步骤10、在TCN网络后接两个全连接层FC，使用两个全连接层FC分别对该幼师和该小孩的三维姿态序列信息进行识别；如果该幼师的三维姿态为弯腰体罚姿态，且该小孩的三维姿态为低头蜷缩站立姿本文档来自技高网...

【技术保护点】
1.一种基于计算机视觉的幼师体罚小孩行为检测方法，其特征是：含有以下步骤：/n步骤1、构建幼儿园区域的BIM及其信息交换模块；/n步骤2、幼儿园区域布置有枪球联动摄像头，枪球联动摄像头中含有枪机摄像头和球机摄像头，使用枪机摄像头进行拍摄，采集包含有幼师和小孩的图像；/n步骤3、使用目标检测网络对步骤2所采集到的包含有幼师和小孩的图像进行检测处理，获取幼师的包围框和小孩的包围框，计算幼师的包围框中心点和小孩的包围框中心点之间的L2距离；/n步骤4、当一个幼师的包围框中心点和一个小孩的包围框中心点之间的L2距离小于设定的阈值时，使用球机摄像头进行拍摄，采集包含该幼师和该小孩的图像；/n步骤5、使用关键点检测网络检测步骤4所采集到的包含该幼师和该小孩的图像中人体的关键点，并对关键点进行坐标标注，关键点包括人体的头部关键点、颈部关键点、左肩部关键点、右肩部关键点、左肘关节关键点、右肘关节关键点、左腕关节关键点、右腕关节关键点、左髋关节关键点、右髋关节关键点、左膝关节关键点、右膝关节关键点、左踝关节关键点、右踝关节关键点，将坐标标注的人体关键点的散点图与高斯核卷积形成人体关键点热力图；/n步骤6、将关键点检测网络输出的人体关键点热力图进行后处理，得到人体的各个关键点位置；/n步骤7、使用关键点关系矢量谱生成网络对步骤6中所得到的人体的各个关键点进行数据标注，得到人体的各个关键点的关系谱；数据标注的内容包含各个关键点的位置和方向；/n步骤8、结合人体的关键点和各个关键点的关系谱分别获取该幼师和该小孩的二维骨骼关键点信息；/n步骤9、将获取的至少两帧连续的该幼师的二维骨骼关键点信息和至少两帧连续的该小孩的二维骨骼关键点信息输入TCN网络，经TCN网络处理后分别得到该幼师和该小孩的三维姿态序列信息；/n步骤10、使用两个全连接层FC分别对该幼师和该小孩的三维姿态序列信息进行识别；如果该幼师的三维姿态为弯腰体罚姿态，且该小孩的三维姿态为低头蜷缩站立姿态，则执行步骤11，否则执行步骤12；/n步骤11、将检测到的至少两帧连续图像中该幼师的人体关键点投影到幼儿园区域的BIM地面上，根据该幼师的人体关键点的坐标变化得到该幼师肢体的移动轨迹和移动速度；当该幼师肢体的移动速度v大于阈值V’时，则认为存在幼师体罚小孩行为；/n步骤12、结束。/n...

【技术特征摘要】
1.一种基于计算机视觉的幼师体罚小孩行为检测方法，其特征是：含有以下步骤：
步骤1、构建幼儿园区域的BIM及其信息交换模块；
步骤2、幼儿园区域布置有枪球联动摄像头，枪球联动摄像头中含有枪机摄像头和球机摄像头，使用枪机摄像头进行拍摄，采集包含有幼师和小孩的图像；
步骤3、使用目标检测网络对步骤2所采集到的包含有幼师和小孩的图像进行检测处理，获取幼师的包围框和小孩的包围框，计算幼师的包围框中心点和小孩的包围框中心点之间的L2距离；
步骤4、当一个幼师的包围框中心点和一个小孩的包围框中心点之间的L2距离小于设定的阈值时，使用球机摄像头进行拍摄，采集包含该幼师和该小孩的图像；
步骤5、使用关键点检测网络检测步骤4所采集到的包含该幼师和该小孩的图像中人体的关键点，并对关键点进行坐标标注，关键点包括人体的头部关键点、颈部关键点、左肩部关键点、右肩部关键点、左肘关节关键点、右肘关节关键点、左腕关节关键点、右腕关节关键点、左髋关节关键点、右髋关节关键点、左膝关节关键点、右膝关节关键点、左踝关节关键点、右踝关节关键点，将坐标标注的人体关键点的散点图与高斯核卷积形成人体关键点热力图；
步骤6、将关键点检测网络输出的人体关键点热力图进行后处理，得到人体的各个关键点位置；
步骤7、使用关键点关系矢量谱生成网络对步骤6中所得到的人体的各个关键点进行数据标注，得到人体的各个关键点的关系谱；数据标注的内容包含各个关键点的位置和方向；
步骤8、结合人体的关键点和各个关键点的关系谱分别获取该幼师和该小孩的二维骨骼关键点信息；
步骤9、将获取的至少两帧连续的该幼师的二维骨骼关键点信息和至少两帧连续的该小孩的二维骨骼关键点信息输入TCN网络，经TCN网络处理后分别得到该幼师和该小孩的三维姿态序列信息；
步骤10、使用两个全连接层FC分别对该幼师和该小...

【专利技术属性】
技术研发人员：李小红，孙猛猛，
申请(专利权)人：李小红，
类型：发明
国别省市：陕西;61