一种用于考场或课堂纪律巡视的方法及巡视机器人技术

本发明专利技术公开了一种用于考场或课堂纪律巡视的方法及巡视机器人，涉及图像分析技术领域，所述方法包括：获取巡视路线，根据所述巡视路线对考场或课堂场景进行拍摄，得到当前场景图像，对所述当前场景图像进行预处理，得到目标图像；提取所述目标图像中的特征行为，将所述特征行为输入到卷积神经网络中，判断所述特征行为是否属于所述卷积神经网络中的预设异常行为，若判定所述特征行为属于所述预设异常行为，则进行语音播报。本发明专利技术通过对考场或课堂场景进行图像采集，结合卷积神经网络和目标检测算法可识别出场景图像中的异常行为，并将异常行为进行语音播报，有助于减少考场作弊行为以及改善课堂纪律。为以及改善课堂纪律。为以及改善课堂纪律。

【技术实现步骤摘要】
一种用于考场或课堂纪律巡视的方法及巡视机器人


[0001]本专利技术涉及图像分析
，尤其涉及一种用于考场或课堂纪律巡视的方法、系统、巡视机器人及计算机可读存储介质。

技术介绍

[0002]考试作为人才选拔机制以及衡量学生所学知识是否合格的一种手段，在促进我国教育发展和社会发展方面起着举足轻重的作用，其公平性和重要性是不言而喻的。由于考试结果往往与考生的利益有着极大的关系，不乏有一些考生铤而走险，采用各种方式来进行舞弊，较为典型的是考生在考场内相互交流传递答案。
[0003]并且，课堂中也时常出现学生上课玩手机，走神，偷吃零食，讲话，离堂的情况，但是传统的对考场或课堂中的视频监控大多是由人工完成，却无法对考场或课堂中的考生或学生的异常行为进行实时分析处理，人工判断效率较低。
[0004]因此，现有技术还有待于改进和发展。

技术实现思路

[0005]本专利技术的主要目的在于提供一种用于考场或课堂纪律巡视的方法、系统、巡视机器人及计算机可读存储介质，旨在解决考场或课堂中视频监控无法实时分析处理考生或学生异常行为的问题。
[0006]为实现上述目的，本专利技术提供一种用于考场或课堂纪律巡视的方法，所述用于考场或课堂纪律巡视的方法包括如下步骤：
[0007]获取巡视路线，根据所述巡视路线对考场或课堂场景进行拍摄，得到当前场景图像，对所述当前场景图像进行预处理，得到目标图像；
[0008]提取所述目标图像中的特征行为，将所述特征行为输入到卷积神经网络中，判断所述特征行为是否属于所述卷积神经网络中的预设异常行为，若判定所述特征行为属于所述预设异常行为，则进行语音播报。
[0009]可选地，所述的用于考场或课堂纪律巡视的方法，其中，获取巡视路线，根据所述巡视路线对考场或课堂场景进行拍摄，得到当前场景图像，对所述当前场景图像进行预处理，得到目标图像；
[0010]所述获取巡视路线，根据所述巡视路线对考场或课堂场景进行拍摄，得到当前场景图像，对所述当前场景图像进行预处理，得到目标图像，之前包括：
[0011]建立存储数据库，所述存储数据库包括预设异常行为、预设正常行为和骨骼关键点；
[0012]在所述卷积神经网络中建立目标数据集，所述目标数据集包括不同场景下的视频数据集；
[0013]将所述视频数据集进行分帧处理得到多个分帧图像，将所述多个分帧图像中的异常行为和正常行为进行标注，得到预设异常行为和预设正常行为，并对所述预设异常行为
和所述预设正常行为所对应的分帧图像进行增强；
[0014]所述获取巡视路线，根据所述巡视路线对考场或课堂场景进行拍摄，得到当前场景图像，对所述当前场景图像进行预处理，得到目标图像，之前还包括：
[0015]建立动态环境下的决策模型，根据所述决策模型得到所述巡视路线；
[0016]所述决策模型包括多任务决策功能和预测障碍运动功能；
[0017]所述多任务决策功能包括：路径规划、避障决策、目标检测和自主巡逻；
[0018]所述预测障碍运动功能包括：3D视觉检测、视觉SLAM和特征语义信息识别；
[0019]所述获取巡视路线，根据所述巡视路线对考场或课堂场景进行拍摄，得到当前场景图像，对所述当前场景图像进行预处理，得到目标图像，具体包括：
[0020]根据所述决策模型得到所述巡视路线后，对巡视路线中经过的考场或课堂场景进行实时拍摄，得到当前场景图像；
[0021]对所述当前场景图像进行滤波、噪声消除和卷积处理后得到所述目标图像。
[0022]可选地，所述的用于考场或课堂纪律巡视的方法，其中，提取所述目标图像中的特征行为，将所述特征行为输入到卷积神经网络中，判断所述特征行为是否属于所述卷积神经网络中的预设异常行为，若判定所述特征行为属于所述预设异常行为，则进行语音播报；
[0023]所述提取所述目标图像中的特征行为，将所述特征行为输入到卷积神经网络中，判断所述特征行为是否属于所述卷积神经网络中的预设异常行为，若判定所述特征行为属于所述预设异常行为，则进行语音播报，具体包括：
[0024]根据目标检测算法提取所述目标图像的特征行为，并将所述特征行为输入到所述卷积神经网络中；
[0025]将所述特征行为与所述卷积神经网络中的预设异常行为进行比对，判断所述特征行为是否属于所述预设异常行为；
[0026]若判定所述特征行为属于所述预设异常行为，则判定所述特征行为属于异常行为，并将所述异常行为进行语音播报；
[0027]所述提取所述目标图像中的特征行为，将所述特征行为输入到卷积神经网络中，判断所述特征行为是否属于所述卷积神经网络中的预设异常行为，若判定所述特征行为属于所述预设异常行为，则进行语音播报，之后包括：
[0028]当判定所述特征行为属于所述异常行为，并将所述异常行为进行语音播报后，根据所述目标检测算法提取所述异常行为对应的目标图像中的骨骼关键点；
[0029]将所述骨骼关键点通过CSV的模式保存到所述存储数据库，根据所述骨骼关键点提取后期检测课堂图像中的行为特征。
[0030]可选地，所述的用于考场或课堂纪律巡视的方法，其中，所述目标检测算法包括：yolo目标提取算法、hrnet人体骨骼提取算法和fernet情感识别算法。
[0031]此外，为实现上述目的，本专利技术还提供一种用于课堂纪律巡视的系统，其中，所述用于课堂纪律巡视的系统包括：
[0032]图像处理模块，用于获取巡视路线，根据所述巡视路线对考场或课堂场景进行拍摄，得到当前场景图像，对所述当前场景图像进行预处理，得到目标图像；
[0033]行为分析模块，用于提取所述目标图像中的特征行为，将所述特征行为输入到卷积神经网络中，判断所述特征行为是否属于所述卷积神经网络中的预设异常行为，若判定
所述特征行为属于所述预设异常行为，则进行语音播报。
[0034]此外，为实现上述目的，本专利技术还提供一种巡视机器人，其中，所述巡视机器人包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的用于课堂纪律巡视的程序，所述用于课堂纪律巡视的程序被所述处理器执行时实现如上所述的一种用于考场或课堂纪律巡视的方法的步骤。
[0035]此外，为实现上述目的，本专利技术还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有用于课堂纪律巡视的程序，所述用于课堂纪律巡视的程序被处理器执行时实现如上所述的一种用于考场或课堂纪律巡视的方法的步骤。
[0036]本专利技术中，获取巡视路线，根据所述巡视路线对考场或课堂场景进行拍摄，得到当前场景图像，对所述当前场景图像进行预处理，得到目标图像；
[0037]提取所述目标图像中的特征行为，将所述特征行为输入到卷积神经网络中，判断所述特征行为是否属于所述卷积神经网络中的预设异常行为，若判定所述特征行为属于所述预设异常行为，则进行语音播报。本专利技术通过巡视机器人搭载摄像头，按照制定的规划路线对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于考场或课堂纪律巡视的方法，其特征在于，所述用于考场或课堂纪律巡视的方法包括：获取巡视路线，根据所述巡视路线对考场或课堂场景进行拍摄，得到当前场景图像，对所述当前场景图像进行预处理，得到目标图像；提取所述目标图像中的特征行为，将所述特征行为输入到卷积神经网络中，判断所述特征行为是否属于所述卷积神经网络中的预设异常行为，若判定所述特征行为属于所述预设异常行为，则进行语音播报。2.根据权利要求1所述的用于考场或课堂纪律巡视的方法，其特征在于，所述获取巡视路线，根据所述巡视路线对考场或课堂场景进行拍摄，得到当前场景图像，对所述当前场景图像进行预处理，得到目标图像，之前包括：建立存储数据库，所述存储数据库包括预设异常行为、预设正常行为和骨骼关键点；在所述卷积神经网络中建立目标数据集，所述目标数据集包括不同场景下的视频数据集；将所述视频数据集进行分帧处理得到多个分帧图像，将所述多个分帧图像中的异常行为和正常行为进行标注，得到预设异常行为和预设正常行为，并对所述预设异常行为和所述预设正常行为所对应的分帧图像进行增强。3.根据权利要求1所述的用于考场或课堂纪律巡视的方法，其特征在于，所述获取巡视路线，根据所述巡视路线对考场或课堂场景进行拍摄，得到当前场景图像，对所述当前场景图像进行预处理，得到目标图像，之前还包括：建立动态环境下的决策模型，根据所述决策模型得到所述巡视路线；所述决策模型包括多任务决策功能和预测障碍运动功能；所述多任务决策功能包括：路径规划、避障决策、目标检测和自主巡逻；所述预测障碍运动功能包括：3D视觉检测、视觉SLAM和特征语义信息识别。4.根据权利要求3所述的用于考场或课堂纪律巡视的方法，其特征在于，所述获取巡视路线，根据所述巡视路线对考场或课堂场景进行拍摄，得到当前场景图像，对所述当前场景图像进行预处理，得到目标图像，具体包括：根据所述决策模型得到所述巡视路线后，对巡视路线中经过的考场或课堂场景进行实时拍摄，得到当前场景图像；对所述当前场景图像进行滤波、噪声消除和卷积处理后得到所述目标图像。5.根据权利要求2所述的用于考场或课堂纪律巡视的方法，其特征在于，所述提取所述目标图像中的特征行为，将所述特征行为输入到卷积神经网络中，判断所述特征行为是否属于所述卷积神经网络中的预设异常行为，若判定所述特征行为属于...

【专利技术属性】
技术研发人员：张坛，钟浩洋，钟智伶，陈晨阳，梁文斌，张政，
申请(专利权)人：深圳技术大学，
类型：发明
国别省市：