基于巡逻机器人的异常行为检测方法、装置、介质及设备制造方法及图纸

本发明专利技术公开了一种基于巡逻机器人的异常行为检测方法，包括：获取指定场景的视频流信息，所述视频流信息由巡逻机器人在指定场景巡逻并采集得到；遍历所述视频流信息中的每一帧图像信息，采用深度学习的方式对所述图像信息进行人体检测，得到人体对应的行为特征信息；采用深度学习的方式对所述图像信息进行指定物品检测，得到指定物品特征信息；融合所述行为特征信息和指定物品特征信息进行异常行为分析，获取所述视频流信息中的异常行为信息。本发明专利技术解决了现有指定场景的异常行为检测存在的智能化和自动化程度低、准确度不高、耗费人力的问题。人力的问题。人力的问题。

【技术实现步骤摘要】
基于巡逻机器人的异常行为检测方法、装置、介质及设备


[0001]本专利技术涉及机器人
，尤其涉及一种基于巡逻机器人的异常行为检测方法、装置、介质及设备。

技术介绍

[0002]在一些特定场景中，必须对场景内的人员行为进行异常监测，以避免出现人生安全问题。比如指定场所内目标人员在房间内可能会出现诸如攀爬围栏、上吊和打架等异常行为。
[0003]现有技术主要使用固定摄像头拍房间进行图像分析的方式实现对异常行为的检测。该方案通过使用固定的摄像头拍摄对应的指定房间，获取对应的视频流信息；然后通过一系列的深度学习的方案对视频流进行分析，从而判断目标人员是否产生了异常行为。然而单摄像头的覆盖场景十分有限，如果要覆盖场所所有房间，则整体摄像头的成本非常高，且异常检测能力还有待提高。
[0004]现有技术也通过使用简单巡逻或者作业型机器人对场所进行管理的方式进行异常行为检测。和第一种方案不同的是该方案是通过机器人巡检的方式对每个房间进行巡逻，完成每日的站岗和一些简单物件的送递任务。其缺点就是机器人的功能过于单一，智能化、自动化程度不高，需要管理人员进行辅助配合视觉分析判断是否出现异常，耗费一定程度的管理工作人员的精力与时间。

技术实现思路

[0005]本专利技术实施例提供了一种基于巡逻机器人的异常行为检测方法、装置、介质及设备，以解决现有指定场景的异常行为检测存在的智能化和自动化程度低、准确度不高、耗费人力的问题。
[0006]一种基于巡逻机器人的异常行为检测方法，所述方法包括：
>[0007]获取指定场景的视频流信息，所述视频流信息由巡逻机器人在指定场景巡逻并采集得到；
[0008]遍历所述视频流信息中的每一帧图像信息，采用深度学习的方式对所述图像信息进行人体检测，得到人体对应的行为特征信息；
[0009]采用深度学习的方式对所述图像信息进行指定物品检测，得到指定物品特征信息；
[0010]融合所述行为特征信息和指定物品特征信息进行异常行为分析，获取所述视频流信息中的异常行为信息。
[0011]可选地，所述采用深度学习的方式对所述图像信息进行人体检测，得到人体对应的行为特征信息包括：
[0012]采用深度学习模型YOLOV5和基于热力图的从上到下的方法对所述图像信息分别进行人体检测和人体关键节点检测，得到每个人体的包围盒和人体关键节点及其位置信
息；
[0013]将所述图像信息和人体关键节点及其位置信息输入预设的第一特征编码网络，得到人体对应的行为特征信息；
[0014]所述行为特征信息为根据人体关键节点的连接关系反映出的动作或行为信息。
[0015]可选地，所述采用深度学习的方式对所述图像信息进行指定物品检测，得到指定物品特征信息包括：
[0016]采用深度学习模型YOLOv5对所述图像信息进行指定物品检测，得到指定物品及其位置信息；
[0017]将所述图像信息以及指定物品的位置信息输入预设的第二特征编码网络，得到指定物品特征信息。
[0018]可选地，所述融合所述行为特征信息和指定物品特征信息进行异常行为分析，获取所述视频流信息中的异常行为信息包括：
[0019]基于预设的3DCNN时序分类网络，根据所述行为特征信息和指定物品特征信息，获取特征异常分值；
[0020]基于预设的BP神经网络，根据所述行为特征信息和指定物品特征信息，获取异常危险物品及其逻辑位置异常分值；
[0021]根据所述特征异常分值和逻辑位置异常分值确定所述视频流信息中的异常行为信息。
[0022]可选地，所述基于预设的3DCNN时序分类网络，根据所述行为特征信息和指定物品特征信息，获取特征异常分值包括：
[0023]对于每一帧图像信息，融合所述行为特征信息和指定物品特征信息，得到所述图像信息的融合特征；
[0024]将每M帧的图像信息的融合特征作为输入参数，输入至预设的3DCNN时序分类网络；
[0025]获取所述3DCNN时序分类网络输出的异常行为信息及其特征异常分值。
[0026]可选地，所述基于预设的BP神经网络，根据所述行为特征信息和指定物品特征信息，获取异常危险物品及其逻辑位置异常分值包括：
[0027]选取左手、右手和/或颈部作为目标位置；
[0028]对于每一帧图像信息，根据所述行为特征信息和指定物品特征信息，获取目标位置与指定物品之间的像素距离；
[0029]以每N秒内所有帧图像信息的像素距离作为输入参数，输入至预设的BP 神经网络；
[0030]获取所述BP神经网络输出的异常危险物品及其逻辑位置异常分值。
[0031]可选地，所述根据所述特征异常分值和逻辑位置异常分值确定所述视频流信息中的异常行为信息包括：
[0032]分别获取所述特征异常分值和逻辑位置异常分值对应的权重信息；
[0033]根据所述特征异常分值及其对应的权重信息、逻辑位置异常分值及其对应的权重信息，计算综合分值；
[0034]当所述综合分值大于或等于预设的异常阈值时，确定所述视频流信息中存在异常
行为信息，且所述异常行为信息为所述3DCNN时序分类网络输出的异常行为信息。
[0035]一种基于巡逻机器人的异常行为检测装置，所述装置包括：
[0036]获取模块，用于获取指定场景的视频流信息，所述视频流信息由巡逻机器人在指定场景巡逻并采集得到；
[0037]人体检测模块，用于遍历所述视频流信息中的每一帧图像信息，采用深度学习的方式对所述图像信息进行人体检测，得到人体对应的行为特征信息；
[0038]物品检测模块，用于采用深度学习的方式对所述图像信息进行指定物品检测，得到指定物品特征信息；
[0039]异常分析模块，用于融合所述行为特征信息和指定物品特征信息进行异常行为分析，获取所述视频流信息中的异常行为信息。
[0040]一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的基于巡逻机器人的异常行为检测方法。
[0041]一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的基于巡逻机器人的异常行为检测方法。
[0042]本专利技术实施例使用巡逻机器人覆盖所有监测范围，有效地减少了设备成本；通过获取指定场景的视频流信息，所述视频流信息由巡逻机器人在指定场景巡逻并采集得到；遍历所述视频流信息中的每一帧图像信息，采用深度学习的方式对所述图像信息进行人体检测，得到人体对应的行为特征信息；采用深度学习的方式对所述图像信息进行指定物品检测，得到指定物品特征信息；融合所述行为特征信息和指定物品特征信息进行异常行为分析，获取所述视频流信息中的异常行为信息；从而实现了对指定场景中的异常行为检测，通过人体检测和指定物品检测等多模态融合方案，提高了异常行为检测的准确度本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于巡逻机器人的异常行为检测方法，其特征在于，所述方法包括：获取指定场景的视频流信息，所述视频流信息由巡逻机器人在指定场景巡逻并采集得到；遍历所述视频流信息中的每一帧图像信息，采用深度学习的方式对所述图像信息进行人体检测，得到人体对应的行为特征信息；采用深度学习的方式对所述图像信息进行指定物品检测，得到指定物品特征信息；融合所述行为特征信息和指定物品特征信息进行异常行为分析，获取所述视频流信息中的异常行为信息。2.如权利要求1所述的基于巡逻机器人的异常行为检测方法，其特征在于，所述采用深度学习的方式对所述图像信息进行人体检测，得到人体对应的行为特征信息包括：采用深度学习模型YOLOV5和基于热力图的从上到下的方法对所述图像信息分别进行人体检测和人体关键节点检测，得到每个人体的包围盒和人体关键节点及其位置信息；将所述图像信息和人体关键节点及其位置信息输入预设的第一特征编码网络，得到人体对应的行为特征信息；所述行为特征信息为根据人体关键节点的连接关系反映出的动作或行为信息。3.如权利要求2所述的基于巡逻机器人的异常行为检测方法，其特征在于，所述采用深度学习的方式对所述图像信息进行指定物品检测，得到指定物品特征信息包括：采用深度学习模型YOLOv5对所述图像信息进行指定物品检测，得到指定物品及其位置信息；将所述图像信息以及指定物品的位置信息输入预设的第二特征编码网络，得到指定物品特征信息。4.如权利要求1至3任一项所述的基于巡逻机器人的异常行为检测方法，其特征在于，所述融合所述行为特征信息和指定物品特征信息进行异常行为分析，获取所述视频流信息中的异常行为信息包括：基于预设的3DCNN时序分类网络，根据所述行为特征信息和指定物品特征信息，获取特征异常分值；基于预设的BP神经网络，根据所述行为特征信息和指定物品特征信息，获取异常危险物品及其逻辑位置异常分值；根据所述特征异常分值和逻辑位置异常分值确定所述视频流信息中的异常行为信息。5.如权利要求4所述的基于巡逻机器人的异常行为检测方法，其特征在于，所述基于预设的3DCNN时序分类网络，根据所述行为特征信息和指定物品特征信息，获取特征异常分值包括：对于每一帧图像信息，融合所述行为特征信息和指定物品特征信息，得到所述图像信息的融合特征；将每M帧的...

【专利技术属性】
技术研发人员：刘振轩，柏林，刘彪，舒海燕，沈创芸，祝涛剑，王恒华，方映峰，
申请(专利权)人：广州高新兴机器人有限公司，
类型：发明
国别省市：