一种基于深度学习图像处理的多模式安保监测方法技术

本发明专利技术提出了一种基于深度学习图像处理的多模式安保监测方法，将需要监控的场景按照重要程度进行划分，并根据后续的机器学习结果定期调整，实现将有限的监控资源应用在最需要监控的地方，同时对需要监控的内容也进行重点关注，通过设定危险ID和次危险ID，将最可能出现需要监控的人物给筛选出来，两个操作的结合，实现对最需要监控的地方出现的最需要监控的人进行重点监测，同时通过采集实际的需要监控的场景，粘贴外来的大量训练数据，实现符合待监测场景的预训练集数据的丰富，进而提高最终识别的精度。同时通过训练后的结果，还可以对最可能发送异常行为的区域进行调整监督。实现以较低的设备成本和开销达成最大效率的视频在线监控。

【技术实现步骤摘要】
一种基于深度学习图像处理的多模式安保监测方法
本专利技术属于计算机图像处理监测
，具体地说，涉及一种基于深度学习图像处理的多模式安保监测方法。
技术介绍
随着计算机技术的高速发展，基于机器学习的图像处理技术也愈发成熟，并应用在各行各业中。如人脸识别的快捷支付、人脸识别的密码锁、图像识别的快速智能识别等等。但其主要还是应用在图像的识别层面。因为图像的数据库是相当丰富的，在庞大的图像数据资源做支撑的情况下，图像识别的精度是相当高的；而当今世界上关于视频的数据库，其数据量是远远低于图像的数据量的，故对视频直接开展的识别受限于数据库资源，在技术成熟度和精度上都是远远低于对于图像的识别的。故一般对于视频的识别，通常都是将视频转换为一帧帧的图像，然后对图像进行识别，最终实现对视频的识别。在此种情况下，因为一秒视频一般就包含了几十帧的图像，常规对视频进行识别分析的开销是巨大的。在此基础上，现有技术通常都是采用稀疏帧的方式，从完整的视频帧图像中采样进行图像识别，在尽可能保证不损失图像内容的情况下进行图像识别，但其开销仍然是巨大的。同时这种方式也常见用于离线进行视频的识别，而在多场景的监控场景中，监控的识别本身就是在线实时进行的，同时需要采用图像处理来辅助监控的场景，一般也是存在于单人无法胜任的多摄像头对多区域进行查看的场景。在这种情形下，如果对多个摄像头都同时进行在线监控，那么其开销是巨大的，对设备的要求相当之高，在应用性上来说也会差很多，同时针对监控的多元化来说，监控的算法内容上的丰富，还会增加成本和开销，算法增加的开销若叠加在多个摄像头的监控上，其开销是呈指数型的增长的。
技术实现思路
本专利技术针对现有技术的上述缺陷，提出了一种基于深度学习图像处理的多模式安保监测方法，将需要监控的场景按照重要程度进行划分，并根据后续的机器学习结果定期调整，实现将有限的监控资源应用在最需要监控的地方，同时对需要监控的内容也进行重点关注，通过设定危险ID和次危险ID，将最可能出现需要监控的人物给筛选出来，两个操作的结合，实现对最需要监控的地方出现的最需要监控的人进行重点监测，同时通过采集实际的需要监控的场景，粘贴外来的大量训练数据，实现符合待监测场景的预训练集数据的丰富，进而提高最终识别的精度。同时通过训练后的结果，还可以对最可能发送异常行为的区域进行调整监督。实现以较低的设备成本和开销达成最大效率的视频在线监控。本专利技术具体实现内容如下：本专利技术提出了一种基于深度学习图像处理的多模式安保监测方法，包括以下步骤：步骤1：构建被监测场地的全局地图模型；步骤2：在构建的全局地图模型下划分多个不同的安保监测子区域；将不同安保监测子区域划分不同的监测力度等级，并对每个安保监测子区域安装相应的监控摄像头，并运行监控一段时间；步骤3：选取图像数据库作为预训练集进行预训练，得到预训练模型；并调取安保监测子区域的监控摄像头历史监控的所有监控图像，用于丰富预训练集；步骤4：在实际监测的时候，首先设定监测展示队列，将所有安保监测子区域的监控摄像头根据监测力度等级的高低间隔排序在监测展示队列中；然后按照设定的监测力度等级设定相对应的初始监测时间，同一监测力度等级的监控摄像头对应的初始监测时间相同，且监测力度等级越高的监控摄像头对应的初始监测时间越多；接着按照监测展示队列中的顺序抽取N个监控摄像头实时采集的图像在安保室内的监控屏幕上进行展示；步骤5：对于在监控屏幕上进行展示的实时采集的图像，结合人脸识别算法和人体识别算法进行人脸识别以及人体识别，并使用人体行为识别算法判断是否发生异常行为，并采用人体追踪算法进行人体追踪；对于在初始监测时间结束时，在监控屏幕上展示且并未出现行人的实时采集的图像，从监控屏幕上移除，并从监测展示队列中调取后序的监控摄像头实时采集的图像在监控屏幕上进行展示并监测，周而复始在监测展示队列中进行循环；对于在初始监控时间结束前，在监控屏幕上出现行人的，增加在监控屏幕上的展示时间；当在监控屏幕上展示并监测到有行人发生异常行为时，以标识框的形式报警推送给工作人员，由工作人员核实是否存在异常行为，并进行处理；对于核实为发生了异常行为的图像，再次增加对应的监控摄像头的展示时间；步骤6：对于核实为发生了异常行为的人体，将识别出的相对应的人脸信息提取出来，设定唯一的危险人物ID，并将人脸信息存储到对应的危险人物ID中；对于人脸信息被存储到危险人物ID中的行人，执行以下处理原则：在后续的监测中，当在监控屏幕上存储的图像中识别到有人脸信息被存储在危险人物ID中的行人出现时，增加对应的监控摄像头在监控屏幕上的展示和监测时间；对于人脸信息被存储在危险人物ID中的行人，使用人体行为识别算法监测行为时，还要识别其与处于同一监控摄像头下的其他行人之间是否存在亲密互动行为，对于其他行人中存在互动行为的人脸信息进行存储，设定互动行为阈值B和次危险人物ID，对其他行人的互动行为进行累计加分，将累计加分超过互动行为阈值B的其他行人的人脸信息存储到次危险人物ID中；当人脸信息存储到次危险人物ID中的行人出现在监控摄像头上时，同样增加对应的监控摄像头的展示和监测时间；所述阈值B为根据实际情况自定义值；步骤7：在进行步骤4-步骤6操作达到时间A后，汇总时间A内每个安保监测子区域内发生异常行为的次数，并按照次数的多少重新划分监测力度等级；所述时间A为根据实际情况自定义时间量；步骤8：在进行步骤4-步骤6操作达到时间C后，对于单个监控摄像头所识别出异常行为的图像进行汇总，计算单个图像中异常行为的标识框在图像中位置于图像中心的偏移值，根据计算出的偏移值对对应的监控摄像头进行位姿调整。为了更好地实现本专利技术，进一步地，在所述步骤3中，丰富预训练集的具体操作为：调取每个安保监测子区域的监控摄像头历史的所有监控图像，且在预训练过程中，将预训练集中的行人从预训练集的图像中抠出，进行缩放、形变拉伸、色彩变换，并以不同的角度粘贴到调取出的监控图像中得到丰富后的训练图像，将丰富后的训练图像同样加入到预训练集中用于预训练。为了更好地实现本专利技术，进一步地，所述步骤4中根据监测力度等级的高低间隔排序在监测展示队列中的具体操作为：设置第一队列和第二队列，首先将监测力度等级最高的两个监控摄像头分别加入到第一队列和第二队列的首位，然后将监测力度等级最低的两个监控摄像头分别加入到第一队列和第二队列的次位，接着再将尚未排序的监控摄像头中监测力度等级最高的两个监控摄像头分别加入第一队列和第二队列的第三位，然后将尚未排序的监控摄像头中监测力度等级最低的两个监控摄像头分别加入第一队列和第二队列的第四位，依次类推，直到所有的监控摄像头都排序到了第一队列或者第二队列中，然后将第二队列的首位和第一队列的末尾拼接得到监测展示队列。为了更好地实现本专利技术，进一步地，所述步骤4中，设置预加载的时间D，当某一监控摄像头在监控屏幕上的展示时长还剩时间D时，将在监测排序队列中排序在后的监控摄像头采集的图像进行预加载，当某一监控摄像头在监控屏幕上的展示时本文档来自技高网...

【技术保护点】
1.一种基于深度学习图像处理的多模式安保监测方法，其特征在于，包括以下步骤：/n步骤1：构建被监测场地的全局地图模型；/n步骤2：在构建的全局地图模型下划分多个不同的安保监测子区域；将不同安保监测子区域划分不同的监测力度等级，并对每个安保监测子区域安装相应的监控摄像头，并运行监控一段时间；/n步骤3：选取图像数据库作为预训练集进行预训练，得到预训练模型；并调取安保监测子区域的监控摄像头历史监控的所有监控图像，用于丰富预训练集；/n步骤4：在实际监测的时候，首先设定监测展示队列，将所有安保监测子区域的监控摄像头根据监测力度等级的高低间隔排序在监测展示队列中；然后按照设定的监测力度等级设定相对应的初始监测时间，同一监测力度等级的监控摄像头对应的初始监测时间相同，且监测力度等级越高的监控摄像头对应的初始监测时间越多；接着按照监测展示队列中的顺序抽取N个监控摄像头实时采集的图像在安保室内的监控屏幕上进行展示；/n步骤5：对于在监控屏幕上进行展示的实时采集的图像，结合人脸识别算法和人体识别算法进行人脸识别以及人体识别，并使用人体行为识别算法判断是否发生异常行为，并采用人体追踪算法进行人体追踪；对于在初始监测时间结束时，在监控屏幕上展示且并未出现行人的实时采集的图像，从监控屏幕上移除，并从监测展示队列中调取后序的监控摄像头实时采集的图像在监控屏幕上进行展示并监测，周而复始在监测展示队列中进行循环；对于在初始监控时间结束前，在监控屏幕上出现行人的，增加在监控屏幕上的展示时间；当在监控屏幕上展示并监测到有行人发生异常行为时，以标识框的形式报警推送给工作人员，由工作人员核实是否存在异常行为，并进行处理；对于核实为发生了异常行为的图像，再次增加对应的监控摄像头的展示时间；/n步骤6：对于核实为发生了异常行为的人体，将识别出的相对应的人脸信息提取出来，设定唯一的危险人物ID，并将人脸信息存储到对应的危险人物ID中；对于人脸信息被存储到危险人物ID中的行人，执行以下处理原则：/n在后续的监测中，当在监控屏幕上存储的图像中识别到有人脸信息被存储在危险人物ID中的行人出现时，增加对应的监控摄像头在监控屏幕上的展示和监测时间；/n对于人脸信息被存储在危险人物ID中的行人，使用人体行为识别算法监测行为时，还要识别其与处于同一监控摄像头下的其他行人之间是否存在亲密互动行为，对于其他行人中存在互动行为的人脸信息进行存储，设定互动行为阈值B和次危险人物ID，对其他行人的互动行为进行累计加分，将累计加分超过互动行为阈值B的其他行人的人脸信息存储到次危险人物ID中；当人脸信息存储到次危险人物ID中的行人出现在监控摄像头上时，同样增加对应的监控摄像头的展示和监测时间；所述阈值B为根据实际情况自定义值；/n步骤7：在进行步骤4-步骤6操作达到时间A后，汇总时间A内每个安保监测子区域内发生异常行为的次数，并按照次数的多少重新划分监测力度等级；所述时间A为根据实际情况自定义时间量；/n步骤8：在进行步骤4-步骤6操作达到时间C后，对于单个监控摄像头所识别出异常行为的图像进行汇总，计算单个图像中异常行为的标识框在图像中位置于图像中心的偏移值，根据计算出的偏移值对对应的监控摄像头进行位姿调整。/n...

【技术特征摘要】
1.一种基于深度学习图像处理的多模式安保监测方法，其特征在于，包括以下步骤：
步骤1：构建被监测场地的全局地图模型；
步骤2：在构建的全局地图模型下划分多个不同的安保监测子区域；将不同安保监测子区域划分不同的监测力度等级，并对每个安保监测子区域安装相应的监控摄像头，并运行监控一段时间；
步骤3：选取图像数据库作为预训练集进行预训练，得到预训练模型；并调取安保监测子区域的监控摄像头历史监控的所有监控图像，用于丰富预训练集；
步骤4：在实际监测的时候，首先设定监测展示队列，将所有安保监测子区域的监控摄像头根据监测力度等级的高低间隔排序在监测展示队列中；然后按照设定的监测力度等级设定相对应的初始监测时间，同一监测力度等级的监控摄像头对应的初始监测时间相同，且监测力度等级越高的监控摄像头对应的初始监测时间越多；接着按照监测展示队列中的顺序抽取N个监控摄像头实时采集的图像在安保室内的监控屏幕上进行展示；
步骤5：对于在监控屏幕上进行展示的实时采集的图像，结合人脸识别算法和人体识别算法进行人脸识别以及人体识别，并使用人体行为识别算法判断是否发生异常行为，并采用人体追踪算法进行人体追踪；对于在初始监测时间结束时，在监控屏幕上展示且并未出现行人的实时采集的图像，从监控屏幕上移除，并从监测展示队列中调取后序的监控摄像头实时采集的图像在监控屏幕上进行展示并监测，周而复始在监测展示队列中进行循环；对于在初始监控时间结束前，在监控屏幕上出现行人的，增加在监控屏幕上的展示时间；当在监控屏幕上展示并监测到有行人发生异常行为时，以标识框的形式报警推送给工作人员，由工作人员核实是否存在异常行为，并进行处理；对于核实为发生了异常行为的图像，再次增加对应的监控摄像头的展示时间；
步骤6：对于核实为发生了异常行为的人体，将识别出的相对应的人脸信息提取出来，设定唯一的危险人物ID，并将人脸信息存储到对应的危险人物ID中；对于人脸信息被存储到危险人物ID中的行人，执行以下处理原则：
在后续的监测中，当在监控屏幕上存储的图像中识别到有人脸信息被存储在危险人物ID中的行人出现时，增加对应的监控摄像头在监控屏幕上的展示和监测时间；
对于人脸信息被存储在危险人物ID中的行人，使用人体行为识别算法监测行为时，还要识别其与处于同一监控摄像头下的其他行人之间是否存在亲密互动行为，对于其他行人中存在互动行为的人脸信息进行存储，设定互动行为阈值B和次危险人物ID，对其他行人的互动行为进行累计加分，将累计加分超过互动行为阈值B的其他行人的人脸信息存储到次危险人物ID中；当人脸信息存储到次危险人物ID中的行人出现在监控摄像头上时，同样增加对应的监控摄像头的展示和监测时间；所述阈值B为根据实际情况自定义值；
步骤7：在进行步骤4-步骤6操作达到时间A后，汇总时间A内每个安保监测子区域内发生异常行为的次数，并按照次数的多少重新划分监测力度等级；所述时间A为根据实际情况自定义时间量；
步骤8：在进行步骤4-步骤6操作达到时间C后，对于单个监控摄像头所识别出异常行为的图像进行汇总，计算单个图像中异常行为的标识框在图像中位置于图像中心的偏移值，根据计算出的偏移值对对应的监控摄像头进行位姿调整。


2.如权利要求1所述的一种基于深度学习图像处理的多模式安保监测方法，其特征在于，在所述步骤3中，丰富预训练集的具体操作为：调取每个安保监测子区域的监控摄像头历史的所有监控图像，且在预训练过程中，将预训练集中的行人从预训练集的图像中抠出，进行缩放、形变拉伸、色彩变换，并以不同的角度粘贴到调取出的监控图像中得到丰富后的训练图像，将丰富后的训练图像同样加入到预训练集中用于预训练。


3.如权利要求1所述的一种基于深度学习图像处理的多模式安保监测方法，其特征在于，所述步骤4中根据监测力度等级的高低间隔排序在监测展示队列中的具体操作为：设置第一队列和第二队列，首先将监测力度等级...

【专利技术属性】
技术研发人员：古沐松，范文杰，孙珮凌，游磊，苗放，
申请(专利权)人：成都大学，
类型：发明
国别省市：四川;51