基于多源设备的行为分析及安全预警方法及系统技术方案

本发明专利技术公开了一种基于多源设备的行为分析及安全预警方法及系统

【技术实现步骤摘要】
基于多源设备的行为分析及安全预警方法及系统


[0001]本专利技术涉及计算机
，具体而言，涉及一种基于多源设备的行为分析及安全预警方法及系统
。

技术介绍

[0002]目前，在工厂
、
山区
、
工地等区域，存在一些危险的物体，这些物体如果操作不当会进行人身伤害进行损害，所以禁止无关人员进行操作
。
如果依靠人力进行监测，难免出现监察不得当的情况，且浪费人力物力
。
但是通过摄像设备进行监控，在人员误入或工作人员在靠近的场所做其他事务时等复杂情况，会出现监测不准确
。

技术实现思路

[0003]本专利技术的目的在于提供了一种基于多源设备的行为分析及安全预警方法及系统，用以解决现有技术中存在的上述问题
。
[0004]第一方面，本专利技术实施例提供了一种基于多源设备的行为分析及安全预警方法，包括：
[0005]获取监控图像
、
声波图像和红外图像；所述监控图像
、
声波图像和红外图像为需检测本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于多源设备的行为分析及安全预警方法，其特征在于，包括：获取监控图像
、
声波图像和红外图像；所述监控图像
、
声波图像和红外图像为需检测物体所在方向获取的多源设备拍摄的三种图像；所述多源设备为包含的红外设备
、
摄像设备和声波成像仪能够在同一位置对需检测物体进行拍摄的设备；所述需检测物体为人不能轻易进行操作的物体；基于所述监控图像
、
声波图像和红外图像，得到声波特征图
、
监控特征图
、
红外特征图
、
人体融合特征图和人体轮廓；根据所述监控图像，提取需检测物体的特征，得到物体轮廓；根据所述人体轮廓和物体轮廓，判断人体与需检测物体是否重合，得到重合框；所述重合框为框住人体与需检测物相邻的部分的长方形；若人体与需检测物体重合，根据声波图像
、
声波特征图
、
监控特征图
、
红外特征图
、
人体轮廓和重合框，进行人体轮廓的肢体分割，得到重合肢体和接触肢体；多个时间点对应获得多个重合肢体和多个接触肢体；所述重合肢体为可操作肢体或固定肢体；所述可操作肢体为能够对需检测物体进行操作的肢体；所述固定肢体为无法对需检测物体进行操作的肢体；若所述重合肢体为可操作肢体，根据多个时间点的重合肢体
、
多个时间点的接触肢体，判断人体为静止状态或运动状态；若人体为运动状态，进行违规操作提醒
。2.
根据权利要求1所述的基于多源设备的行为分析及安全预警方法，其特征在于，所述基于所述监控图像
、
声波图像和红外图像，得到声波特征图
、
监控特征图
、
红外特征图
、
人体融合特征图和人体轮廓，包括：将所述监控图像通过监控卷积网络进行卷积，提取图像特征，得到监控特征图；将所述声波图像通过声波卷积网络进行卷积，提取声波成像特征，得到声波特征图；将所述红外图像通过红外卷积网络进行卷积，提取红外成像特征，得到红外特征图；融合同一位置的所述监控特征图中的声波反射的距离信息与声波特征图中的摄像机成像信息，得到监控声波特征图；融合同一位置的所述监控特征图中的光反射的距离信息与红外特征图中的摄像机成像信息，得到监控红外特征图；融合所述监控声波特征和监控红外特征图，两次获取监控特征图的边缘形状特征，得到人体融合特征图；根据人体融合特征图，进行检测，得到人体轮廓
。3.
根据权利要求1所述的基于多源设备的行为分析及安全预警方法，其特征在于，所述根据所述人体轮廓和物体轮廓，判断人体与需检测物体是否重合，得到重合框，包括：根据人体轮廓与物体轮廓，计算坐标距离，得到轮廓坐标对；所述轮廓坐标对为人体轮廓的坐标与物体轮廓的坐标的距离小于其他距离的坐标对；连接轮廓坐标对中的两个坐标，得到连接线和轮廓距离；所述轮廓距离为连接线的距离；将所述轮廓距离除以2，得到延长距离；根据延长距离，将连接线两端进行延长，得到延长线；
获得重合判断长度；所述重合判断长度为判断重合的长度；分别以所述延长线的两个端点为中心点，构建重合判断长度的两条垂直线；根据两条垂直线，找到人体轮廓和物体轮廓相近的部位的区域，判断人体与需检测物体是否重合，得到重合框
。4.
根据权利要求3所述的基于多源设备的行为分析及安全预警方法，其特征在于，所述根据两条垂直线，找到人体轮廓和物体轮廓相近的部位的区域，判断人体与需检测物体是否重合，得到重合框，包括：根据两条垂直线，构建闭合的重合框；所述两条垂直线包括第一垂直线和第二垂直线；分别获取所述重合框中的人体轮廓和物体轮廓与两条垂直线的交点，得到第一垂直交点对和第二垂直交点对；所述第一垂直交点对为第一垂直线上的两个交点；所述第二垂直交点对为第二垂直线上的两个交点；根据第一垂直交点对分别做垂线，得到第一区域；根据第二垂直交点对分别做垂线，得到第二区域；将第一区域和第二区域相交的区域作为重合区域；将重合区域的面积作为重合值；若重合值小于重合阈值，将人体与需检测物体设为不重合；若重合值大于或等于重合阈值，将人体与需检测物体设为重合
。5.
根据权利要求1所述的基于多源设备的行为分析及安全预警方法，其特征在于，所述若人体与需检测物体重合，根据声波图像
、
声波特征图
、
监控特征图
、
红外特征图
、
人体轮廓和重合框，进行人体轮廓的肢体分割，得到重合肢体和接触肢体，包括：提取声波图像中的人体轮廓内部的区域，得到人体轮廓图像；将所述人体轮廓图像卷积后融合声波特征图，提取人体内部的结构特征，得到人体轮廓声波特征图；根...

【专利技术属性】
技术研发人员：杨延波，张寰一，王志强，
申请(专利权)人：伊特拉姆成都能源科技有限公司，
类型：发明
国别省市：