【技术实现步骤摘要】
本专利技术涉及车间安防领域，更具体地说涉及一种基于视觉多模态分析的车间安防系统和方法。
技术介绍
1、车间安防一直是工业和制造领域的重要关注点之一。在制造车间，确保工作人员安全、设备健康运行和生产流程正常运行至关重要。然而，车间环境常常存在诸多潜在的风险和挑战，如人员突然闯入生产区域造成安全风险、异物滞留生产区域威胁设备健康等，都可能对人员安全和生产流程产生严重影响。车间安防的重要性不可忽视，涉及到工作人员的生命安全、财产安全以及生产效率。
2、类似公开号为cn112070191a提供的名称为车间管控系统的专利文件有很多，传统的车间安防方法通常依赖于简单的视频监控系统，这些系统基于2d图像捕获和分析，但存在一些局限性：仅利用2d图像信息，难以深度感知和物体位置识别；2d图像容易受到光照和遮挡的影响，导致误报和漏报；入侵检测、滞留检测和异常报警准确性较低等。由于准确率较低，无法完全依赖基于2d图像的视频监控系统的诊断结果直接控制生产区域设备运行和提示报警，导致车间仍需要大量人力监控生产线安全，成本高昂。
技术实现思路
1、为了克服上述现有技术中存在的缺陷，本专利技术公开了一种基于视觉多模态分析的车间安防系统和方法，通过结合2d和3d视觉多模态分析技术，3d视觉技术可以实现对车间内物体的三维感知和位置识别，提高了目标检测和跟踪的准确性，减少了瞒报误报，也就降低了人工监控的需求。
2、为了实现以上目的，本专利技术采用的技术方案：
3、一种基于视觉多模态
4、车间监控系统，包括部署于生产车间的若干热成像摄像机、若干rgb相机和若干深度传感器摄像机等视觉信息采集设备，用于采集车间的视频；所述热成像摄像机和rgb相机主要形成2d视频，包含有热成像、普通可见光图像类型视频；所述深度传感器摄像机主要形成3d视频，包含有捕捉场景的深度和三维信息的视频；
5、车间监控中心，部署于生产车间，用于获取车间各个受监控生产区域的生产区域、生产设备的信息，存储和推送生产区域报警信息，控制生产区域内的设备运行状态；
6、车间信息数据库，包含目标监控车间内生产设备基本信息、生产设备运行状态、生产设备报警信息、生产设备故障诊断规则、生产设备故障决策方案等信息；
7、视觉信息数据库，存储预处理后的监控视频，所述监控视频包含视频索引、视频数据、视频时间、监控位置等信息；
8、视觉诊断数据库，包含诊断异常的多模态视觉分析结果、视频索引、异常视频开始时间、异常视频结束时间等信息；
9、云端存储容器，用于存储视频数据，定期上传和同步视觉信息数据库和视觉诊断数据库的数据；
10、远程集控中心，用于从视觉信息数据库获取生产区域设备的实时运行视频，从视频云端存储容器调取生产区域设备历史运行视频和分析结果，可进行设备历史运行异常的分析统计，远程控制设备运行状态；
11、视频处理系统，对车间监控系统采集的视频进行预处理，包括去噪、校准、对齐等，同时将视频进行压缩后存入视觉信息数据库；可实时对2d视频流和/或3d视频流进行模型训练处理。
12、基于上述系统实现的车间安防方法，其特征在于，包括以下步骤：
13、步骤1，建立车间监控中心和远程集控中心，建立车间信息及视觉监控相关数据库；
14、步骤2，通过车间监控系统采集车间的车间视觉信息，通过视频处理系统进行处理并存储到视觉信息数据库；
15、步骤3，将车间视觉信息中的2d视频分析处理，判断是否有区域入侵和异物滞留；
16、步骤4，采用异常加权阈值判断车间视觉信息是否进行3d视频分析处理；
17、步骤5，确定进行3d视频分析处理的，则进行物体识别跟踪和深度感知；
18、步骤6，将步骤4、5的车间视觉信息的分析结果均报警推送至车间监控中心和远程集控中心；
19、步骤7，根据报警信息，由车间监控中心控制和更新车间设备运行状态，达到安防目的。
20、步骤3中，具体包括：
21、301，先采集建立车间正常运行时，车间监控系统中各类型摄像头监控画面的背景图像或视频，初始化各类型摄像头的背景模型，标注背景模型的入侵区域，所述背景模型将用于混合高斯模型；
22、302，先准备包含车间监控画面中各种目标的训练集；所述目标至少包括工人、设备、工具等，标记图像中目标的位置和类别，标注入侵区域，进行yolov3模型的训练；
23、303，获取视频处理系统传输的2d视频流，2d视频流包括热成像、rgb图像视频；将2d视频流分解成单独的帧图像，每秒抽取一帧进行视频处理的输入帧；
24、304，利用算法处理2d视频帧，调取视觉信息数据库中的2d视频流，利用基于混合高斯模型的背景差分运算和基于yolov3的目标检测处理算法处理热成像和普通可见光图像，分析是否存在区域入侵和异物滞留；
25、305，对发生异常的视频段，存储当前存储异常视频分析结果至视觉诊断数据库，包括原视频索引id、异常开始时间、异常结束时间、异常诊断结果等。
26、进一步的，步骤304中，混合高斯模型背景差分的步骤包括：
27、将2d视频帧作为差分运算的输入，将该帧图像中的像素与初始化的背景模型进行背景差分运算，将当前帧与背景模型相减；
28、使用二值化阈值，判断像素点为前景或背景，对检测到的前景像素提取连通区域，记录当前帧的连通区域，当连通区域面积大于一定阈值，判断为异物轮廓，以矩形框包含异物轮廓作为边界框，得到置信度分数；
29、累加提取到异物轮廓的视频帧，当帧数累加到一定阈值，判断为区域入侵；
30、若异物轮廓在规定时间段内持续存在，判定为异物滞留；
31、当出现异常判断，记录当前时间戳，以边界框形式记录目标的位置坐标，得到目标的置信度分数。此时边界框的信息包括边界框左上角坐标(xgaussian_i,ygaussian_i和宽度wgaussian_i、高度hgaussian_i，置信度分数为cgaussian_i，i为当前使用的2d视频类型编号。
32、进一步的，步骤304中，yolov3目标检测的步骤包括：
33、将2d视频帧输入到已经训练好的yolov3模型中；
34、yolov3模型对每一帧中的目标进行检测和定位；
35、yolov3模型将识别目标的类别，确定设备以外类型目标的边界框和置信度分数；
36、当目标边界框与入侵区域相交且置信度分数大于阈值，判定目标为异物；
37、累计存在异物的视频帧数，帧数累加到一定阈值则判断有区域入侵；
38、若异物目标在特定时间段内持续存在，判定为异物滞留；
39、当出现异常判断，记录当前时间戳，以边界框形式记录目标的位置坐标，得到目标的置信度分数；本文档来自技高网...
【技术保护点】
1.一种基于视觉多模态分析的车间安防系统，其特征在于，包括：
2.基于权利要求1所述基于视觉多模态分析的车间安防系统实现的方法，其特征在于，包括以下步骤：
3.根据权利要求2所述基于视觉多模态分析的车间安防方法，其特征在于，步骤3中，具体包括：
4.根据权利要求3所述基于视觉多模态分析的车间安防方法，其特征在于，步骤304中，混合高斯模型背景差分的步骤包括：
5.根据权利要求3所述基于视觉多模态分析的车间安防方法，其特征在于，步骤304中，YOLOv3目标检测的步骤包括：
6.根据权利要求2所述基于视觉多模态分析的车间安防方法，其特征在于，步骤4中，具体包括：
7.根据权利要求2所述基于视觉多模态分析的车间安防方法，其特征在于，步骤5中，具体包括：
8.根据权利要求2所述基于视觉多模态分析的车间安防方法，其特征在于，步骤6中，具体包括：
9.根据权利要求2所述基于视觉多模态分析的车间安防方法，其特征在于，步骤7中，具体包括：
【技术特征摘要】
1.一种基于视觉多模态分析的车间安防系统，其特征在于，包括：
2.基于权利要求1所述基于视觉多模态分析的车间安防系统实现的方法，其特征在于，包括以下步骤：
3.根据权利要求2所述基于视觉多模态分析的车间安防方法，其特征在于，步骤3中，具体包括：
4.根据权利要求3所述基于视觉多模态分析的车间安防方法，其特征在于，步骤304中，混合高斯模型背景差分的步骤包括：
5.根据权利要求3所述基于视觉多模态分析的车间安防方法，...
【专利技术属性】
技术研发人员：张佳蕾，董娜，周东，石致远，徐娜，孔志伟，邓徐韬，闫富乾，彭凡，王立闻，
申请(专利权)人：东方电气集团科学技术研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。