一种基于生成式AI的多模态安全生产巡检系统技术方案

本发明专利技术涉及安全巡检的技术领域，公开了一种基于生成式AI的多模态安全生产巡检系统，其包括采集模块、预处理模块以及分析决策模块；所述采集模块用于对生产现场进行实时的视频、噪声、温湿度以及气体泄漏进行数据采集；所述预处理模块用于对采集模块中采集到的数据进行去重清洗；所述分析决策模块用于根据去重清洗的信息进行分析判断并生成预警信息及安全报告。本发明专利技术具有实时的监测工厂内的安全的效果。果。果。

【技术实现步骤摘要】
一种基于生成式AI的多模态安全生产巡检系统


[0001]本专利技术涉及安全巡检的
，尤其是涉及一种基于生成式AI的多模态安全生产巡检系统。

技术介绍

[0002]随着工业生产的复杂性以及规模的增大，传统的安全监控方式已经无法满足现代化工业生产的需求，尤其是轻工行业，由于生产过程中可能存在各种安全隐患，如高温、高压以及有毒有害气体等，对生产现场的安全监控提出了更高的要求，然而现有的安全监控技术无法提供全面、实时、准确的安全监控，并对出现的危险做出反应，这对工业生产的安全性构成了威胁。

技术实现思路

[0003]为了实时的监测工厂内的安全，本专利技术提供一种基于生成式AI的多模态安全生产巡检系统。
[0004]本专利技术提供的一种基于生成式AI的多模态安全生产巡检系统采用如下的技术方案：一种基于生成式AI的多模态安全生产巡检系统，包括采集模块、预处理模块以及分析决策模块；所述采集模块用于对生产现场进行实时的视频、噪声、温湿度以及气体泄漏进行数据采集；所述预处理模块用于对采集模块中采集到的数据进行去重清洗；所述分析决策模块用于根据去重清洗的信息进行分析判断并生成预警信息及安全报告。
[0005]优选的，所述采集模块包括摄像机、收音器、温湿度传感器以及气体传感器；所述摄像机用于对生产现场进行实时视频采集，所述收音器用于对生产现场进行实时噪音异常采集，所述温湿度传感器用于对生产现场进行实时温度以及湿度采集，所述气体传感器用于对生产现场进行实时气体泄漏采集。
[0006]优选的，所述预处理模块包括图像处理单元，所述图像处理单元采用卷积神经网络对实时采集的视频进行视频特征值提取，所述视频特征值提取为提取内部的人像以及设备的外形状态。
[0007]优选的，所述预处理模块包括音频处理单元，所述音频处理单元用于对采集到的噪音进行声音提取并音频分类以及噪音去重，所述声音提取并音频分类采用声音事件检测模型将采集到的音频分员工讲话以及环境噪声，所述员工讲话分为行动指令以及工人对话。
[0008]优选的，所述分析决策模块包括判断单元，所述判断单元采用阈值分析算法，设定正常范围的的阈值，将温湿度数据以及气体泄漏数据与阈值进行对比，所述温湿度数据以
及气体泄漏数据不在阈值范围内时属于异常信息。
[0009]优选的，所述分析决策模块包括视频对比单元，所述视频对比单元用于将视频特征值提取后的人像与员工内部系统录入信息进行比对，所述视频特征值提取后的人像不符合员工内部系统录入信息时属于异常信息。
[0010]优选的，所述视频对比单元采用深度深井网络对视频特征值提取后设备的外形状态进行AI分析，在出现膨胀、压缩、倾倒、破损缺失现象时属于异常信息。
[0011]优选的，所述分析决策模块包括音频对比单元，所述音频对比单元采用形态学滤波算法分析环境噪声中异于设备发出的正常噪音，将出现异于设备发出的正常噪音时的声音判定为异常信息。
[0012]优选的，所述分析决策模块对异常信息进行分析，并生成预警信息及安全报告，采用决策树以及支持向量机算法根据预警信息得到优化解决方案。
[0013]一种终端设备，包括移动式机器人，所述移动式机器人用于根据优化解决方案对工厂内的设备做出安全性的控制。
[0014]综上所述，本专利技术具有如下的有益技术效果：本专利技术采用多个采集模块采集各种数据，实时前面的监测工厂内的各种数据，且在出现异常信息时，生成预警信息及安全报告，并利用移动式机器人做出安全性措施。
[0015]尤其是采集视频数据，将其采用卷积神经网络对实时采集的视频进行视频特征值提取，分为人像以及设备外形状态，检测到外来人员时判定为异常信息，有效的保护工厂内的安全，还采用声音事件检测模型将采集到的音频分员工讲话以及环境噪声，有效的监测环境噪声中出现的异常信息，保证工厂内的安全。
附图说明
[0016]图1是本专利技术实施例的一种基于生成式AI的多模态安全生产巡检系统的流程示意图。
具体实施方式
[0017]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。
[0018]本专利技术实施例公开一种基于生成式AI的多模态安全生产巡检系统。参照图1，该系统包括采集模块、预处理模块以及分析决策模块；采集模块用于对生产现场进行实时的视频、噪声、温湿度以及气体泄漏进行数据采集。
[0019]其中采集模块包括摄像机、收音器、温湿度传感器以及气体传感器；摄像机用于对生产现场进行实时视频采集，收音器用于对生产现场进行实时噪音异常采集，温湿度传感器用于对生产现场进行实时温度以及湿度采集，气体传感器用于对生产现场进行实时气体泄漏采集。
[0020]预处理模块用于对采集模块中采集到的数据进行去重清洗。
[0021]预处理模块包括图像处理单元，图像处理单元采用卷积神经网络对实时采集的视频进行视频特征值提取，视频特征值提取为提取内部的人像以及设备的外形状态。将视频
中拍摄的人及设备分离开来，单独进行处理，更有利于对不同物体的监控。
[0022]预处理模块还包括音频处理单元，音频处理单元用于对采集到的噪音进行声音提取并音频分类以及噪音去重，声音提取并音频分类采用声音事件检测模型将采集到的音频分员工讲话以及环境噪声，员工讲话分为行动指令以及工人对话。将采集到的噪音进行分离，员工讲话仅需要关注行动指令，对环境噪声单独分离后处理，更便于后续分析工厂中的安全状况。
[0023]分析决策模块用于根据去重清洗的信息进行分析判断并生成预警信息及安全报告。
[0024]分析决策模块包括判断单元，判断单元采用阈值分析算法，设定正常范围的的阈值，将温湿度数据以及气体泄漏数据与阈值进行对比，温湿度数据以及气体泄漏数据不在阈值范围内时属于异常信息。
[0025]分析决策模块包括视频对比单元，视频对比单元与工厂内员工内部系统连接，视频对比单元用于将视频特征值提取后的人像与员工内部系统录入信息进行比对，视频特征值提取后的人像不符合员工内部系统录入信息时属于异常信息，在进入工厂的人员不是该工厂内的工作人员时，由于不熟悉操作以及设备，会出现误碰导致设备损坏或者危害自己安全的现象，通过视频人像比对，禁止无关人员进入。
[0026]视频对比单元采用深度深井网络对视频特征值提取后设备的外形状态进行AI分析，在出现膨胀、压缩、倾倒、破损缺失等现象时属于异常信息。
[0027]分析决策模块还包括音频对比单元，音频对比单元采用形态学滤波算法分析环境噪声中异于设备发出的正常噪音，将出现异于设备发出的正常噪音时的声音判定为异常信息。
[0028]分析决策模块对异常信息进行分析，将对应的异常信息生成预警信息，并且出具安全报告，采用决策树以及支持向量机算法根据预警信息得到优化解决方案。
[0029]举例说明，在采集模块采集到视频信息后，将其分成人像以及设备状态，在有本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于生成式AI的多模态安全生产巡检系统，其特征在于：包括采集模块、预处理模块以及分析决策模块；所述采集模块用于对生产现场进行实时的视频、噪声、温湿度以及气体泄漏进行数据采集；所述预处理模块用于对采集模块中采集到的数据进行去重清洗；所述分析决策模块用于根据去重清洗的信息进行分析判断并生成预警信息及安全报告。2.根据权利要求1所述的一种基于生成式AI的多模态安全生产巡检系统，其特征在于：所述采集模块包括摄像机、收音器、温湿度传感器以及气体传感器；所述摄像机用于对生产现场进行实时视频采集，所述收音器用于对生产现场进行实时噪音异常采集，所述温湿度传感器用于对生产现场进行实时温度以及湿度采集，所述气体传感器用于对生产现场进行实时气体泄漏采集。3.根据权利要求1所述的一种基于生成式AI的多模态安全生产巡检系统，其特征在于：所述预处理模块包括图像处理单元，所述图像处理单元采用卷积神经网络对实时采集的视频进行视频特征值提取，所述视频特征值提取为提取内部的人像以及设备的外形状态。4.根据权利要求3所述的一种基于生成式AI的多模态安全生产巡检系统，其特征在于：所述预处理模块包括音频处理单元，所述音频处理单元用于对采集到的噪音进行声音提取并音频分类以及噪音去重，所述声音提取并音频分类采用声音事件检测模型将采集到的音频分员工讲话以及环境噪声，所述员工讲话分为行动指令以及工人对话。5.根据权利要求2所述的一种基于生成式AI的多模态安全生产巡检系统，其特征在于：所述分析决策模块包括...

【专利技术属性】
技术研发人员：刘文举，王春丽，周涌，
申请(专利权)人：济南明泉数字商务有限公司，
类型：发明
国别省市：