【技术实现步骤摘要】
本专利技术属于人工智能，涉及基于云边端三位一体的视觉识别分析方法。
技术介绍
1、在水泥发运作业环节中，为了监测外来人员作业安全状态，规范人员行为，主流思路是建设基于gpu服务器的视觉识别分析系统，而此方法适用于网络建设情况良好，厂区设备较新，厂内已有业务系统占用带宽较小的水泥厂。对于占用带宽大的视频数据现有技术传输数据受到带宽限制，导致云服务器收到的数据量有限，同时在对人员作业安全监控时，相关安全行为的识别和检测涉及救生腰带、救生衣等是否穿戴、是否有违规下车以及是否戴有安全绳等多个项目的识别，识别难度大，涉及的计算量也较大，在数据量有限时，对上述安全行为的识别实时性差、准确率低的现象，难以满足实际需要。
技术实现思路
1、本专利技术的目的是提供基于云边端三位一体的视觉识别分析方法，用于解决现有技术由于数据传输受到带宽限制，当对多种安全行为通过连续的视频图像进行识别时，识别的实时性和准确率难以满足实际需要的技术问题。
2、所述的基于云边端三位一体的视觉识别分析方法，包括下列步骤：
3、步骤一、将终端采集的图像信息发送到边缘端；
4、步骤二、边缘端基于训练后的目标检测算法对图像进行识别，识别出图像中的人员，如果有人员则转到步骤三，否则停止本次处理；
5、步骤三、基于目标检测算法识别图像，如果未识别出救生腰带或救生衣，则转到步骤四，否则停止本次处理；
6、步骤四、判断检测结果是否有工作人员，如果有转到步骤五，否则停止本次处理；
7、步骤五、基于步骤三和四的检测结果判断工作人员是否穿戴救生腰带或救生衣，若没有则将检测结果及相应图片数据回传至云端，否则停止本次处理。
8、优选的，所述步骤二还识别出图像中的车辆，本方法还包括下列步骤：
9、步骤六、判断检测结果中是否包含外部工作人员，如果有转到步骤七，否则停止本次处理；
10、步骤七、判断检测结果中是否包含水泥罐装车，如果有转到步骤八，否则停止本次处理；
11、步骤八、判断检测结果中外部工作人员是否在基于水泥罐装车确定的禁止下车区域内，若结果为是则将检测结果及相应图片数据回传至云端，否则停止本次处理。
12、优选的，所述步骤二还识别出图像中的安全绳相关部件，安全绳相关部件包括安全绳挂钩和钢丝绳区域，所述步骤六中，如果判断检测结果中有外部工作人员，还转到步骤九，本方法还包括下列步骤：
13、步骤九、判断检测结果中外部工作人员是否在危险作业区域内，如果结果为是转到步骤十，否则停止本次处理；
14、步骤十、判断检测结果中是否包含安全绳挂钩，若结果为是则转到步骤十一，否则将检测结果及相应图片数据回传至云端；
15、步骤十一、判断安全绳挂钩是否被包含在钢丝绳区域内，若结果为否则将检测结果及相应图片数据回传至云端，否则停止本次处理。
16、优选的，所述步骤三中，边缘端对检测结果进行遍历，判断结果中是否含有未戴救生腰带标签或未穿救生衣标签，且判断是否同时满足相应标签对应的置信度高于云端管理平台所设置的置信度限制，若结果为否，则无需报警，结束对于此结果的处理；若结果为是，则进入步骤四；
17、所述步骤四中，判断模型检测结果中是否含有工作人员标签及该标签对应的置信度是否高于设置的置信度限制，若结果为否，则无需报警，结束本次处理；若结果为是，进入步骤五；
18、所述步骤五中，判断未戴救生腰带标签或未穿救生衣标签所对应的边界框是否在工作人员标签对应的边界框的内部；若结果为否，则无需报警，结束本次处理；若结果为是，则应当报警。
19、优选的，所述步骤五中，要求未戴救生腰带标签或未穿救生衣标签所对应的边界框的四个顶点全部被包含在工作人员标签对应的边界框的内部。
20、优选的，所述步骤六中，判断检测结果中是否包含外部工作人员标签及该标签对应的置信度是否高于设置的置信度限制，若结果为否，则无需报警，结束本次处理；若结果为是，则转到相应步骤；
21、所述步骤七中，判断检测结果中是否包含水泥罐装车标签及该标签对应的置信度是否高于设置的置信度限制，若不能同时满足，则无需报警，结束本次处理；若能同时满足，则基于水泥罐装车标签绘制对应禁止下车区域的roi区域，并进入步骤八；
22、所述步骤八中，判外部工作人员标签对应的边界框的中心点是否被包含在禁止下车区域对应的roi区域内，若结果为否，则无需报警，结束本次处理；若结果为是，则应当报警。
23、优选的，所述步骤七中，还需要判断水泥罐装车标签对应的边界框大小是否同时高于设定的边界框阈值。
24、优选的，所述步骤九中，基于外部工作人员标签绘制对应危险作业区域和钢丝绳的roi区域，判断与外部工作人员标签对应的边界框是否被包含在危险作业区域对应的roi区域内，若结果为否，无需报警，结束本次处理；若结果为是，进入步骤十；
25、所述步骤十中，判断检测结果中是否包含安全绳挂钩标签及该标签对应的置信度是否高于设置的置信度限制，若结果为是，进入步骤十一；若结果为否，则应当报警；
26、所述步骤十一中，判断安全绳挂钩标签对应的边界框是否被包含在与安全绳相关的钢丝绳区域对应的roi区域内，若结果为是，无需报警，结束本次处理；若结果为否，则应当报警。
27、优选的，报警时，边缘端将数据结果及相应图片数据回传至云端，云端对接收到的数据进行处理，在原始图像上绘制出相应标签的边界框，包含边界框的图像作为存储图片保存到数据库并发送到系统前端。
28、优选的，所述目标检测算法采用yolov7算法模型，训练yolov7算法模型的步骤如下：
29、(1)制作voc格式的xml文件，将图像中目标的真实类别和边界框标注，自动生成yolov7神经网络需要的xml文件；
30、(2)将voc格式的xml文件转换成yolov7神经网络需要的txt文件；
31、(3)设置yolov7神经网络的训练参数；
32、(4)将训练集中的图像进行预处理，将尺寸调整后的图像送入yolov7神经网络进行训练；
33、(5)观察训练过程中的loss曲线，判断yolov7神经网络是否收敛；如果收敛，则停止训练；如果未收敛，则继续训练。
34、本专利技术具有以下优点：本专利技术对于占用带宽大的视频数据，采用终端采集，边缘计算的方式，让大流量数据仅在边缘端局域网内流转，将边缘计算得出的具有价值或检测到规章情况的数据，传回厂区的数据中心，以此来降低系统对于网络带宽的需求，减少因长期大带宽负荷导致的网络故障。并且能基于计算机视觉及ai分析技术，以云边端三位一体为构建思想搭建ai视觉分析系统。这样对关键区域的作业人员行为及状态进行监控，其识别效果在实时性和准确率上表现较好，能够及时智能识别违规行为并自动语音告警，在提升安全管理水平，满足现实监控的需求，在减少厂区本文档来自技高网...
【技术保护点】
1.基于云边端三位一体的视觉识别分析方法，其特征在于：包括下列步骤：
2.根据权利要求1所述的基于云边端三位一体的视觉识别分析方法，其特征在于：所述步骤二还识别出图像中的车辆，本方法还包括下列步骤：
3.根据权利要求2所述的基于云边端三位一体的视觉识别分析方法，其特征在于：所述步骤二还识别出图像中的安全绳相关部件，安全绳相关部件包括安全绳挂钩和钢丝绳区域，所述步骤六中，如果判断检测结果中有外部工作人员，还转到步骤九，本方法还包括下列步骤：
4.根据权利要求1所述的基于云边端三位一体的视觉识别分析方法，其特征在于：所述步骤三中，边缘端对检测结果进行遍历，判断结果中是否含有未戴救生腰带标签或未穿救生衣标签，且判断是否同时满足相应标签对应的置信度高于云端管理平台所设置的置信度限制，若结果为否，则无需报警，结束对于此结果的处理；若结果为是，则进入步骤四；
5.根据权利要求4所述的基于云边端三位一体的视觉识别分析方法，其特征在于：所述步骤五中，要求未戴救生腰带标签或未穿救生衣标签所对应的边界框的四个顶点全部被包含在工作人员标签对应的边界框的内
6.根据权利要求2所述的基于云边端三位一体的视觉识别分析方法，其特征在于：所述步骤六中，判断检测结果中是否包含外部工作人员标签及该标签对应的置信度是否高于设置的置信度限制，若结果为否，则无需报警，结束本次处理；若结果为是，则转到相应步骤；
7.根据权利要求6所述的基于云边端三位一体的视觉识别分析方法，其特征在于：所述步骤七中，还需要判断水泥罐装车标签对应的边界框大小是否同时高于设定的边界框阈值。
8.根据权利要求3所述的基于云边端三位一体的视觉识别分析方法，其特征在于：所述步骤九中，基于外部工作人员标签绘制对应危险作业区域和钢丝绳的ROI区域，判断与外部工作人员标签对应的边界框是否被包含在危险作业区域对应的ROI区域内，若结果为否，无需报警，结束本次处理；若结果为是，进入步骤十；
9.根据权利要求4、6或8所述的基于云边端三位一体的视觉识别分析方法，其特征在于：报警时，边缘端将数据结果及相应图片数据回传至云端，云端对接收到的数据进行处理，在原始图像上绘制出相应标签的边界框，包含边界框的图像作为存储图片保存到数据库并发送到系统前端。
10.根据权利要求1所述的基于云边端三位一体的视觉识别分析方法，其特征在于：所述目标检测算法采用YOLOv7算法模型，训练YOLOv7算法模型的步骤如下：
...【技术特征摘要】
1.基于云边端三位一体的视觉识别分析方法，其特征在于：包括下列步骤：
2.根据权利要求1所述的基于云边端三位一体的视觉识别分析方法，其特征在于：所述步骤二还识别出图像中的车辆，本方法还包括下列步骤：
3.根据权利要求2所述的基于云边端三位一体的视觉识别分析方法，其特征在于：所述步骤二还识别出图像中的安全绳相关部件，安全绳相关部件包括安全绳挂钩和钢丝绳区域，所述步骤六中，如果判断检测结果中有外部工作人员，还转到步骤九，本方法还包括下列步骤：
4.根据权利要求1所述的基于云边端三位一体的视觉识别分析方法，其特征在于：所述步骤三中，边缘端对检测结果进行遍历，判断结果中是否含有未戴救生腰带标签或未穿救生衣标签，且判断是否同时满足相应标签对应的置信度高于云端管理平台所设置的置信度限制，若结果为否，则无需报警，结束对于此结果的处理；若结果为是，则进入步骤四；
5.根据权利要求4所述的基于云边端三位一体的视觉识别分析方法，其特征在于：所述步骤五中，要求未戴救生腰带标签或未穿救生衣标签所对应的边界框的四个顶点全部被包含在工作人员标签对应的边界框的内部。
6.根据权利要求2所述的基于云边端三位一体的视觉识别分析方法，其特征...
【专利技术属性】
技术研发人员：汪阳，王润生，李占宇，
申请(专利权)人：安徽海螺信息技术工程有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。