焦罐车安全预警视觉检测方法技术

本发明专利技术公开一种焦罐车安全预警视觉检测方法，包括步骤：对焦罐车行进路上的障碍物现场采集图像标注；设计单发多盒检测器，利用标注好的图像训练，得到基于单发多盒检测器的深度学习模型子模块；获取焦罐车行进中的实时视频图像，预处理后依次输入到训练好的基于单发多盒检测器的深度学习模型子模块中检测，得到反馈的障碍物的检测结果；对检测结果进行分析，排除误识别的结果，然后将非安全图像保存；对误报处理子模块检测合格的数据进行危险类型分析；利用通信协议将危险类型分析结果及同步线程中定期对影响运行稳定性的因素的稳定性监测结果传输给焦罐车PLC用以进行焦罐车运动状态控制。该方法实现对焦罐车工作过程的安全监控。

Visual inspection method for safety warning of coke tank car

【技术实现步骤摘要】
焦罐车安全预警视觉检测方法
本专利技术涉及图像目标视觉检测
，特别是一种用于解决焦化行业焦罐车行进场景中进行安全预警的焦罐车安全预警视觉检测方法。
技术介绍
随着智能科技的发展，工业智能化时代已经到来，传统工业生产的智能化也势在必行。钢铁产业工作环境恶劣，众多自动化设备的运行控制需要智能化改造，。基于深度学习的视觉检测就是用机器代替人眼来做自动化的检测和判断来控制现场的设备执行，可在一定程度上取代或辅助人工在实时感知和智能决策过程中的作用，同时又具备自动化机器的可靠、精准、稳定的优势，在工业领域具有不可估量的前景和价值。在焦化厂焦罐车运行作业时间较长，原材料成本极高，长期以来由工作人员人工全程监控，当行进区域出现人员、杂物等障碍物时，工作人员会紧急制动焦罐车，保证人员安全，。但长期作业需要耗费很大工作人员精力，由于焦罐车尺寸和控制室位置特异性，现场人工观测存在角度限制与事业盲区，偶然的疏忽会造成难以估计的重大事故发生，造成重大的生命财产损失。利用多源多模态的传感器技术对行驶环境实时感知，实现对焦罐车行进控制的辅助，实现半自动或自动行驶是其不断升级的未来方向。因此有必要设计一种焦罐车视觉智能安全监控系统，可全天候监测运行路线上特定区域内的障碍物体，准确的快速捕捉到目标障碍物体，再控制焦罐车及时制动以避免事故。由于实际现场条件复杂多变，设备工作环境恶劣，高温粉尘广泛存在，这会对图像采集、传输、处理、检测和控制造成很大困难，同时威胁硬件设备运行的稳定性和识别结果的可靠性。
技术实现思路
本专利技术的目的是提出一种焦罐车安全预警视觉检测方法，使用单发多盒检测器深度学习方法对标注的障碍物图像进行训练，得到能在户外非可控场景下识别焦罐车行进道路上的障碍物的单发多盒检测器模型，经过结果分析子模块判断预警级别，通信协议根据图像检测结果自适应设置并将预警级别结果发送至PLC用以进行焦罐车运动状态的相应控制。为实现本专利技术的目的所采用的技术方案是：一种焦罐车安全预警视觉检测方法，包括步骤：S1：对焦罐车行进路上的障碍物现场采集的图像进行标注，形成标注图像子模块；S2：根据现场情况和采集的图像设计单发多盒检测器，利用标注图像子模块中所标注好的图像进行训练，得到基于单发多盒检测器的深度学习模型子模块；S3：图像处理子模块利用摄像头获取焦罐车行进中的实时视频图像，预处理后依次传入数据接口子模块；S4：数据接口子模块将收到的视频图像输入到训练好的基于单发多盒检测器的深度学习模型子模块中检测，得到反馈的障碍物的检测结果，即为最终框选出障碍物的图片；S5：误报处理子模块对检测结果进行分析，排除误识别的结果，然后由像保存子模块将非安全图像以预定格式及形式进行保存；S6：结果分析子模块对误报处理子模块检测后合格的数据进行危险类型分析，将危险类型分析结果反馈通信子模块；稳定性监测子模块在同步线程中定期对影响运行稳定性的因素进行稳定性监测并反馈给通信子模块，通信子模块利用通讯协议自适应设置将稳定性监测反馈结果及危险类型分析结果反馈给焦罐车PLC，用以进行焦罐车运动状态的相应控制。本专利技术是首次将单发多盒检测器算法应用到焦罐车行进安全预警中，能够自动学习得到障碍物的最有效的特征，并且是端到端的方法，省去了传统障碍物识别的图像识别模型设计过程，能够直接得到框选出障碍物的图片。本专利技术可以应对由于户外白天光线角度变化和昼夜情况差异，引起的采集图像质量变化，有效提高了障碍识别的准确率、鲁棒性和易用性。本专利技术设计的通讯协议可准确反映检测结果和异常值，并支持摄像头扩展，可移植性高，后期可以进行前端的嵌入式转移。本专利技术可实现软件开机启动，异常退出自动重启，达到无人值守、免维护的长时间运行的标准。得益于上述优点，使得本专利技术可对低质量高噪声以及异质的焦罐车轨道路况图像进行识别，有效提高了识别的准确率和鲁棒性，可以应用到焦化等传统重工行业场内轨道交通等其他传统方法很难处理的非可控场景的预警。本专利技术方法首次提出将基于深度学习的目标检测方法应用于现场条件复杂的行进中的焦罐车场景以实现自动的视觉安全预警和监控，多相机集成联合实时采集连续视频序列，集成自主定义的通讯协议，利用PLC控制焦罐车的行进速度和状态，预防生产事故的发生。附图说明图1是本专利技术焦罐车安全预警视觉检测的检测原理图；图2-3是一种实施例下焦罐车安全预警视觉检测的现场安装布置的主视及俯视图；图4是焦罐车安全预警视觉检测的实际运行时的流程控制图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实例，并参照详细附图，对本专利技术进一步详细说明。本专利技术提出的焦罐车安全预警视觉检测方法，其流程图如图1所示，包括以下步骤：S1：对焦罐车行进路上的障碍物现场采集的图像进行标注，形成标注图像子模块；S2：根据现场情况和采集的图像设计单发多盒检测器，利用标注图像子模块中所标注好的图像进行训练，得到基于单发多盒检测器的深度学习模型子模块；S3：图像处理子模块利用摄像头获取焦罐车行进中的实时视频图像，预处理后依次传入数据接口子模块；S4：数据接口子模块将收到的视频图像输入到训练好的基于单发多盒检测器的深度学习模型子模块中检测，得到反馈的障碍物的检测结果，即为最终框选出障碍物的图片；S5：误报处理子模块对检测结果进行分析，排除误识别的结果，然后由像保存子模块将非安全图像以预定格式及形式进行保存；S6：结果分析子模块对误报处理子模块检测后合格的数据进行危险类型分析，将危险类型分析结果反馈通信子模块；稳定性监测子模块在同步线程中定期对影响运行稳定性的因素进行稳定性监测并反馈给通信子模块，通信子模块利用通讯协议自适应设置将稳定性监测反馈结果及危险类型分析结果反馈给焦罐车PLC，用以进行焦罐车运动状态的相应控制。其中，所述的标注图像子模块，由现场采集的大量目标图像经严格筛选、统一编号、规范标注后形成。将标注图像子模块按一定比例分为训练集、验证集和测试集，利用单发多盒检测器深度学习文件训练得到基于SSD的深度学习模型子模块，基于SSD的深度学习模型子模块经均衡数据集(加入公开库数据，剔除标注样本中标注不规范的图)，调参(学习率，批量大小，动量因子，训练轮数，优化器，学习率衰减函数等)得到，保证最佳检测效果。其中，所述的图像处理子模块M2，从西侧摄像头2.1和东侧摄像头2.2的数据流中获取图像，经过预处理后传入数据接口子模块中；数据接口子模块将接收的Mat图像格式转为Python的图像数据格式，然后传入基于SSD的深度学习模型子模块中进行检测。其中，所述的基于SSD的深度学习模型子模块，接收到图像后开始进行检测，并把结果返回到所述的数据接口子模块中；所述基于SSD的深度学习模型子模块若未检测到目标，返回空矩阵，若检测到目标，以得分、中心点列坐标、中心点行坐标、矩形框宽度和矩形框高度顺序将目标信息依次写入矩阵并返回；所述数据接口子模块将返回的检测结果数据解析为C++矩阵格式。其中，所述的误报处理子模块，采用得分阈值、矩形框面积约束和帧比对方式对所述数据接口子模块传入的目标数据进行二次判断以降低误识别率。所述的结果分析子模块对检测到的目标等级进行分析，如图2中东西两侧摄像头监测区域下的情况，其返回3，表示预警区域和联锁区本文档来自技高网...

【技术保护点】
1.一种焦罐车安全预警视觉检测方法，其特征在于，包括步骤：S1：对焦罐车行进路上的障碍物现场采集的图像进行标注，形成标注图像子模块；S2：根据现场情况和采集的图像设计单发多盒检测器，利用标注图像子模块中所标注好的图像进行训练，得到基于单发多盒检测器的深度学习模型子模块；S3：图像处理子模块利用摄像头获取焦罐车行进中的实时视频图像，预处理后依次传入数据接口子模块；S4：数据接口子模块将收到的视频图像输入到训练好的基于单发多盒检测器的深度学习模型子模块中检测，得到反馈的障碍物的检测结果，即为最终框选出障碍物的图片；S5：误报处理子模块对检测结果进行分析，排除误识别的结果，然后由像保存子模块将非安全图像以预定格式及形式进行保存；S6：结果分析子模块对误报处理子模块检测后合格的数据进行危险类型分析，将危险类型分析结果反馈通信子模块；稳定性监测子模块在同步线程中定期对影响运行稳定性的因素进行稳定性监测并反馈给通信子模块，通信子模块利用通讯协议自适应设置将稳定性监测反馈结果及危险类型分析结果反馈给焦罐车PLC，用以进行焦罐车运动状态的相应控制。

【技术特征摘要】
1.一种焦罐车安全预警视觉检测方法，其特征在于，包括步骤：S1：对焦罐车行进路上的障碍物现场采集的图像进行标注，形成标注图像子模块；S2：根据现场情况和采集的图像设计单发多盒检测器，利用标注图像子模块中所标注好的图像进行训练，得到基于单发多盒检测器的深度学习模型子模块；S3：图像处理子模块利用摄像头获取焦罐车行进中的实时视频图像，预处理后依次传入数据接口子模块；S4：数据接口子模块将收到的视频图像输入到训练好的基于单发多盒检测器的深度学习模型子模块中检测，得到反馈的障碍物的检测结果，即为最终框选出障碍物的图片；S5：误报处理子模块对检测结果进行分析，排除误识别的结果，然后由像保存子模块将非安全图像以预定格式及形式进行保存；S6：结果分析子模块对误报处理子模块检测后合格的数据进行危险类型分析，将危险类型分析结果反馈通信子模块；稳定性监测子模块在同步线程中定期对影响运行稳定性的因素进行稳定性监测并反馈给通信子模块，通信子模块利用通讯协议自适应设置将稳定性监测反馈结果及危险类型分析结果反馈给焦罐车PLC，用以进行焦罐车运动状态的相应控制。2.根据权利要求1所述焦罐车安全预警视觉检测方法，其特征在于，所述标注图像子模块由现场采集的大量目标图像经筛选、统一编号、规范标注后形成，标注目标不小于实际尺寸的2/3；大量目标图像包括不同环境下不同工人的多姿态和不同位置图像，由焦罐车前后两个摄像头分别采集，筛选后随机以一定的命名格式统一编号，保证数据可复用性，所述不同环境包括白天夜晚、阴天晴天、不同工作位置。3.根据权利要求2所述焦罐车安全预警视觉检测方法，其特征在于，所述标注图像子模块中的标注图像按一定比例分为训练集、验证集和测试集，利用训练集对单发多盒检测器训练得到基于单发多盒检测器的深度学习模型子模块；最终基于单发多盒检测器的深度学习模型子模块经反复调整三个集合的比例和相关参数得到，保证最佳检测效果。4.根据权利要求1所述焦罐车安全预警视觉检测方法，其特征在于，所述数据接口子模块将接收的Mat图像格式转为Python的图像数据格式，然后传入基于单发多盒检测器的深度学习模型子模块中检测。5.根据权利要求1所述焦罐车安全预警视觉检测方法，其特征在于，所述基于单发多盒检测器的深度学习模型子模块接收到图像后开始进行检测，并把结果返回到所述数据接口子模块；若未检测到目标，返回空矩阵，若检测到目标，以得分、中心点列坐标、中心点行坐标、矩形框宽度和矩形框高度顺序将目标信息依次写入矩阵并返回；所述数据接口子模块将返回的检测结果数据解析为C++矩阵格式。6.根据权利要求1所述焦罐车安全预警视觉检测方法，其特征在于，所述误报处理子模块对检测到目标数据进行二次判断以降低误识别率，采用得...

【专利技术属性】
技术研发人员：张堃博，申振腾，杨程午，孙哲南，
申请(专利权)人：天津中科智能识别产业技术研究院有限公司，
类型：发明
国别省市：天津,12