【技术实现步骤摘要】
本专利技术涉及目标识别算法、文字识别算法以及智能巡检领域，具体涉及一种基于深度学习的智能巡检的目标识别与读取方法。
技术介绍
1、比于之前的yolov1-v4来说，yolov5更加注重轻量化和高效性，同时保持了较好的检测性能。这使得它更适合在嵌入式设备和移动设备上部署实时目标检测。yolov5采用了新的网络结构，即cspnet(cross stage partial network)。这个结构有助于提高网络的性能和准确性，尤其是在处理大量目标和复杂场景时。yolov5在一些应用场景中表现出更高的训练和推理速度。通过采用一系列优化和加速技术，yolov5在保持准确性的同时，提供了更快的计算速度。
2、配署了识别算法的机器人可以应用于例如变电站、天然气场站以及石油站等重要复杂的各种工业环境的巡检过程中，通过智能巡检机器人的这些重要场所的安全关系到企业的安全生产与人民的正常生活，一旦发生事故后果将不堪设想。对这些工业现场中的表征各个设备状态的仪表进行巡检和读取可保障各个设备正常运行，一旦出现异常可及时发现并上报。目前绝大部分的工业场景下仍然在使用人工巡检、手写记录的方式进行仪表监控，在仪表数量较大的情况下很容易出现漏检误检的情况，而且手动记录的方式对信息入库进行后续分析造成不便，频繁的巡检还要求深夜仍然需要有人值守，不仅需要繁重的人力资源，还能增加很大的维护成本。
3、针对上述问题，本专利技术提供了一种基于深度学习的智能巡检的目标识别与读取算法可以代替人工去完成繁重且具有危险性的巡检任务，并且可以将采集到的数据
技术实现思路
1、本专利技术的目的在于提供了一种基于深度学习的智能巡检的目标识别与读取方法，降低了监测成本与人力成本，还减少了人为原因导致的读数误差，实现全天候巡检，提高了巡检过程中的智能化与稳定性。本专利技术设计了并结合了yolov5算法与rcnn算法模型，能够在工厂实际环境下对物体进行高效、准确的识别并读取读数。
2、为达到上述目的，本专利技术采用如下技术方案：
3、基于深度学习的智能巡检目标识别方法，包含如下步骤：
4、步骤s1:数据集构建：通过摄像头采集实地工厂的视频与图片，提取视频中的关键帧，并于采集到的图片共同作为数据集的原始图片，将图片中的物体进行标注，并命名为仪器仪表、异常两个类别，并将数据集分为训练集、验证集、测试集三类；
5、步骤s2：模型训练：将s1中分类好的训练集与验证集中的图片输入到yolov5的算法模型当中进行训练，得到yolov5网络模型；
6、步骤s3：识别分类：将摄像头采集的新图片或视频输入到训练完成的yolov5模型当中，进行识别，并将图片中的仪器仪表和异常识别出来；
7、步骤s4：分类后处理：如果识别出仪器仪表，使用深度学习算法对仪表盘区域进行文字与数字的识别并读数，如果识别出异常，则直接将图片上传至后台管理系统，并通知管理人员；
8、步骤s5：数据上传：将s4中的读数与文字上传至后端数据库。
9、本专利技术具有以下显著特点：i)在输入模块中加入了mosaic方法，对输入的图像进行多种随机操作以实现数据增强的目的，还加入了自适应计算初始锚框的能力，在训练阶段时，可以自动计算不同训练集的最佳初始锚框，不断迭代更新，使网络在训练阶段具有更好的适应性，还改进了自适应缩放的算法，以增加网络的推理速度。ii)特征融合模块使用了特征金字塔网络(fpn)和金字塔注意力网络(pan)融合的结构。特征金字塔网络采用自顶向下的方法，利用上采样融合、传递高层特征信息。金字塔注意力网络则采用自底向上的方式传递强定位特征。两者同时使用以加强网络特征融合能力。iii)候选框的损失函数未采用传统的iou_loss，而是采用了改进后的ciou_loss，考虑了真实框和候选框高宽比的尺度信息，提高了候选框的回归效率和准确率。
本文档来自技高网...【技术保护点】
1.一种基于深度学习的智能巡检的目标识别与读取方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于深度学习的智能巡检的目标识别与读取方法，其特征在于，所述步骤S1中，去除部分重复、难以分辨的图片，采用LabelImg对数据集进行标注，形成VOC格式的数据标签，其中详细记录了每个图像样本中的物体真实边界框信息、图像样本的名字以及图像样本中物体的分类信息，文件名与图片的名称一致。
3.根据权利要求1所述的一种基于深度学习的智能巡检的目标识别与读取方法，其特征在于，所述步骤S2中，具体为：在所述的YOLOv5网络模型的训练具体方法为：
4.根据权利要求1所述的一种基于深度学习的智能巡检的目标识别与读取方法，其特征在于，所述步骤S3中，具体为：经图片或视频输入到YOLOv5网络模型当中后，网络模型将图片或者是视频中的关键帧中的目标物体在图片的中的(x,y,w,h)四点坐标，以及目标类别识别出来，通过检测识别的目标类别，即可确定下一步处理的具体操作。
5.根据权利要求1所述的一种基于深度学习的智能巡检的目标识别与读取方法，其特征
6.根据权利要求1所述的一种基于深度学习的智能巡检的目标识别与读取方法，其特征在于，所述步骤S5中，具体为：使用HTTP协议的请求来向服务器发送消息，其中消息包含识别的图片与在步骤S4中获得的读数。
7.根据权利要求3所述的一种基于深度学习的智能巡检的目标识别与读取方法，其特征在于，所述步骤S2-2中，具体为：主干网络采用了Focus结构和CSP结构，其中，Focus结构的关键是进行切片操作，例如输入图像的分辨率为608×608×3，经过切片操作和32个卷积核的卷积操作后，最终变成304×304×32的特征图，YOLOv5中包含了两种CSP结构:CSP1_X结构和CSP2_X结构，前者应用在主干网络中，后者应用在特征融合模块中。
8.根据权利要求3所述的一种基于深度学习的智能巡检的目标识别与读取方法，其特征在于，所述步骤S2-4中，具体为：YOLOv5输出为255*H*W、255*2H*2W和255*4H*4W三个特征图，尺寸最小的255*H*W负责检测大目标，255*2H*2W负责检测中目标，尺寸最大的255*4H*4W负责检测小目标，每个特征图都有三个Anchor，一共有9个Anchor，其中每个Anchor的设定为：[10，13，16，30，33，23]、[30，61，62，45，59，119]、[116，90，156，198，373，326]。
...【技术特征摘要】
1.一种基于深度学习的智能巡检的目标识别与读取方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于深度学习的智能巡检的目标识别与读取方法，其特征在于，所述步骤s1中，去除部分重复、难以分辨的图片，采用labelimg对数据集进行标注，形成voc格式的数据标签，其中详细记录了每个图像样本中的物体真实边界框信息、图像样本的名字以及图像样本中物体的分类信息，文件名与图片的名称一致。
3.根据权利要求1所述的一种基于深度学习的智能巡检的目标识别与读取方法，其特征在于，所述步骤s2中，具体为：在所述的yolov5网络模型的训练具体方法为：
4.根据权利要求1所述的一种基于深度学习的智能巡检的目标识别与读取方法，其特征在于，所述步骤s3中，具体为：经图片或视频输入到yolov5网络模型当中后，网络模型将图片或者是视频中的关键帧中的目标物体在图片的中的(x,y,w,h)四点坐标，以及目标类别识别出来，通过检测识别的目标类别，即可确定下一步处理的具体操作。
5.根据权利要求1所述的一种基于深度学习的智能巡检的目标识别与读取方法，其特征在于，所述步骤s4对文字与数字的识别当中，具体为：使用crnn算法对端到端地对不定长的文本序列进行识别，使用cnn网络，对输入图像进行特征提取，从而得到特征图，本方法使用的cnn网络同样是轻量化网络mobilenetv3，其中输入图像的高度统一设置为32，宽度可以为...
【专利技术属性】
技术研发人员：张永军，曹阳，
申请(专利权)人：厦门新航世纪信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。