一种基于改进MaskRCNN的工程车辆分割算法制造技术

本发明专利技术公开了一种基于改进Mask RCNN的工程车辆分割算法，首先在算法引入动态卷积，动态调整卷积核；接着在网络中添加NAM注意力机制，提高网络对于工程车辆的关注度；然后修改特征融合网络为ssFPN，防止特征融合时信息丢失；最后建立并训练改进的Mask RCNN检测网络；将原始图像输入训练好的网络中，输出输电通道下工程车辆的掩膜，并对掩膜进行二值化处理；使用OpenCV中的相关函数寻找得到工程车辆轮廓，对找到的轮廓进行折线化处理，标注关键点，最终得到含有轮廓曲线及相关关键点的检测图片。本发明专利技术提高了检测精度，同时对检测出的工程车辆掩膜进行图像处理，得到车辆轮廓及关键点，为其他电力巡检提供借鉴。为其他电力巡检提供借鉴。为其他电力巡检提供借鉴。

【技术实现步骤摘要】
一种基于改进Mask RCNN的工程车辆分割算法


[0001]本专利技术属于计算机视觉
，具体涉及一种基于改进Mask RCNN的工程车辆分割算法。

技术介绍

[0002]随着我国基建事业的高速发展，施工场地随处可见，施工现场小到居民小巷，大到高楼大厦，而在一些特殊场合下施工导致发生安全事故的情况也时有发生，例如在输电通道下的施工。输电线路是保证居民用电和工业生产用电的基础保障，一旦其被大型施工车辆误碰甚至导致其断裂时，将无法为居民用户和一些大型企业的生产提供用电，发生电击事故，造成人员伤亡和严重的经济损失。为了避免此类事故的发生，保证供电的可靠性，传统的做法是进行人工监督施工，但是人工监督施工劳动强度大，尤其是在恶劣天气或者复杂地形的施工，而且人工监督施工及时性和实时性较差，且极易出现误判和漏判的情况。为此，利用先进的人工智能手段，采用高效的目标检测方法对工程车辆进行实时检测具有重要的意义。
[0003]如今，随着人工智能技术的高速发展，各行各业都朝着智能化的方向发展，运用先进的深度学习目标检测方法成为监督施工、巡检运维的主流思路，基于深度学习目标检测方法可以有效降低运维成本，提高对于违规施工的监控精度。深度学习的目标检测方法主要有两类，一类是单阶段目标检测算法，另一类则是双阶段目标检测算法，无论是那种类型的检测算法，其对于样本的质量都有较高的要求，一旦样本图片中待检测目标较小，模糊不清，将导致算法无法准确学习到物体特征，进而识别物体。而对于输电通道下工程车辆的施工，其监控主要安装在较高的位置，这就导致工程车辆在监控画面的广视角下是一个小目标，除此之外，当出现大雾大雪或者阴暗的下雨天，工程车辆在监控中将变得模糊不清，导致检测算法对于工程车辆的检测出现严重的漏报和误报，影响检测结果，给正常施工带来不便。为此，在现有的目标检测方法的基础上将整个检测流程进一步优化改进，将其用于工程车辆的实时检测是一种相对较为可行的实现智能化监督施工的技术手段。

技术实现思路

[0004]针对输电通道下工程车辆与输电线之间距离难以计算且原始的Mask RCNN算法对于工程车辆检测精度较低的问题，本专利技术提供了一种基于改进Mask RCNN的工程车辆分割算法，用以解决输电线通道下是否存在工程车辆施工，距输电线距离较近的问题。
[0005]本专利技术通过以下技术手段实现上述技术目的：
[0006]首先，在诸多视觉检测任务中，普遍需要容量较大的模型，而随着模型参数的不断增加，计算成本也越来越高，为了提高模型的容量，传统的做法是堆叠卷积层或者增加卷积层的通道数，这种做法虽然一定程度上可以提升模型的性能，但计算成本也会随之提高。为此，通过将Mask RCNN算法中特征提取网络的卷积替换为动态卷积，具体实现时需将动态卷积的函数代码加入到原始算法代码中，在调用卷积函数部分将其替换为新是动态卷积函
数，实现在增加模型容量的同时不增加太多参数和计算量的情况下，使网络训练时可以根据输入图片及时调整卷积核的大小，有效提高模型性能。
[0007]其次，为了抑制网络对于不太显著特征的关注，其通常做法是在网络中添加相关的注意力机制。传统的注意力机制有很多，例如常见的SE、CA以及CBAM等，这些传统的注意力机制大都使用的全连接和卷积层，通过增加全连接和卷积层来捕捉物体的显著特征，以此来提高对于目标的检测精度，但是，全连接和卷积层的增加无疑使网络的参数量和计算量大大增加，除此之外，虽然这些注意力机制充分利用了不同特征维度上的交互信息，但是其并没有考虑权重的贡献因素，而权重能够进一步抑制不重要的信道或像素。本专利引入了新型的注意力机制NAM模块，NAM由通道注意力模块(channel attentionmodule，CAM)与空间注意力模块(spatial attentionmodule，SAM)组成，通道注意力模块和空间注意力模块中分别使用Batch Normalization中的缩放因子和比例因子将权重用于抑制不重要的信道或像素，从而提高算法的检测精度。具体的解决形式是在原算法代码中加入NAM代码，调试修改相关参数，并将NAM模块放置在各个残差块之间，使得模型特征提取注意力时刻集中在工程车辆上，提高特征提取的质量，从而提高对工程车辆的检测精度。
[0008]再者，Mask RCNN算法在图像经过残差网络提取到特征后，还需要经过FPN网络进行特征的融合，但是，FPN结构有诸多缺陷，首先，FPN会导致主特征图的信息丢失。FPN以自上而下的路径传播。从主特征映射到最高特征映射，需要经过多个网络层，这增加了获取初始图像的难度；其次，FPN会导致多尺度信息的丢失。FPN不完全支持考虑不同层间语义信息的差异。这些特征的直接融合会降低多尺度特征表示的能力；还有就是其会导致非相邻层语义信息不融合。FPN只有相邻层的语义信息可以直接融合，非相邻层的语义信息被稀释，导致语义特征不平衡。最终导致的结果就是出现小目标的漏检和误检。为此，本专利在原Mask RCNN算法特征融合网络FPN的基础上加入三维卷积提取尺度序列(S2)构成新的融合网络ssFPN，即在FPN的水平轴上通过三维卷积提取尺度序列(S2)特征，将其建立在小物体的高分辨率金字塔特征图上，使网络在融合目标特征时，可以充分考虑高底层语义信息，更加关注小目标，有效提高对于广视角下较远工程车辆的检测精度。
[0009]最后，通过改进后的Mask RCNN算法获得工程车辆类别、检测框以及掩码后，对掩码做进一步处理。将获得的掩码进行二值化，得到仅有白色工程车辆轮廓的二值化图，然后使用图像处理常用的OpenCV中的相关函数寻找得到工程车辆轮廓，对找到的轮廓进行折线化处理，然后调节参数，使折线化后的车辆轮廓尽量贴合车辆的真实轮廓，然后根据轮廓相邻两直线的夹角大小，按照从大到小的顺序选择前十个夹角标注关键点，最后将折线化后绘制的轮廓和关键点绘制在原图上，最终得到含有轮廓曲线及相关关键点的检测图片。
[0010]本专利技术的有益效果
[0011](1)本专利技术提供了一种基于改进Mask RCNN的工程车辆分割算法，通过修改原始Mask RCNN网络中的卷积、添加注意力机制、修改特征融合网络，最终提高对输电通道下工程车辆的检测精度，通过将改进后训练得到的模型部署在边缘设备上，并搭建于输电杆塔进行实时检测，相较于人工巡检该检测方法整体所需的硬件成本较为低廉。
[0012](2)本专利技术检测方法能够同时检测摄像头画面中的多个工程车辆，也即监控范围较大、监控效率较高。
[0013](3)本专利技术检测方法利用OpenCV图像处理算法，完成对图像掩码的二值化处理，获
得工程车辆轮廓，以此实现车辆施工高度预警检测任务。
附图说明
[0014]图1为本专利技术提出的工程车辆检测方法流程图
[0015]图2为本专利技术所述Labelme软件标注图
[0016]图3为本专利技术检测方法中使用的Mask RCNN网络结构图
[0017]图4为改进FPN后的部分结构图
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进Mask RCNN的工程车辆分割算法，其特征在于它包括以下步骤：S1、获取数据集，对自制数据集进行分类，将其分为训练集、验证集和测试集；S2、制作数据集，将数据集进行统一重命名，用图像标注工具Labelme进行标注后转化为统一格式；S3、建立模型，输入图像通过残差网络进行特征提取，所提取特征经过特征图像金字塔网络进行融合输出；S4、训练模型和测试模型，获得最终的检测模型；S5、获得检测结果图像，将待检测图像输入检测模型，输出即为检测结果图像；S6、图像处理，对检测结果图像进行图像处理，获得工程车辆的二值化图像；S7、基于二值化图像获得车辆轮廓及关键点。2.根据权利要求1所述的方法，其特征在于S3中，残差网络由50层或者101层的动态卷积构成。3.根据权利要求1所述的方法，其特征在于S3中，残差网络中加入注意力机制NAM模块，注意力机制NAM模块由通道注意力模块CAM与空间注意力模块SAM组成，通道注意力模块和空间注意力模块中分别使用Batch Normalization中的缩放因子和比例因子将权重用于抑制不重要的信道或像素。4.根据权利要求1所述的方法，其特征在于S3中，特征图像金字塔网络具有三维卷积提取尺度序列S2，在特征图像金字塔网络的水平轴上通过三维卷积提取尺度序列S2特征，将其建立在小物体的高分辨率金字塔特征图上。5.根据权利要求1所述的方法，其特征在于S1中，通过无人机和输电杆塔安置的监控摄像头拍摄获取来自于不同地区的输电通道下工程车辆的照片，采集到的工程车辆种类有汽车起重机、塔式起重机、挖掘机、混凝土浇注车，将这些工程车辆照片作为自制数据集。6.根据权利要求1所述的方法，其特征在于S2中，首先将采集到的图片用Python程序进行统一命名，命名方式为：truck+“_”+编号，编号顺序从1开始，一直到样本数据总数；图片命名完以后，用图像标注工具Labelme进行标注，标注时，贴近工程车辆的轮廓使用多条直线围成一个封闭的多边形，接着输入工程车辆对应的英文类别名，标注生成文件为json文件；最后将自制数据集按照6：2：2的比例随机分成训练集、验证集和测试...

【专利技术属性】
技术研发人员：王鹏，马一村，史凡，潘琦，金哲，焦良葆，孟琳，陈乐，
申请(专利权)人：国网江苏省电力有限公司宜兴市供电分公司，
类型：发明
国别省市：