基于多任务学习的开关面板目标识别与一米线分割的方法技术

基于多任务学习的开关面板目标识别与一米线分割的方法，属于人工智能及建筑工程技术领域，包括如下步骤：步骤1、建立开关面板与建筑一米线像素级数据集；步骤2、对图像数据集进行扩增，增强网络的泛化能力；步骤3、构建一种建筑开关面板目标识别与建筑一米线分割相结合的轻量级多任务深度学习模型；步骤4、利用步骤2中扩增后的图像数据集在设计的深度学习模型上进行训练；步骤5、用训练好的模型进行目标识别与图像分割，并输出结果。本发明专利技术通过建立高识别率、高分割精准率、低网络参数、实时性的深度学习模型，可有效提高开关面板的识别精度及一米线分割的准确度，不仅实现共享一个主干网络完成多任务，而且参数量减少。而且参数量减少。而且参数量减少。

【技术实现步骤摘要】
基于多任务学习的开关面板目标识别与一米线分割的方法


[0001]本专利技术属于人工智能及建筑工程
，具体涉及基于多任务学习的开关面板目标识别与一米线分割的方法。

技术介绍

[0002]伴随着面向对象、神经网络、深度学习等新技术的迅速崛起，学者们将计算机技术、图像处理技术以及网络通信技术相结合运用于建筑领域。尤其是深度学习，它可以让神经网络架构学习具有多层次抽象数据的表示，这些方法极大地改进了视觉目标识别等技术。李萌锋等提出基于改进随机森林算法的变电站隔离开关精确定位及识别方法，识别准确率提高了9％，达到99.5％。刘嘉玮等将改进的全卷积网络电线识别方法，提出的全卷积网络电线识别方法能够提取电线的光学图像特征，而且与传统机器学习方法相比能将电线从场景中精确提取出来，使得识别结果更加有判断的依据。并对最终得到模型进行压缩，提高识别效率，为实物中直线识别提供了理论指导与技术支撑。
[0003]国内的建筑领域识别研究中，研究对象主要集中在三维空间的建立，还没有形成对二维空间墙面上的具体细小实物目标的系统性研究，并且由于建筑墙面数据缺乏像素级的墙面数据集，对于在小规模具体墙面数据集基础上建立的识别与分割模型，其识别精度、分割准确度和泛化能力还有待提高，针对多任务和轻量化问题，现有研究利用多模型训练分别完成各分支任务，存在着参数量大，难以移植于嵌入性设备的问题。

技术实现思路

[0004]为克服现有技术的不足，本专利技术公开了基于多任务学习的开关面板目标识别与一米线分割的方法，该方法通过建立高识别率、高分割精准率、低网络参数、实时性的建筑开关识别及一米线分割模型，以解决
技术介绍
部分提出的问题。
[0005]为实现上述目的，本专利技术的技术方案是：
[0006]基于多任务学习的开关面板目标识别与一米线分割的方法，包括如下步骤：
[0007]步骤1、建立开关面板与建筑一米线像素级数据集；
[0008]步骤2、对图像数据集进行扩增，增强网络的泛化能力；
[0009]步骤3、构建一种建筑开关面板目标识别与建筑一米线分割相结合的轻量级多任务深度学习模型；
[0010]步骤4、利用步骤2中扩增后的图像数据集在设计的深度学习模型上进行训练；
[0011]步骤5、用训练好的模型进行目标识别与图像分割，并输出结果。
[0012]优选的，所述步骤2是基于几何变换和图像操作的数据增强方法，并使用随机概率和适当组合的策略对数据集进行离线数据增强，同时使用图形学技术制造仿真图像提升数据量，使用persistence of vision raytracer技术渲染大量仿真图像，保持泛化能力。
[0013]优选的，所述步骤2中，使用仿真图像进行数据增强的方法为：使用真实数据集中2000幅没有一米线和开关的可见光图像作为背景，在此基础上基于开关在墙面上的位置比
例产生像分类标签，并且产生对应的像素分类标签，仿真过程中，使用16倍超采样抗锯齿保证仿真开关面板及一米线与真实开关面板及一米线的相似性，并增加仿真开关面板的锯齿感，降低一米线的锯齿感。
[0014]优选的，所述的步骤2中，使用仿真图像进行数据增强的具体方法包括：创建一个16倍边长的缓冲区，在此缓冲区中随机添加0～6个16倍的开关面板和0～1条16倍的一米线，对缓冲区高斯模糊后，选取每个16
×
16区域中的256个像素混合成一个像素，使得整个仿真图像中的开关面板色彩及一米线过渡趋于平滑，调整亮度并且获得对应的标签后，叠加到选取的背景图像上，就生成一幅增强图像。
[0015]优选的，所述步骤3设计一种建筑开关面板目标识别与建筑一米线分割相结合的轻量级多任务深度学习模型时，遵循轻量化原则，采用改进的Yolov5s网络全局共用一个编码器，该编码器由一个Backbone(主干)网络和一个Neck(颈项)网络组成；输入端，采用Mosaic数据增强、自适应锚框计算，Backbone网络采用Focus结构和CSP(Cross Stage Paritial)结构，Neck网络采用FPN+SPPF(Feature Pyramid Networks+Spatial Pyramid Pooling
‑
Fast)结构，Prediction损失函数采用GIOU_Loss计算；解码器分为两个分支，分别为目标检测分支和分割分支，目标检测分支采用CIOU_Loss做Bounding box的损失函数，在目标检测的后处理过程中，针对很多目标框的筛选，进行nms(Non Maximum Suppression)操作，选取最合适的目标边界框；分割分支，图像分割头采用与上述检测头相同的网络结构；将FPN的底层给到分割分支，其大小为(W/8,H/8,256)；经过三次上采样后输出特征图，其大小为(W,H,2)，同时，上采样层使用最近插值法来减少计算成本。在具有高推理速度的同时获得高精度的输出。
[0016]优选的，所述的步骤3中，采用参数硬共享机制，深度学习模型由编码器结构和解码器结构组成，子任务共享编码器结构参数，解码器包含建筑开关面板识别子任务、一米线分割子任务，子任务拥有各自的参数；利用编码器网络完成对建筑开关面板位置信息和一米线边缘信息的特征提取，解码器网络完成建筑开关面板位置信息和一米线边缘信息输出。
[0017]优选的，所述的步骤4中，利用步骤2中扩增后的图像数据集在设计的深度学习模型上进行训练，所述的深度学习模型最大迭代步数为100000步，选用RMSProp(Root Mean Square Propagation)，学习速率选用0.01,以指数形式衰减。
[0018]本专利技术基于多任务学习的开关面板目标识别与一米线分割的方法的有益效果为：本专利技术通过建立深度学习模型，极大的减轻了参数量，提高了识别速度，实现了两个任务的同时处理，并为后续移植到嵌入式设备提供了技术方法。针对多任务和轻量化问题，不同于现有研究利用多模型训练分别完成各分支任务，而是通过参数硬共享机制拥有更少的参数量，不仅实现共享一个主干网络完成多任务，而且参数量减少，可移植于嵌入性设备，在数据增强与制作过程中，采用仿真数据技术，从多个角度增强数据集，提高模型的泛化能力，从多个维度综合衡量模型性能模型的准确率达到98.5％，精准率达到了99.0％，召回率达到98.6％，F1
‑
score达到98.7％，在识别精度和模型大小方面均优于现有研究。
附图说明
[0019]图1、数据集图像示例。
[0020]图2、数据增强整体过程图。
[0021]图3、图像增强示例。
[0022]图4、Yolov5s模型结构图；
[0023]图5、FPN模型结构图；
[0024]图6、本专利技术的多任务深度学习模型结构；
[0025]图4英文解释
[0026]CBS,就是Conv+BatchNorm+SiLU，其中Conv指卷积，BatchNorm指批量归一化，SiLU指激本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多任务学习的开关面板目标识别与一米线分割的方法，其特征为：包括如下步骤：步骤1、建立开关面板与建筑一米线像素级数据集；步骤2、对图像数据集进行扩增，增强网络的泛化能力；步骤3、构建一种建筑开关面板目标识别与建筑一米线分割相结合的轻量级多任务深度学习模型；步骤4、利用步骤2中扩增后的图像数据集在设计的深度学习模型上进行训练；步骤5、用训练好的模型进行目标识别与图像分割，并输出结果。2.如权利要求1所述的基于多任务学习的开关面板目标识别与一米线分割的方法，其特征为：所述步骤2是基于几何变换和图像操作的数据增强方法，并使用随机概率和适当组合的策略对数据集进行离线数据增强，同时使用图形学技术制造仿真图像提升数据量，使用persistence of vision raytracer技术渲染大量仿真图像，保持泛化能力。3.如权利要求2所述的基于多任务学习的开关面板目标识别与一米线分割的方法，其特征为：所述步骤2中，使用仿真图像进行数据增强的方法为：使用真实数据集中2000幅没有一米线和开关的可见光图像作为背景，在此基础上基于开关在墙面上的位置比例产生像分类标签，并且产生对应的像素分类标签，仿真过程中，使用16倍超采样抗锯齿保证仿真开关面板及一米线与真实开关面板及一米线的相似性，并增加仿真开关面板的锯齿感，降低一米线的锯齿感。4.如权利要求3所述的基于多任务学习的开关面板目标识别与一米线分割的方法，其特征为：所述的步骤2中，使用仿真图像进行数据增强的具体方法包括：创建一个16倍边长的缓冲区，在此缓冲区中随机添加0～6个16倍的开关面板和0～1条16倍的一米线，对缓冲区高斯模糊后，选取每个16
×
16区域中的256个像素混合成一个像素，使得整个仿真图像中的开关面板色彩及一米线过渡趋于平滑，调整亮度并且获得对应的标签后，叠加到选取的背景图像上，就生成一幅增强图像。5.如权利要求...

【专利技术属性】
技术研发人员：包妍，由金龙，秦笠洋，孙凤波，白皓然，南麟飞，张晓，隋明良，
申请(专利权)人：青岛农业大学，
类型：发明
国别省市：