【技术实现步骤摘要】
本专利技术涉及计算机视觉，具体指一种基于多感受野的轻量化条带钢表面缺陷预测方法。
技术介绍
1、深度神经网络在计算机视觉任务中，如图像分类、物体检测和目标跟踪等方面取得了显著的成功。然而，随着时代的发展，人们对深度神经网络在实际应用中性能的关注日益增加。在人工智能技术的演进中，一个明显的趋势是将高性能的神经网络模型部署到边缘端平台上，并在真实场景中实现实时运行(>30帧)，尤其是移动端和嵌入式设备。这些平台的特点是内存资源有限、处理器性能不高、功耗受限，因此目前精度最高的模型往往难以在这些平台上部署和实现实时运行，由于存储空间和算力资源的限制，神经网络模型在移动设备和嵌入式设备上的存储与计算仍然面临着巨大的挑战。这一方向的矛盾在于如何在有限的资源下平衡性能，即在资源受限的情况下最大化性能。
2、为了解决这一问题，轻量化网络应运而生，其旨在在保持模型精度的基础上，进一步减少模型参数量和复杂度，逐渐成为计算机视觉领域的研究热点。轻量化网络不仅包括对网络结构的新颖探索，还运用了各种模型压缩技术，如知识蒸馏、剪枝等，推动了深度学习技术在移动端和嵌入式端的应用落地。在智能家居、安防、自动驾驶、视频监控等领域，轻量化网络模型都取得了重要的贡献。轻量化网络在移动端上的迅速部署已成为自动驾驶、机器人视觉、无人机、人脸识别、目标识别检测等领域亟需解决的迫切问题。
3、目前，大多数物体检测结构依赖于卷积网络进行特征提取，即backbone，例如alexnet的8层、vggnet的19层、googlenet的22层，以及
4、传统的sod方法需要一个强大的骨干(即编码器)来捕捉低级细粒度细节和高级语义特征，并且需要一个经过精心校准的解码器，以在不丢失空间信息的情况下恢复空间分辨率，这两者可能会带来巨大的参数和计算开销。相反，最近对移动应用的兴趣日益增加，例如手机，在这些应用中，计算能力、内存空间和能量支持都是有限的，无法部署这些庞大的sod模型。在服务器上部署这些大型模型的成本也很高。
技术实现思路
1、本专利技术针对现有技术的不足，提出一种基于多感受野的轻量化条带钢表面缺陷预测方法，在轻量化的基础上尽可能还原条带钢表面的曲线。
2、为了解决上述技术问题，本专利技术的技术方案为：
3、一种基于多感受野的轻量化条带钢表面缺陷预测方法，包括如下步骤：
4、步骤1、构建一个lsdd模型，所述lsdd模型包括编码器和解码器，所述编码器由5个mhl模块构成，自上到下分为五层，记为encoder1～encoder5，特征从上往下传播；所述解码器由5个lef模块构成，从上到下分为5层，分别记为decoder1～decoder5，输入的特征是从下到上传播；每个所述lef模块连接一个用于通道压缩的卷积；
5、步骤2、应用公开数据集对lsdd模型进行训练；
6、步骤3、将图像数据作为输入，通过完成训练的lsdd模型进行预测：
7、步骤3-1、将图像数据作为输入，通过encoder1输出e1，并作为下一层编码器的输入，经过5层mhl模块后得到了多级特征即第i层编码器层的输出记为ei；
8、步骤3-2、每层mhl模块的输出，都会传递给对应层级的解码器，即第i层解码器层的输出ei，会作为参数传递到第i层编码器层；
9、步骤3-3、每个lef模块的输出d1～d5进行一个1×1的卷积，将通道压缩为1，得到解码器的预测图out1～out5；
10、步骤3-4、将每一层级的预测图out1～out5上采样至输入的图像数据的像素大小，并经过一个1×1的卷积，输入为5个通道，输出为一个通道，即可得到最后模型输出的预测结果。
11、作为优选，所述步骤3中输入的图像数据大小为224*224。
12、作为优选，通过mhl模块输出ei的方法：
13、将mhl模块的输入input并行输入进四个感受野的卷积组合，将所述4个感受野的卷积组合的输出进行concat融合，之后，将融合后的信息通过一个1×1的卷积，将通道数压缩为输入时的通道数，并与输入的特征进行相加，最后采用一个空间注意力的模块和一个普通的3×3的卷积输出ei。
14、作为优选，4个所述感受野的卷积组合分别为：
15、第一个卷积组合为：一个普通的1×1的卷积；
16、第二个卷积组合为：一个1×1的深度可分离卷积，普通的1×1的卷积，一个3×3的膨胀率为3的深度可分离卷积，普通的1×1的卷积；
17、第三个卷积组合为：一个5×5的深度可分离卷积，普通的1×1的卷积，一个3×3的膨胀率为5的深度可分离卷积，普通的1×1的卷积；
18、第四个卷积组合为：一个7×7的深度可分离卷积，普通的1×1的卷积，一个3×3的膨胀率为7的深度可分离卷积，普通的1×1的卷积。
19、作为优选，所述lef模块的输入有三个，分别为mhl模块的输出ei、上层lef模块的输出di+1以及之前层级的预测图。
20、作为优选，所述lef模块的处理方法为：
21、首先将上层lef模块的输出di+1进行两倍上采样，使得特征大小与ei保持一致并相加，相加得到的结果，与之前层级的预测图{out5,out4,.....,outi-2}上采样到相同尺寸后进行concat；然后特征依次经过一个1×1卷积，将通道缩放至输入的通道数，即ei的通道数；经过一个3×3的深度可分离卷积、一个1×1卷积，对编解码的信息进行融合得到融合特征；
22、接下来，将融合特征传入两个并行的卷积层：一个是普通的3×3的卷积，输出的通道数为原来的一半；另一个是膨胀率为2的3×3的卷积，同样输出的通道数为原来的一半，将两个并行的卷积层的输出进行concat；
23、最后依次经过一个普通的1×1卷积、一个3×3的深度可分离卷积、一个普通的1×1卷积，加了一个空间注意力模块。
24、作为优选，所述步骤2中应用公开数据集sd-saliency-900的训练集进行训练。
25、作为优选，所述lsdd模型的训练方法为：将lsdd模型部署在一个nvidia 2080ti的服务器上，训练时参数使用默认初始化，并使用的优化器是adam，学习率设置为固定值0.00001。
26、作为优选，所述步骤2中，训练时损失函数使用的是bce loss，该损失被广泛用于二元任务分类，定义为：
<本文档来自技高网...【技术保护点】
1.一种基于多感受野的轻量化条带钢表面缺陷预测方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于多感受野的轻量化条带钢表面缺陷预测方法，其特征在于，所述步骤3中输入的图像数据大小为224*224。
3.根据权利要求1所述的一种基于多感受野的轻量化条带钢表面缺陷预测方法，其特征在于，通过MHL模块输出ei的方法：
4.根据权利要求3所述的一种基于多感受野的轻量化条带钢表面缺陷预测方法，其特征在于，4个所述感受野的卷积组合分别为：
5.根据权利要求1所述的一种基于多感受野的轻量化条带钢表面缺陷预测方法，其特征在于，所述LEF模块的输入有三个，分别为MHL模块的输出ei、上层LEF模块的输出di+1以及之前层级的预测图。
6.根据权利要求5所述的一种基于多感受野的轻量化条带钢表面缺陷预测方法，其特征在于，所述LEF模块的处理方法为：
7.根据权利要求1所述的一种基于多感受野的轻量化条带钢表面缺陷预测方法，其特征在于，所述LSDD模型的训练方法为：将LSDD模型部署在一个NVIDIA2080ti的服务
8.根据权利要求7所述的一种基于多感受野的轻量化条带钢表面缺陷预测方法，其特征在于，所述步骤2中，训练时损失函数使用的是BCEloss，该损失被广泛用于二元任务分类，定义为：
...【技术特征摘要】
1.一种基于多感受野的轻量化条带钢表面缺陷预测方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于多感受野的轻量化条带钢表面缺陷预测方法，其特征在于，所述步骤3中输入的图像数据大小为224*224。
3.根据权利要求1所述的一种基于多感受野的轻量化条带钢表面缺陷预测方法，其特征在于，通过mhl模块输出ei的方法：
4.根据权利要求3所述的一种基于多感受野的轻量化条带钢表面缺陷预测方法，其特征在于，4个所述感受野的卷积组合分别为：
5.根据权利要求1所述的一种基于多感受野的轻量化条带钢表面缺陷预测方法，其特征在于，所述lef模块的输入有三个，分别为mhl模块的输出ei、上...
【专利技术属性】
技术研发人员：陈雨中，周晓飞，武松鹤，张继勇，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。