【技术实现步骤摘要】
本专利技术涉及计算机视觉领域，尤其涉及一种基于padding的多尺度旋转等变卷积语义分割方法。
技术介绍
1、多年来，语义分割一直是计算机视觉领域的一项基础和具有挑战性的任务。由于语义分割可以提供像素级的类别信息，因此在各个领域得到了广泛的应用，如自动驾驶汽车、水体检测、道路分割等。
2、在传统机器学习的背景下，语义分割方法通常被构造为分类器，如支持向量机(svm)和随机森林(rf)。此外，考虑到使用纹理信息来保证像素标签之间的一致性，markovrandom fields(mrf)和conditional random fields(crf)等模型也被用作语义分割的经典框架。传统的语义分割算法虽然方便、容易实现，但泛化能力差，分割精度不高，限制了其在实际语义分割任务中的应用。
3、随着卷积神经网络(cnns)的发展，设计有效的语义分割网络也逐渐受到研究者的关注。卷积神经网络成功的一个主要原因是卷积层的权值共享。然而，通过这种共享策略得到的学习表征仅具有平移等变性，而没有考虑到旋转等变性。换句话说，所采用的网络模型可以很好地分割训练集中已经呈现的对象方向，但对于未包含在训练集中的未知方向，网络的分割结果可能很差，这意味着网络的普适性和鲁棒性还有待提高。从实际应用来说，如遥感水体检测和医学毛细血管分割，由于图像的采集是随机角度拍摄的，所以水体和毛细血管的特征提取往往对方向很敏感，此时不具有旋转等变性的网络将无法很好的分割出不同朝向的特征信息。为了解决这些问题，许多现有的工作主要分成两类，一类是基于数据增强技
4、因此，本领域的技术人员致力于开发一种基于padding的多尺度旋转等变卷积语义分割方法。本方案的提出将有助于面对洪涝灾害时，精准实现旋转情况下的水体区域分割。
技术实现思路
1、有鉴于现有技术的上述缺陷，本专利技术所要解决的技术问题是提供一种基于padding的多尺度旋转等变卷积模式(precm)来进行语义分割，解决以往的旋转等变研究对于尺寸和超参数的限制，也可以作为一种替换元件替换已有的网络中的卷积层，从而在不增加数据集的情况下让分割网络达到与数据增强方法可比拟的性能。
2、为实现上述目的，本专利技术提供了一种基于padding的多尺度旋转等变卷积语义分割方法，包括以下步骤：
3、步骤1、提供旋转等变卷积框架实现网络的旋转等变；
4、步骤2、通过不同的padding模式，实现不同的特征尺度和超参数下的旋转等变性。
5、进一步地，所述旋转等变卷积框架作为卷积的替换元件，替换语义分割网络中的卷积操作。
6、进一步地，所述卷积操作包括空洞卷积、变步长卷积、扁平卷积。
7、进一步地，所述步骤1基于群论。
8、进一步地，所述步骤1，在旋转图像时，提取的特征也进行相同的有序旋转变换。
9、进一步地，所述步骤1引入群的二元运算。
10、进一步地，所述步骤1，先利用群的直积来提取旋转的方向信息，再利用商群来融合来自不同方向的旋转信息，最后通过特征图的加权融合得到旋转等变的结果。
11、进一步地，所述旋转等变卷积框架包括三层：第一层从原始图片中提取四个方向的旋转信息；第二层在第一层的基础上利用群的直积提取第一层得到的特征图的旋转信息，再利用商群将旋转信息压缩；第三层为了得到旋转等变形的结果，对第二层得到的特征映射进行加权融合。
12、进一步地，工作流程为：确定基础语义分割网络；将基础网络的第一层卷积操作替换为旋转等变卷积框架的第一层；将基础网络的最后一层卷积替换为旋转等变卷积框架的第三层；将基础网络除第一层和最后一层之外的所有卷积替换为旋转等变卷积框架的第二层，得到具有旋转等变性的网络。
13、进一步地，工作流程为：确定基础网络；将基础网络的每一层卷积替换为旋转等变卷积框架的三层结构。
14、在本专利技术的较佳实施方式中，由于现有的大多数基于群论的群等变神经网络对图片和卷积核的大小，以及网络的超参数有很大的限制，影响了群等变神经网络在语义分割领域(如水体分割，毛细血管分割等)的普适性。本专利技术基于群论，首先提出了一种旋转等变卷积群框架来实现网络的旋转等变。然后在此框架的基础上，通过引入不同的padding模式，给出了一个具体的可以在不同的特征尺度和超参数下实施的旋转等变性。
15、之前的研究中提出的等变模型大多是以整个网络的形式存在，用法较为单一，把等变性做成可替换元件去替换任意的卷积神经网络从而使网络的分割性能更好，仍然有研究的价值。本专利技术将提出的旋转等边卷积模式作为一个卷积的替换元件，去替换语义分割网络中常用的一些卷积操作，如空洞卷积、变步长卷积、扁平卷积等，将旋转等变卷积扩展到更多的网络中。
16、旋转等变性的实现本质上要求在旋转图像时，提取的特征也进行相同的有序旋转变换。由于网络是由多层组成的，自然地引入群的二元运算来表示它们，先利用群的直积来提取旋转的方向信息，再利用商群来融合来自不同方向的旋转信息，最后通过特征图的加权融合得到旋转等变的结果。紧接着，由于padding可以尽可能多的保留原图的信息，所以在框架中引入基于padding的卷积模式来解决图片的尺寸和网络的超参数问题。最后，由于提出的三层的旋转等变卷积可以作为一个独立的卷积操作，所以进一步将其扩展为即插即用的多尺度旋转等变卷积。
17、本专利技术与现有技术相比较，具有如下显而易见的实质性特点和显著优点：
18、1.本专利技术中的旋转等变卷积不仅可以作为替换元件来替代网络中常规的卷积操作，如空洞卷积，变步长卷积，扁平卷积等等，使网络具有旋转等变；还完全解决了之前的旋转等变网络对于图片，卷积核的尺寸以及网络的超参数的限制问题。
19、2.本专利技术中提出的基于precm的替换网络可以显著提高原始网络的语义分割性能本文档来自技高网...
【技术保护点】
1.一种基于padding的多尺度旋转等变卷积语义分割方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于padding的多尺度旋转等变卷积语义分割方法，其特征在于，所述旋转等变卷积框架作为卷积的替换元件，替换语义分割网络中的卷积操作。
3.如权利要求2所述的基于padding的多尺度旋转等变卷积语义分割方法，其特征在于，所述卷积操作包括空洞卷积、变步长卷积、扁平卷积。
4.如权利要求1所述的基于padding的多尺度旋转等变卷积语义分割方法，其特征在于，所述步骤1基于群论。
5.如权利要求1所述的基于padding的多尺度旋转等变卷积语义分割方法，其特征在于，所述步骤1，在旋转图像时，提取的特征也进行相同的有序旋转变换。
6.如权利要求1所述的基于padding的多尺度旋转等变卷积语义分割方法，其特征在于，所述步骤1引入群的二元运算。
7.如权利要求1所述的基于padding的多尺度旋转等变卷积语义分割方法，其特征在于，所述步骤1，先利用群的直积来提取旋转的方向信息，再利用商群来融合来自不同方向的旋
8.如权利要求1所述的基于padding的多尺度旋转等变卷积语义分割方法，其特征在于，所述旋转等变卷积框架包括三层：第一层从原始图片中提取四个方向的旋转信息；第二层在第一层的基础上利用群的直积提取第一层得到的特征图的旋转信息，再利用商群将旋转信息压缩；第三层为了得到旋转等变形的结果，对第二层得到的特征映射进行加权融合。
9.如权利要求1所述的基于padding的多尺度旋转等变卷积语义分割方法，其特征在于，工作流程为：确定基础语义分割网络；将基础网络的第一层卷积操作替换为旋转等变卷积框架的第一层；将基础网络的最后一层卷积替换为旋转等变卷积框架的第三层；将基础网络除第一层和最后一层之外的所有卷积替换为旋转等变卷积框架的第二层，得到具有旋转等变性的网络。
10.如权利要求1所述的基于padding的多尺度旋转等变卷积语义分割方法，其特征在于，工作流程为：确定基础网络；将基础网络的每一层卷积替换为旋转等变卷积框架的三层结构。
...【技术特征摘要】
1.一种基于padding的多尺度旋转等变卷积语义分割方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于padding的多尺度旋转等变卷积语义分割方法，其特征在于，所述旋转等变卷积框架作为卷积的替换元件，替换语义分割网络中的卷积操作。
3.如权利要求2所述的基于padding的多尺度旋转等变卷积语义分割方法，其特征在于，所述卷积操作包括空洞卷积、变步长卷积、扁平卷积。
4.如权利要求1所述的基于padding的多尺度旋转等变卷积语义分割方法，其特征在于，所述步骤1基于群论。
5.如权利要求1所述的基于padding的多尺度旋转等变卷积语义分割方法，其特征在于，所述步骤1，在旋转图像时，提取的特征也进行相同的有序旋转变换。
6.如权利要求1所述的基于padding的多尺度旋转等变卷积语义分割方法，其特征在于，所述步骤1引入群的二元运算。
7.如权利要求1所述的基于padding的多尺度旋转等变卷积语义分割方法，其特征在于，所述步骤1，先利用群的直积来提取旋转的方向...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。