基于多尺度特征与前背景对比的图像语义分割方法及系统技术方案

本发明专利技术涉及一种基于多尺度特征与前背景对比的图像语义分割方法及系统。该方法首先图像进行预处理后，然后进行特征编码，接着优化编码过程中的浅层特征，再结合前两者基于像素重排技术利用密集连接进行特征解码得到语义分割概率图，完成语义分割模型的核心神经网络搭建；接着基于搭建的核心神经网络，对标注数据集进行数据增强，计算语义分割损失及辅助的边缘检测损失用于迭代更新网络中的参数直至收敛，完成模型的训练；最后结合搭建的核心神经网络和训练好的网络参数，从得到的语义分割概率图中的每个位置选取概率最大的一项作为该像素位置的分类，得到最后的语义分割结果。本发明专利技术方法有利于提高图像语义分割的准确性和鲁棒性，本发明专利技术系统可用于自定义保单系统，用于实现用户上传保单封面图像的图像质量增强与美化，以及敏感图像过滤等。

Image semantic segmentation method and system based on multi-scale feature and background comparison

【技术实现步骤摘要】
基于多尺度特征与前背景对比的图像语义分割方法及系统
本专利技术涉及计算机视觉
，具体涉及一种基于多尺度特征与前背景对比的图像语义分割方法及系统。
技术介绍
图像语义分割是人工智能领域中计算机视觉的一个重要分支，是机器视觉中关于图像理解重要的一环。图像语义分割就是将图像中的每一个像素准确地归类到其所属类别，使其与图像本身的视觉表示内容一致，所以图像语义分割任务也被称为像素级的图像分类任务。由于图像语义分割与图像分类有一定的相似性，所以各式各样的图像分类网络常常在剔除最后的全连接层后，作为图像语义分割网络的主干网，并相互之间可替换。有时也会通过移除主干网中的池化层或使用带孔卷积等修改获得更大尺寸的特征，最后使用卷积核为1的卷积层获得语义分割结果。在与图像分类对比之下，图像语义分割的难度要更高，因为它不仅需要全局的上下文信息，还需要结合精细的局部信息来确定每个像素点的类别，所以常常利用主干网来提取较为全局的特征，然后再结合主干网中的浅层特征进行特征分辨率重建恢复到原始图像大小。基于特征尺寸先变小再变大的特征，所以常常把前者称为编码网络，后者称为解码网络。同时在编码过程中，为了能更好捕获不同大小物体的特征，常常结合不同感受野和尺度信息，其中最具有代表性的是带孔空间金字塔池化和空间金字塔池化技术。然而前者由于采取了大比率的扩张卷积导致信息利用率低，后者采取池化导致特征的空间信息丢失，同时两者均没能考虑到前背景的相关性。在现有的语义分割方法中，解码过程中一般都使用转置卷积或者双线性插值等方法将特征逐级扩大，因此特征尺寸是逐级递增的，无法有效地对重建特征进行特征重用。而且在这过程中常常会加入浅层特征来优化解码过程，但没有对浅层特征设计一个明确的优化目标，因此在重建过程中修复细节的能力稍显不足。
技术实现思路
本专利技术的目的在于提供一种基于多尺度特征与前背景对比的图像语义分割方法，该方法及系统有利于提高图像语义分割的准确性和鲁棒性。为实现上述目的，本专利技术的技术方案是：一种基于多尺度特征与前背景对比的图像语义分割方法，包括如下步骤：步骤A：首先对输入图像进行预处理，然后进行编码得到Fenc，接着优化编码过程中的浅层特征得到和最后结合Fenc和进行解码得到语义分割概率图Pss，完成语义分割模型的核心神经网络搭建；步骤B：基于步骤A搭建的核心神经网络，利用标注数据集迭代更新网络中的参数直至收敛，完成模型的训练；步骤C：结合步骤A搭建的核心神经网络和步骤B中训练好的网络参数，从得到的语义分割概率图Pss中的每个位置选取概率最大的一项作为该像素位置的分类，得到最后的语义分割结果。进一步的，在所述步骤A中，首先对输入图像进行预处理，然后进行编码得到Fenc，接着优化编码过程中的浅层特征得到和最后结合Fenc和进行解码得到语义分割概率图Pss，完成语义分割模型的核心神经网络搭建，包括如下步骤：步骤A1：预处理输入图像，对其进行标准化，即针对每张输入图像的每个通道，在原像素值的基础上减去各自的像素平均值；步骤A2：首先用卷积网络处理步骤A1中得到的标准化图像，然后获取具有多尺度前背景对比表示的编码特征Fenc；步骤A3：选取步骤A2中卷积网络处理的中间层特征进行二次优化得到和步骤A4：基于像素重排技术和密集连接结构，结合Fenc和进行解码得到语义分割概率图Pss，完成语义分割模型的核心神经网络搭建。进一步的，在所述步骤A2中，首先用卷积网络处理步骤A1中得到的标准化图像，然后获取具有多尺度前背景对比表示的编码特征Fenc，包括以下步骤：步骤A21：使用卷积神经网络提取特征Fbase；步骤A22：使用具有不同扩张比率的扩张卷积分别处理特征Fbase得到多个不同级别的前景上下文表示特征；扩张比率越大，得到的特征级别越高；其中扩张卷积的公式如下：ydc[m]＝∑xdc[mdc+rdc·kdc]wdc[kdc]其中，xdc与ydc分别为卷积前后的值，mdc与kdc分别为图像和卷积核的位置坐标，wdc为权重卷积核，rdc为带孔卷积的比率；步骤A23：使用具有不同划分区域数的平均池化操作处理特征Fbase得到多个不同级别的背景上下文表示特征；划分的区域越小，得到的特征级别越高；然后再分别用双线性插值缩放特征到原始输入大小；其中池化尺寸dp可通过输入特征尺寸λ和划分区域数p由如下公式计算得到：步骤A24：将步骤A22中得到前景上下文表示特征分别减去步骤A23中得到的背景上下文表示特征，得到多个对比上下文特征；步骤A25：将步骤A24中计算得到的全部对比上下文特征和Fbase在通道维度上进行拼接，然后通过卷积核为1的卷积操作对其进行特征降维，最后利用随机失活技术处理提升泛化性能，得到多尺度前背景对比表示特征作为最终的编码特征Fenc。进一步的，在所述步骤A3中，选取步骤A2中卷积网络处理的中间层特征进行二次优化得到和包括以下步骤：步骤A31：从步骤A2中的卷积网络中选择尺寸大于编码特征Fenc的中间层特征其中步长os表示与Fenc的尺寸比例；步骤A32：用由预激活的残差块和一个3×3卷积构成的适配卷积单元处理得到边界优化特征公式如下：其中基础块fbb由批量标准化、激活函数和3×3卷积组成，为经过预激活残差块的处理结果；步骤A33：对于得到的边界优化特征同样用适配卷积单元处理得到融合优化特征步骤A34：选取不同的步长os重复步骤A32和步骤A33，得到多对和进一步的，在所述步骤A4中，基于像素重排技术和密集连接结构，结合Fenc和进行解码得到语义分割概率图Pss，完成语义分割模型的核心神经网络搭建，包括以下步骤：步骤A41：先使用1×1卷积对待解码特征Fenc进行降维，然后用适配卷积单元处理；步骤A42：将步骤A41中经适配卷积单元处理得到的特征和具有相同尺寸的进行拼接，然后用适配卷积单元处理；步骤A43：陆续用3×3卷积和1×1卷积进行处理后，然后与步骤A41中的待解码特征Fenc进行拼接；步骤A44：对步骤A43中得到的特征进行像素重排得到更大尺寸的特征，即在特征中的每个位置按通道分别取rh·rw个数进行分组，然后重新排列为通道数为1，高宽分别为rh和rw的特征，其中rh和rw分别为重排后高宽缩放系数；步骤A45：将步骤A44获得的解码特征与双线性插值缩放后的Fenc进行拼接作为新的待解码特征，重复步骤A41至A44直至无剩余最后在分别用步骤A41、步骤A43处理并用双线性到原输入图像尺寸大小后，使用softmax函数计算语义分割概率图Pss，计算公式如下：其中，σc为c类别的概率，e为自然指数，γc和γk分别表示类别为c和k的未激活特征值，C为总类别数。进一步的，在所述步骤B中，基于步骤A搭建的核心神经网络，利用标注数据集迭代更新网络中的参数直至收敛，完成模型的训练，包括以下步骤：步骤B1本文档来自技高网...

【技术保护点】
1.一种基于多尺度特征与前背景对比的图像语义分割方法，其特征在于，包括如下步骤：/n步骤A：首先对输入图像进行预处理，然后进行编码得到F

【技术特征摘要】
1.一种基于多尺度特征与前背景对比的图像语义分割方法，其特征在于，包括如下步骤：
步骤A：首先对输入图像进行预处理，然后进行编码得到Fenc，接着优化编码过程中的浅层特征得到和最后结合Fenc和进行解码得到语义分割概率图Pss，完成语义分割模型的核心神经网络搭建；
步骤B：基于步骤A搭建的核心神经网络，利用标注数据集迭代更新网络中的参数直至收敛，完成模型的训练；
步骤C：结合步骤A搭建的核心神经网络和步骤B中训练好的网络参数，从得到的语义分割概率图Pss中的每个位置选取概率最大的一项作为该像素位置的分类，得到最后的语义分割结果。


2.根据权利要求1所述的基于多尺度特征与前背景对比的图像语义分割方法，其特征在于，在所述步骤A中，首先对输入图像进行预处理，然后进行编码得到Fenc，接着优化编码过程中的浅层特征得到和最后结合Fenc和进行解码得到语义分割概率图Pss，完成语义分割模型的核心神经网络搭建，包括如下步骤：
步骤A1：预处理输入图像，对其进行标准化，即针对每张输入图像的每个通道，在原像素值的基础上减去各自的像素平均值；
步骤A2：首先用卷积网络处理步骤A1中得到的标准化图像，然后获取具有多尺度前背景对比表示的编码特征Fenc；
步骤A3：选取步骤A2中卷积网络处理的中间层特征进行二次优化得到和
步骤A4：基于像素重排技术和密集连接结构，结合Fenc和进行解码得到语义分割概率图Pss，完成语义分割模型的核心神经网络搭建。


3.根据权利要求2所述的基于多尺度特征与前背景对比的图像语义分割方法，其特征在于，在所述步骤A2中，首先用卷积网络处理步骤A1中得到的标准化图像，然后获取具有多尺度前背景对比表示的编码特征Fenc，包括以下步骤：
步骤A21：使用卷积神经网络提取特征Fbase；
步骤A22：使用具有不同扩张比率的扩张卷积分别处理特征Fbase得到多个不同级别的前景上下文表示特征；扩张比率越大，得到的特征级别越高；其中扩张卷积的公式如下：
ydc[m]＝∑xdc[mdc+rdc·kdc]wdc[kdc]
其中，xdc与ydc分别为卷积前后的值，mdc与kdc分别为图像和卷积核的位置坐标，wdc为权重卷积核，rdc为带孔卷积的比率；
步骤A23：使用具有不同划分区域数的平均池化操作处理特征Fbase得到多个不同级别的背景上下文表示特征；划分的区域越小，得到的特征级别越高；然后再分别用双线性插值缩放特征到原始输入大小；其中池化尺寸dp可通过输入特征尺寸λ和划分区域数p由如下公式计算得到：



步骤A24：将步骤A22中得到前景上下文表示特征分别减去步骤A23中得到的背景上下文表示特征，得到多个对比上下文特征；
步骤A25：将步骤A24中计算得到的全部对比上下文特征和Fbase在通道维度上进行拼接，然后通过卷积核为1的卷积操作对其进行特征降维，最后利用随机失活技术处理提升泛化性能，得到多尺度前背景对比表示特征作为最终的编码特征Fenc。


4.根据权利要求2所述的基于多尺度特征与前背景对比的图像语义分割方法，其特征在于，在所述步骤A3中，选取步骤A2中卷积网络处理的中间层特征进行二次优化得到和包括以下步骤：
步骤A31：从步骤A2中的卷积网络中选择尺寸大于编码特征Fenc的中间层特征其中步长os表示与Fenc的尺寸比例；
步骤A32：用由预激活的残差块和一个3×3卷积构成的适配卷积单元处理得到边界优化特征公式如下：



其中基础块fbb由批量标准化、激活函数和3×3卷积组成，为经过预激活残差块的处理结果；
步骤A33：对于得到的边界优化特征同样用适配卷积单元处理得到融合优化特征
步骤A34：选取不同的步长os重复步骤A32和步骤A33，得到多对和


5.根据权利要求2所述的基于多尺度特征与前背景对比的图像语义分割方法，其特征在于，在所述步骤A4中，基于像素重排技术和密集连接结构，结合Fenc...

【专利技术属性】
技术研发人员：潘昌琴，林涵阳，刘刚，唐伟，邓政华，李伟，卓丽栋，张路，刘华杰，
申请(专利权)人：江苏实达迪美数据处理有限公司，
类型：发明
国别省市：江苏;32