一种基于广义卷积的图像语义分割方法及系统技术方案

本发明专利技术提供一种基于广义卷积的图像语义分割方法及系统，通过下采样的卷积层和深层特征层，将特征层的信息进行像素级还原，该方法建立在广义逆矩阵的数学基础之上，能够利用对卷积矩阵的变换实现信息的像素级恢复。一方面，广义卷积能够恢复特征图大小的性质，可以为图像语义分割领域构建一种新的上采样方法；另一方面，精确矩阵的上采样方式能够让网络的上下采样相互对称，从而在部署时只需微调预测部分的参数。部分的参数。部分的参数。

【技术实现步骤摘要】
一种基于广义卷积的图像语义分割方法及系统


[0001]本专利技术属于计算机视觉中语义分割
，尤其涉及一种基于广义卷积的图像语义分割方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]伴随着计算机视觉研究的不断加深，互联网的高速传播与大规模应用使得计算机在生活中扮演着越来越重要的角色，自动驾驶、医学图像分割以及农田分割等依托于计算机的技术不仅解放了人类的部分工作，更是促进了生产力的发展。在此情况下，计算机视觉的准确率与可解释性就变得不可或缺。
[0004]语义分割问题满足了对图像更为准确的分析和理解的要求。图像语义分割的根本目的是通过训练图像的内容，从而确定图像中每个像素的语义类别。如利用全卷积神经网络实现FCN对图像进行像素级的分类，从而解决了语义级别的图像分割问题。FCN可以接受任意尺寸的输入图像，采用反卷积对最后一个卷积层的特征图进行上采样，使它恢复到输入图像的尺寸。
[0005]目前，现有技术大多集中在利用各种函数生成新数据，如双线性插值法和转置卷积，利用自构造函数或计算机生成函数从深层特征层中额外提取信息从而实现上采样的效果，而缺少从网络的下采样过程中寻找丢失的信息。其中，双线性插值法的低通滤波性质容易在计算过程中使得高频分量受损，导致轮廓变得模糊从而丢失小物体的信息；而转置卷积在数学理论层面只能将新特征图恢复至下采样之前的大小，却无法弥补在下采样过程中丢失的信息。也就是说，目前的上采样方式都无法根据下采样中丢失的信息进行还原，影响最终的输出结果。

技术实现思路

[0006]为了解决上述问题，本专利技术的第一个方面提出了利用广义卷积对下采样后的图像进行恢复的语义分割方法，该方法建立在广义逆矩阵的数学基础之上，能够利用对卷积矩阵的变换实现图像信息的像素级恢复。一方面，广义卷积能够恢复特征图大小的性质，可以为图像语义分割领域构建一种新的上采样方法；另一方面，精确矩阵的上采样方式能够让网络的上下采样相互对称，从而在部署时只需微调预测部分的参数。
[0007]为了实现上述目的，本专利技术主要包括以下几个方面：
[0008]第一方面，本专利技术实施例一提供了一种基于广义卷积的图像语义分割方法。
[0009]一种基于广义卷积的图像语义分割方法，包括：
[0010]步骤1：提取输入图像的初始特征图；
[0011]步骤2：对初始特征图进行下采样操作；
[0012]步骤3：将步骤2重复k次卷积操作，得到k个表达式；
[0013]步骤4：将k个表达式进行拼接，得到拼接矩阵；
[0014]步骤5：通过广义逆矩阵对拼接矩阵还原得到初始特征图；
[0015]其中，k为卷积操作的次数。
[0016]在一种可能的实施方式中，所述下采样操作，采用跨步卷积对特征层进行下采样操作。
[0017]在一种可能的实施方式中，采用跨步卷积对特征层进行下采样操作，包括以下步骤：
[0018](1)将原大小为(a,a)的特征图进行展平操作，得到长度为n＝a2的行向量A(1*n)；
[0019](2)将大小为(b,b)的卷积核扩展为卷积矩阵P，P的形状为(n,(a
‑
b+1)2)，记作P(n,m)；
[0020](3)对原特征图进行AP＝B的计算，其中A为原特征图展平后的行向量，B为新特征图进行展平后的行向量；
[0021](4)由于卷积操作的特殊性，在不添加填充时，n≥m；
[0022]其中，a表示：原特征图的尺寸大小值；b表示：卷积核的尺寸大小值；n表示：原特征图中信息点个数，即a2；m表示：将卷积核扩展为卷积矩阵后，卷积矩阵的列数。
[0023]在一种可能的实施方式中，k值的计算方法如下：
[0024](1)k从1开始，计算k*m的值；
[0025](2)将k*m的值与n进行对比；
[0026](3)若n＞k*m，对k进行加1操作并重新返回步骤(1)；
[0027](4)若n≤k*m，得到需要的k值，并令q＝k*m，q为将k个卷积矩阵拼接后得到的新矩阵的列数，表示所有新特征图中的信息点总数。
[0028]在一种可能的实施方式中，所述将步骤2重复k次卷积操作，得到k个表达式，为：对行向量A进行k次跨步卷积，得到k个表达式：
[0029]AP1＝B1[0030]AP2＝B2[0031]…
[0032]AP
k
＝B
k
；
[0033]其中，P1、P2、
…
、P
k
为第1
‑
k次卷积操作中对应的卷积矩阵；B1、B2、
…
、B
k
为第1
‑
k次卷积操作中对应的新特征图展平后的行向量。
[0034]在一种可能的实施方式中，将k个表达式进行拼接得到：
[0035]A[P
1 P2…
P
k
]＝[B
1 B2…
B
k
]，记作A(1,n)Q(n,q)＝C(1,q)，C表示：所有本轮计算得到的新特征图展平后的向量，Q表示：由k次跨步卷积矩阵拼接得到矩阵。
[0036]在一种可能的实施方式中，所述通过广义逆矩阵对拼接矩阵还原得到初始特征图，包括以下步骤：
[0037](1)将表达式A(1,n)Q(n,q)＝C(1,q)等号两边同时进行转置，得Q
T
(q,n)A
T
(n,1)＝C
T
(q,1)；
[0038](2)矩阵Q是由k次跨步卷积矩阵拼接得到，故QQ
T
可逆；
[0039](3)根据广义逆矩阵的知识，通过Q与C得到唯一解A＝CQ
T
(QQ
T
)
‑
T
。
[0040]第二方面，本专利技术实施例提供一种基于广义卷积的图像语义分割系统。
[0041]一种基于广义卷积的图像语义分割系统，包括：
[0042]特征提取模块：提取输入图像的初始特征图；
[0043]下采样模块，对初始特征图进行下采样操作；
[0044]卷积模块，对下采样过程重复k次卷积操作，得到k个表达式；
[0045]拼接模块，将k个表达式进行拼接，得到拼接矩阵；
[0046]还原模块，通过广义逆矩阵对拼接矩阵还原得到初始特征图；
[0047]其中，k为卷积操作的次数。
[0048]第三方面，本专利技术实施例提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述第一方面中任一种可能的实施方式中所述的基于广义卷积的图像语义分割方法的步骤。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于广义卷积的图像语义分割方法，其特征在于，包括：步骤1：提取输入图像的初始特征图；步骤2：对初始特征图进行下采样操作；步骤3：将步骤2重复k次卷积操作，得到k个表达式；步骤4：将k个表达式进行拼接，得到拼接矩阵；步骤5：通过广义逆矩阵对拼接矩阵还原得到初始特征图；其中，k为卷积操作的次数。2.如权利要求1所述的一种基于广义卷积的图像语义分割方法，其特征在于，所述下采样操作，采用跨步卷积对特征层进行下采样操作。3.如权利要求2所述的一种基于广义卷积的图像语义分割方法，其特征在于，采用跨步卷积对特征层进行下采样操作，包括以下步骤：(1)将原大小为(a,a)的特征图进行展平操作，得到长度为n＝a2的行向量A(1*n)；(2)将大小为(b,b)的卷积核扩展为卷积矩阵P，P的形状为(n,(a
‑
b+1)2)，记作P(n,m)；(3)对原特征图进行AP＝B的计算，A为原特征图展平后的行向量，B为新特征图进行展平后的行向量；(4)由于卷积操作的特殊性，在不添加填充时，n≥m；其中，a表示：原特征图的尺寸大小值；b表示：卷积核的尺寸大小值；n表示：原特征图中信息点个数，即a2；m表示：将卷积核扩展为卷积矩阵后，卷积矩阵的列数。4.如权利要求1所述的一种基于广义卷积的图像语义分割方法，其特征在于，k值的计算方法如下：(1)k从1开始，计算k*m的值；(2)将k*m的值与n进行对比；(3)若n＞k*m，对k进行加1操作并重新返回步骤(1)；(4)若n≤k*m，得到需要的k值，并令q＝k*m，q为将k个卷积矩阵拼接后得到的新矩阵的列数，表示所有新特征图中的信息点总数。5.如权利要求1所述的一种基于广义卷积的图像语义分割方法，其特征在于，所述将步骤2重复k次卷积操作，得到k个表达式，为：对行向量A进行k次跨步卷积，得到k个表达式：AP1＝B1AP2＝B2…
AP
k
＝B
k
其中，P1、P2、
…
、P
k
为第1
‑
k次卷积操作中对应的卷积矩阵；B1、B2、
…
、B
...

【专利技术属性】
技术研发人员：陈振学，叶梦婷，刘成云，黄彬，何为凯，刘龙成，
申请(专利权)人：山东大学，
类型：发明
国别省市：