基于特征重映射的图像多分类网络结构及训练方法技术

本发明专利技术公开了一种基于特征重映射的图像多分类网络结构及训练方法，在多分类网络训练期间，将样本同时输入至待训练的多分类网络和训练好的二分类网络，利用二分类网络输出的分类结果修正多分类网络输出的分类结果，使多分类网络在训练期间输出的正常类别概率趋近二分类网络输出的正常类别概率，实现特征重映射。通过训练好的二分类网络对多分类网络的正常样本类别结果进行修正，可以提高多分类网络对正常类别样本的识别精度，尤其是在正常样本较少的情况下，也能得到对正常类别样本的识别精度较高的多分类网络。精度较高的多分类网络。精度较高的多分类网络。

【技术实现步骤摘要】
基于特征重映射的图像多分类网络结构及训练方法


[0001]本专利技术属于计算机视觉深度学习
，更具体地，涉及一种基于特征重映射的图像多分类网络结构及训练方法。

技术介绍

[0002]近年来，随着城市不断建设，地下排水管道的检测任务也日趋繁重。传统的地下排水管道检测需要大量人力来完成，这不仅面临着时间的挑战，也面临着效率的挑战。通过深度学习对排水管道进行检测的方法在提高效率的同时也节省了人力成本。
[0003]在通常的排水管道检测中，人们主要关注了缺陷类别样本的精度，而忽视了正常类别样本精度，从而导致将大量正常样本误检为缺陷样本。造成这种情况的原因是由于工业上人们在收集排水管道数据时过度关注缺陷类别，从而导致训练时缺陷样本较多而正常类别样本收集不足，而数据的收集不是一朝一夕完成的，所以可以考虑从深度学习网络方面解决此问题。
[0004]由于2分类网络任务简单，只需要判断正常和缺陷两种类别，在使用同等复杂的网络时，任务越简单，网络的信息提取能力越强，结果越准确。因此，在传统技术中，为提高精度，通常是单独训练两个网络，先训练2分类网络，提取缺陷样本，再将2分类网络判断为缺陷的样本输入多分类网络，具体预测为某一种具体的缺陷类别。虽然使用2分类网络可以提高正常类别样本的精度，但是由于无法确保2分类网络的精度达到100％，所以先后经过两个分类网络的方式会产生较大的累积误差。

技术实现思路

[0005]针对现有技术的以上缺陷或改进需求，本专利技术提供了一种基于特征重映射的图像多分类网络结构及训练方法，其目的在于在对多分类网络训练时，利用二分类网络修正多分类网络，由此提高多分类网络对正常样本识别的精度。
[0006]为实现上述目的，按照本专利技术的一个方面，提供了一种基于特征重映射的图像多分类网络结构，包括：
[0007]多分类网络，输入所述多分类网络的样本依次经卷积层、全连接层和softmax层后实现m种分类，并输出分类结果[outsoft
mcls0
，outsoft
mcls1
，outsoft
mcls2
，
……
，outsoft
mclsn
‑1，outsoft
mclsn
]，其中，outsoft
mclsn
代表正常类别概率，其余分别代表不同缺陷概率，n＝m
‑
1，m≥3；
[0008]二分类网络，输入所述二分类网络的样本依次经卷积层、全连接层和softmax层后实现2种分类，并输出分类结果其中，分别代表缺陷类别概率和正常类别概率；
[0009]特征重映射网络，用于根据所述二分类网络输出的分类结果修正所述多分类网络输出的分类结果，使所述多分类网络在训练期间输出的正常类别概率outsoft
mclsn
趋近所述
二分类网络输出的正常类别概率实现特征重映射；
[0010]损失计算模块，用于计算训练损失并反向调节多分类网络的参数以使损失收敛。
[0011]在其中一个实施例中，所述二分类网络和多分类网络共用样本输入端。
[0012]在其中一个实施例中，所述特征重映射网络包括：
[0013]权重参数调节模块，用于获取多分类网络全连接层的输出结果[out
mcls0
，out
mcls1
，out
mcls2
，
……
，out
mclsn
‑1，out
mclsn
]和二分类网络全连接层的输出结果进行拼接后经全连接层输出权重参数k；
[0014]正常类别概率修正模块，用于利用权重参数k将正常类别概率out
mclsn
修正为out
mclsn
′
，其中，
[0015][0016]所述损失计算模块包括特征差异损失模块和分类损失模块，所述特征差异损失模块用于计算多分类网络全连接层的输入特征和二分类网络全连接层的输入特征之间的特征差异损失，所述分类损失模块用于计算特征重映射后的多分类网络的分类损失，所述损失计算模块以分类损失和特征差异损失之和作为训练损失。
[0017]在其中一个实施例中，所述多分类网络包括主干网络和连接于所述主干网络上的特征传递增强模块，所述主干网络包括依次连接的多个卷积层、全连接层和softmax层，所述特征增强模块包括：
[0018]用于提取浅层的边缘和纹理信息的中高频特征传递增强模块，跨接于主干网络的前端卷积层J前两端，包括1
×
1卷积层、中高频频域通道注意力模块和第一交叉注意力模块，主干网络中的特征在到达中高频特征传递增强模块输入端时分为三路，第一路经过前端卷积层J前继续向前传输，第二路依次经过1
×
1卷积层、中高频频域通道注意力模块和1
×
1卷积层以提取图像的高频信息后汇入主干路，第三路依次经过1
×
1卷积层、第一交叉注意力模块和1
×
1卷积层以提取不同位置像素之间的长距离依赖关系后汇入主干路；
[0019]用于提取深层语义信息的中低频特征传递增强模块，跨接于主干网络的后端卷积层J后两端，包括1
×
1卷积层、中低频频域通道注意力模块和第二交叉注意力模块，主干网络中的特征在到达中低频特征传递增强模块输入端时分为三路，第一路经过后端卷积层J后继续向前传输，第二路依次经过1
×
1卷积层、中低频频域通道注意力模块和1
×
1卷积层以提取图像的低频信息后汇入主干路，第三路依次经过1
×
1卷积层、第二交叉注意力模块和1
×
1卷积层以提取不同位置像素之间的长距离依赖关系后汇入主干路。
[0020]在其中一个实施例中，还包括特征重映射控制模块，用于判断正常类别概率是否大于预设值，当正常类别概率大于预设值时，接入特征重映射网络进行特征重映射，当正常类别概率不大于预设值时，切断特征重映射网络不进行特征重映射。
[0021]按照本专利技术的另一方面，提供了一种基于特征重映射的图像多分类网络训练方法，包括：
[0022]将样本输入至多分类网络以对所述多分类网络进行训练，所述多分类网络实现m
种分类，且经多分类网络softmax层后输出分类结果[outsoft
mcls0
，outsoft
mcls1
，outsoft
mcls2
，
……
，outsoft
mclsn
‑1，outsoft
mclsn
]，其中，outsoft
mclsn
代表正常类别概率，其余分别代表不同缺陷概率，n＝m
‑
1，m≥3；
[0023]将相同样本输入至训练好的二分类网络，且经二分类网络softmax层后输出分类结果其中，分别代本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于特征重映射的图像多分类网络结构，其特征在于，包括：多分类网络，输入所述多分类网络的样本依次经卷积层、全连接层和softmax层后实现m种分类，并输出分类结果[outsoft
mcls0
,outsoft
mcls1
,outsoft
mcls2
,
……
,outsoft
mclsn
‑1,outsoft
mclsn
]，其中，outsoft
mclsn
代表正常类别概率，其余分别代表不同缺陷概率，n＝m
‑
1，m≥3；二分类网络，输入所述二分类网络的样本依次经卷积层、全连接层和softmax层后实现2种分类，并输出分类结果其中，分别代表缺陷类别概率和正常类别概率；特征重映射网络，用于根据所述二分类网络输出的分类结果修正所述多分类网络输出的分类结果，使所述多分类网络在训练期间输出的正常类别概率outsoft
mclsn
趋近所述二分类网络输出的正常类别概率实现特征重映射；损失计算模块，用于计算训练损失并反向调节多分类网络的参数以使损失收敛。2.如权利要求1所述的基于特征重映射的图像多分类网络结构，其特征在于，所述二分类网络和多分类网络共用样本输入端。3.如权利要求1所述的基于特征重映射的图像多分类网络结构，其特征在于，所述特征重映射网络包括：权重参数调节模块，用于获取多分类网络全连接层的输出结果[out
mcls0
,out
mcls1
,out
mcls2
,
……
,out
mclsn
‑1,out
mclsn
]和二分类网络全连接层的输出结果进行拼接后经全连接层输出权重参数k；正常类别概率修正模块，用于利用权重参数k将正常类别概率out
mclsn
修正为out
mclsn
′
，其中，所述损失计算模块包括特征差异损失模块和分类损失模块，所述特征差异损失模块用于计算多分类网络全连接层的输入特征和二分类网络全连接层的输入特征之间的特征差异损失，所述分类损失模块用于计算特征重映射后的多分类网络的分类损失，所述损失计算模块以分类损失和特征差异损失之和作为训练损失。4.如权利要求1所述的基于特征重映射的图像多分类网络结构，其特征在于，所述多分类网络包括主干网络和连接于所述主干网络上的特征传递增强模块，所述主干网络包括依次连接的多个卷积层、全连接层和softmax层，所述特征增强模块包括：用于提取浅层的边缘和纹理信息的中高频特征传递增强模块，跨接于主干网络的前端卷积层J
前
两端，包括1
×
1卷积层、中高频频域通道注意力模块和第一交叉注意力模块，主干网络中的特征在到达中高频特征传递增强模块输入端时分为三路，第一路经过前端卷积层J
前
继续向前传输，第二路依次经过1
×
1卷积层、中高频频域通道注意力模块和1
×
1卷积层以提取图像的高频信息后汇入主干路，第三路依次经过1
×
1卷积层、第一交叉注意力模块和1
×
1卷积层以提取不同位置像素之间的长距离依赖关系后汇入主干路；用于提取深层语义信息的中低频特征传递增强模块，跨接于主干网络的后端卷积层J
后
两端，包括1
×
1卷积层、中低频频域通道注意力模块和第二交叉注意力模块，主...

【专利技术属性】
技术研发人员：邹腊梅，李广磊，连志祥，王皓，谢佳，钟胜，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：