图像地物要素分类模型的训练方法、图像分析方法及系统技术方案

本发明专利技术提出了一种图像地物要素分类模型的训练方法、图像分析方法及系统，其中训练方法包括：获取待训练的多时相图像；所述待训练的多时相图像包括进行像素级标注的已标注图像和未标注图像；将已标注图像与基于已标注图像获得的第一分割预测图进行对抗训练，所述对抗训练包括语义分割网络和判别网络；将未标注图像输入对抗训练后的判别网络中，得到未标注图像中接近已标注图像的可信赖区域，并以可信赖区域作为监督信号对经过对抗训练后的语义分割网络进行半监督训练，得到图像地物要素分类模型。本发明专利技术提出的方法和系统减少了数据标注工作量，易于操作，能够实现对图像中各种地物要素的准确精细化分类。

【技术实现步骤摘要】
图像地物要素分类模型的训练方法、图像分析方法及系统
本专利技术涉及遥感图像处理与分析和计算机视觉
，具体涉及一种图像地物要素分类模型的训练方法、图像分析方法及系统。
技术介绍
21世纪是城市化快速发展的阶段，过快、无序地城市扩张会产生一系列的负面影响，有效地对城市进行变化检测可以分析土地使用和土地覆盖(LULC)的变化，分析不同时期的城市扩张驱动力，为城市管理和规划、土地利用保护提供参考，预测城市未来发展趋势，因此深入研究城市扩张变化对于促进城市的可持续发展至关重要。遥感变化检测是利用多时相遥感影像分析地表变化特征和信息的技术，是遥感图像处理与分析的一个重要方向。随着机器学习地不断发展，出现了许多从遥感图像中提取信息的分类方法，在美国NASA陆地卫星获取的较高分辨率(30米)的遥感数据上，对地物要素分类进而分析城市扩建取得了很大进展，但很少研究高分辨率图像。图像语义分割是像素级别的分类，近年来，基于深度学习的方法在语义分割领域显示出优势，但是通用框架性能好坏取决于标注数据的多少，而且都采用完全监督的训练方式，而像素级标注不仅费时、费力、昂贵，而且人工标注难以保证较高的准确度。为了减少数据标注工作量，提高语义分割模型的泛化能力，近年来出现了许多半监督和弱监督方法，数据集对样本进行标注的工作量繁重，并且需要多次迭代训练。尤其是具有高分辨率的遥感图像场景复杂，具有复杂的地表特征和丰富的背景干扰，像素级标注的工作量更加繁重，现有框架均不适用于遥感图像的训练和分析。
技术实现思路
为了克服现有技术的缺陷，本专利技术的目的在于提出一种图像地物要素分类模型的训练方法、图像分析方法及系统，用于解决在减少前期图像标注工作量的同时，实现图像精细化分类/分析。为了实现上述专利技术目的，本专利技术提出一种图像地物要素分类模型的训练方法，其改进之处在于，包括如下步骤：获取待训练的多时相图像；所述待训练的多时相图像包括进行像素级标注的已标注图像和未标注图像；将已标注图像与基于已标注图像获得的第一分割预测图进行对抗训练，所述对抗训练包括语义分割网络和判别网络；将未标注图像输入对抗训练后的判别网络中，得到未标注图像中接近已标注图像的可信赖区域，并以可信赖区域作为监督信号对经过对抗训练后的语义分割网络进行半监督训练，得到图像地物要素分类模型。优选的，所述将已标注图像与基于已标注图像获得的第一分割预测图进行对抗训练，包括：将已标注图像输入至语义分割网络中进行分割预测训练，获得第一分割预测图；将第一分割预测图和经过编码处理的已标注图像输入至判别网络中进行对抗训练，直至语义分割网络和判别网络的损失函数达到收敛，生成对抗训练后的语义分割网络和判别网络。优选的，所述语义分割网络采用包括五层卷积层的Resnet101网络作为骨干网络，所述骨干网络包括依次连接的特征提取模块、多层特征动态融合模块、边界注意力模块和输出模块；所述将已标注图像输入至语义分割网络中进行分割预测训练，获得第一分割预测图，包括：将已标注图像输入至骨干网络中，通过骨干网络中的特征提取模块提取已标注图像的低层空间特征和高层语义特征，获得与五层卷积层对应的第一特征图、第二特征图、第三特征图、第四特征图和第五特征图；利用多层特征动态融合模块对第三特征图、第四特征图、第五特征图进行级联处理得到第六特征图，对第六特征图进行通道加权处理后输出至边界注意力模块；利用边界注意力模块将第一特征图与第二特征图进行级联处理得到第七特征图，计算第七特征图的边界注意力因子；基于第七特征图的边界注意力因子对第一特征图进行边界加权处理，将加权处理后的第一特征图与第四特征图进行残差连接得到第八特征图，计算第八特征图的边界注意力因子；基于第八特征图的边界注意力因子对第一特征图进行边界加权处理，加权处理后的第一特征图与第五特征图进行残差连接得到第九特征图，计算第九特征图的边界注意力因子；基于第九特征图的边界注意力因子对通道加权处理后的第六特征图进行边界加权处理后得到第十特征图传至输出模块；通过输出模块对第十特征图进行1×1卷积降维，使用双线性插值法对第十特征图进行上采样，获得与原始已标注图像大小相同的第一分割预测图；其中，所述低层空间特征包括图像中各种地物要素的位置和形状信息，所述高层语义特征包括各种地物要素的类别信息。优选的，所述边界注意力模块通过下式计算边界注意力因子：所述边界注意力模块通过下式进行边界加权处理：O＝F⊙A+F式中，O为进行边界加权处理后获得的特征图，F为经过多层特征动态融合模块处理后输出的特征图，A为边界注意力因子，⊙为按元素相乘，exp()为指数函数，C为骨干网络中两张特征图经过级联处理得到的一张特征图。优选的，所述判别网络包括编码器和解码器，所述编码器包括依次连接的3个残差块和2个卷积层；所述将第一分割预测图和经过编码处理的已标注图像输入至判别网络中进行对抗训练，直至语义分割网络和判别网络的损失函数达到收敛，生成对抗训练后的语义分割网络和判别网络，包括：将第一分割预测图和已标注图像分别输入到预先构建的判别网络中，通过判别网络中编码器的残差块提取第一分割预测图和已标注图像的局部特征和全局特征，并将相同图像对应的局部特征和全局特征进行残差连接后，获得第一分割预测图和已标注图像的特征图；通过判别网络的解码器对第一分割预测图和已标注图像的特征图进行逐步上采样，获得与原始已标注图像大小相同的第一分割预测图和已标注图像的第一置信图；通过第一分割预测图和已标注图像的第一置信图中每个像素的置信度值大小判断每个像素来源于已标注图像或者第一分割预测图，分别计算语义分割网络和判别网络的损失函数，当训练达到预设迭代次数后得到对抗训练后的语义分割网络和判别网络。优选的，所述语义分割网络的损失函数为：LSEG＝Lmce+λsemiLsemi+λadvLadv其中，Lmce，Lsemi和Ladv分别为多分类交叉熵损失，半监督损失和对抗损失，λsemi和λadv分别为半监督损失和对抗损失的权重。优选的，所述判别网络的损失函数为：式中，X为输入到语义分割网络中的原始图像，Y为已标注图像，S(X)为第一分割预测图，D(S(X))为第一分割预测图对应的判别网络输出的第一置信图，D(S(X))h,w为第一分割预测图对应的判别网络输出的第一置信图中的置信度值，D(Y)为已标注图像对应的判别网络输出的第一置信图，D(Y)h,w为已标注图像对应的判别网络输出的第一置信图中的置信度值，y为(h,w)处像素的标签、取值为0或1。优选的，所述将未标注图像输入对抗训练后的判别网络中，得到未标注图像中接近已标注图像的可信赖区域，包括：将未标注图像输入对抗训练后的语义分割网络中，获得第二分割预测图；将所述第二分割预测图输入对抗训练后的判别网络中，获得第二置信图；对第二置信图进行二值化处理，将满足阈值本文档来自技高网...

【技术保护点】
1.一种图像地物要素分类模型的训练方法，其特征在于，包括：/n获取待训练的多时相图像；所述待训练的多时相图像包括进行像素级标注的已标注图像和未标注图像；/n将已标注图像与基于已标注图像获得的第一分割预测图进行对抗训练，所述对抗训练包括语义分割网络和判别网络；/n将未标注图像输入对抗训练后的判别网络中，得到未标注图像中接近已标注图像的可信赖区域，并以可信赖区域作为监督信号对经过对抗训练后的语义分割网络进行半监督训练，得到图像地物要素分类模型。/n

【技术特征摘要】
1.一种图像地物要素分类模型的训练方法，其特征在于，包括：
获取待训练的多时相图像；所述待训练的多时相图像包括进行像素级标注的已标注图像和未标注图像；
将已标注图像与基于已标注图像获得的第一分割预测图进行对抗训练，所述对抗训练包括语义分割网络和判别网络；
将未标注图像输入对抗训练后的判别网络中，得到未标注图像中接近已标注图像的可信赖区域，并以可信赖区域作为监督信号对经过对抗训练后的语义分割网络进行半监督训练，得到图像地物要素分类模型。


2.如权利要求1所述的方法，其特征在于，所述将已标注图像与基于已标注图像获得的第一分割预测图进行对抗训练，包括：
将已标注图像输入至语义分割网络中进行分割预测训练，获得第一分割预测图；
将第一分割预测图和经过编码处理的已标注图像输入至判别网络中进行对抗训练，直至语义分割网络和判别网络的损失函数达到收敛，生成对抗训练后的语义分割网络和判别网络。


3.如权利要求2所述的方法，其特征在于，所述语义分割网络采用包括五层卷积层的Resnet101网络作为骨干网络，所述骨干网络包括依次连接的特征提取模块、多层特征动态融合模块、边界注意力模块和输出模块；
所述将已标注图像输入至语义分割网络中进行分割预测训练，获得第一分割预测图，包括：
将已标注图像输入至骨干网络中，通过骨干网络中的特征提取模块提取已标注图像的低层空间特征和高层语义特征，获得与五层卷积层对应的第一特征图、第二特征图、第三特征图、第四特征图和第五特征图；
利用多层特征动态融合模块对第三特征图、第四特征图、第五特征图进行级联处理得到第六特征图，对第六特征图进行通道加权处理后输出至边界注意力模块；
利用边界注意力模块将第一特征图与第二特征图进行级联处理得到第七特征图，计算第七特征图的边界注意力因子；基于第七特征图的边界注意力因子对第一特征图进行边界加权处理，将加权处理后的第一特征图与第四特征图进行残差连接得到第八特征图，计算第八特征图的边界注意力因子；基于第八特征图的边界注意力因子对第一特征图进行边界加权处理，加权处理后的第一特征图与第五特征图进行残差连接得到第九特征图，计算第九特征图的边界注意力因子；基于第九特征图的边界注意力因子对通道加权处理后的第六特征图进行边界加权处理后得到第十特征图传至输出模块；
通过输出模块对第十特征图进行1×1卷积降维，使用双线性插值法对第十特征图进行上采样，获得与原始已标注图像大小相同的第一分割预测图；
其中，所述低层空间特征包括图像中各种地物要素的位置和形状信息，所述高层语义特征包括各种地物要素的类别信息。


4.如权利要求3所述的方法，其特征在于，所述边界注意力模块通过下式计算边界注意力因子：



所述边界注意力模块通过下式进行边界加权处理：
O＝F⊙A+F
式中，O为进行边界加权处理后获得的特征图，F为经过多层特征动态融合模块处理后输出的特征图，A为边界注意力因子，⊙为按元素相乘，exp()为指数函数，C为骨干网络中两张特征图经过级联处理得到的一张特征图。


5.如权利要求2所述的方法，其特征在于，所述判别网络包括编码器和解码器，所述编码器包括依次连接的3个残差块和2个卷积层；
所述将第一分割预测图和经过编码处理的已标注图像输入至判别网络中进行对抗训练，直至语义分割网络和...

【专利技术属性】
技术研发人员：孙显，付琨，闫志远，刁文辉，陈凯强，时爱君，赵良瑾，张义，
申请(专利权)人：中国科学院空天信息创新研究院，
类型：发明
国别省市：北京;11