基于自适应多模态遥感图像融合语义标注方法及系统技术方案

本发明专利技术涉及一种基于自适应多模态遥感图像融合语义标注方法及系统，首先对多个模态的遥感图像依次进行特征提取和拼接处理；其次基于拼接特征图集合，对通道随机失活处理，获得随机失活特征图集合；再次基于第一卷积特征图集合中各像素点进行全局语义标注；然后基于第二卷积特征图集合对通道维度进行通道语义标注；最后将标注后的位置输出特征图集合和维度输出特征图集合进行加权融合以及卷积处理，获得融合标注图像。本发明专利技术对输入的多模态通道进行随机失活，以模拟在实际情况下的部分模态缺失情形，提高模型的泛化能力和鲁棒性。另外，本发明专利技术将通道语义标注与全局语义标注相结合，提高了对图像上下文信息融合标注的准确性。

【技术实现步骤摘要】
基于自适应多模态遥感图像融合语义标注方法及系统
本专利技术涉及语义标注
，特别是涉及一种基于自适应多模态遥感图像融合语义标注方法及系统。
技术介绍
目前高分辨率多模态遥感数据语义标注根据多模态融合时机的不同分为早期融合(如FuseNet)和后期融合(如SegNet-RC)。早期融合使用多个编码器对多源遥感信息进行联合编码，这几个编码器的输出结果在每个卷积块后相加。然后，一个解码器将编码后的联合表示重新采样回标签概率空间。然而，在这种架构中，分支数据被视为二手数据，即这几个分支并不是完全对称的。此外，在上采样过程中，只使用主分支的指标。因此，需要选择哪个数据源是主要数据源，哪个数据源是辅助数据，这在处理这多源的方式上存在一种概念上的不平衡。后期融合与早期融合结构类似，不同的是它使用多个编码器对多源遥感信息分别进行编码，然后分别解码，并在解码之后进行不同支路的融合。该方法改善了语义标注的精度，但要求多源遥感图像属于非异构图像，模型应用存在一定的局限性，尤其源数据为光电与雷达图像时。目前多源遥感图像融合的语义标注方法主要有以下缺点和不足：1)、由于来自多源的遥感图像往往具有异构性、冗余性和互补性，现有的模型基本没有针对不同模态进行区分设计，融合策略上采用的是加权平均，算法难以达到最优。2)、多源遥感图像包括光电(如高光谱、多光谱、全色和红外等)和SAR图像，不同源的图像很难保证在全天时、全天候下同时获取(例如云雨天气光电图像获取困难)。现有的方法并没有考虑某些模态信息暂时缺失的问题，在模态信息不全情况下最终标注的效果不佳，这会降低模型的鲁棒性。3)、现有的早期融合和后期融合均是基于传统全卷积神经网络(FCN)的方法，卷积神经网络固有的特性产生的局部特征可能导致错误分类，并忽略局部特征的上下文联系。
技术实现思路
本专利技术的目的是提供一种基于自适应多模态遥感图像融合语义标注方法及系统，以提高对图像上下文信息融合标注的准确性。为实现上述目的，本专利技术提供了一种基于自适应多模态遥感图像融合语义标注方法，所述方法包括：步骤S1：获取多个模态的遥感图像；步骤S2：分别对多个模态的遥感图像进行特征提取处理，获得多个模态的输出特征图；步骤S3：对多个模态的输出特征图进行拼接，获得拼接特征图集合；步骤S4：基于拼接特征图集合，对通道随机失活处理，获得随机失活特征图集合；步骤S5：将随机失活特征图集合分别进行卷积处理，分别获得第一卷积特征图集合和第二卷积特征图集合；步骤S6：基于第一卷积特征图集合中各像素点进行全局语义标注，获得位置输出特征图集合；步骤S7：基于第二卷积特征图集合对通道维度进行通道语义标注，获得通道输出特征图集合步骤S8：将位置输出特征图集合和维度输出特征图集合进行加权融合，获得初始融合标注图像；步骤S9：将初始融合标注图像进行卷积处理，获得融合标注图像。可选地，所述步骤S4，具体包括：步骤S41：基于拼接特征图集合中的像素值对各通道进行评级，获得各通道对应的评级分数；步骤S42：根据各通道对应的评级分数计算各通道对应的概率值；步骤S43：根据M＝N×wrsratio计算通道保留数；其中，M为通道保留数，N为输入通道的总数量，wrsratio为常数；步骤S44：选择最大概率值对应的M个通道。可选地，所述步骤S6，具体包括：步骤S61：将第一卷积特征图集合分别进行卷积处理，获得第三卷积特征图集合和第四卷积特征图集合；步骤S62：对第三卷积特征图集合进行重整形和转置处理，获得第一转置特征图集合；步骤S63：对第四卷积特征图集合进行重整形处理，获得第一整形特征图集合；步骤S64：将第一转置特征图集合与第一整形特征图集合进行相乘，经过softmax层得到空间注意力图集合；步骤S65：将第一卷积特征图集合进行卷积处理，获得第五卷积特征图集合；步骤S66：将第五卷积特征图集合进行重整形处理，获得第二整形特征图集合；步骤S67：将第二整形特征图集合与空间注意力图集合进行相乘以及重整形处理，获得第三整形特征图集合；步骤S68：将第一卷积特征图集合与第三整形特征图集合进行像素级相加处理，获得位置输出特征图集合。可选地，所述步骤S7，具体包括：步骤S71：将第二卷积特征图集合进行重整形和转置处理，获得第二转置特征图集合；步骤S72：将第二卷积特征图集合进行重整形处理，获得第四整形特征图集合；步骤S73：将第二转置特征图集合和第四整形特征图集合进行相乘，经过softmax层得到通道注意力图集合；步骤S74：将第二卷积特征图集合和通道注意力图集合进行相乘以及重整形处理，获得第五整形特征图集合；步骤S75：将第二卷积特征图集合和第五整形特征图集合进行维度相加处理，获得维度输出特征图集合。本专利技术还提供一种基于自适应多模态遥感图像融合语义标注系统，所述系统包括：多个特征提取处理模块，用于分别对获取的多个模态的遥感图像进行特征提取处理，获得多个模态的输出特征图；拼接模块，用于对多个模态的输出特征图进行拼接，获得拼接特征图集合；随机失活处理模块，用于基于拼接特征图集合，对通道随机失活处理，获得随机失活特征图集合；第一卷积层，用于将随机失活特征图集合分别卷积处理，分别获得第一卷积特征图集合；第二卷积层，用于将随机失活特征图集合进行卷积处理，获得第二卷积特征图集合；位置注意力模块，用于基于第一卷积特征图集合中各像素点进行全局语义标注，获得位置输出特征图集合；通道注意力模块，用于基于第二卷积特征图集合对通道维度进行通道语义标注，获得通道输出特征图集合加权融合模块，用于将位置输出特征图集合和维度输出特征图集合进行加权融合，获得初始融合标注图像；第三卷积层，用于将初始融合标注图像进行卷积处理，获得融合标注图像。可选地，所述随机失活处理模块，具体包括：评级分数确定单元，用于基于拼接特征图集合中的像素值对各通道进行评级，获得各通道对应的评级分数；概率值确定单元，用于根据各通道对应的评级分数计算各通道对应的概率值；通道保留数确定单元，用于根据M＝N×wrsratio计算通道保留数；其中，M为通道保留数，N为输入通道的总数量，wrsratio为常数；选取单元，用于选择最大概率值对应的M个通道。可选地，所述位置注意力模块，具体包括：第一卷积处理单元，用于将第一卷积特征图集合分别进行卷积处理，获得第三卷积特征图集合和第四卷积特征图集合；第一转置处理单元，用于对第三卷积特征图集合进行重整形和转置处理，获得第一转置特征图集合；第一重整形处理单元，用于对第四卷积特征图集合进行重整形处理，获得第一整形特征图集合；第一相乘处理单元，用于将第一转置特征图集合与第一整本文档来自技高网...

【技术保护点】
1.一种基于自适应多模态遥感图像融合语义标注方法，其特征在于，所述方法包括：/n步骤S1：获取多个模态的遥感图像；/n步骤S2：分别对多个模态的遥感图像进行特征提取处理，获得多个模态的输出特征图；/n步骤S3：对多个模态的输出特征图进行拼接，获得拼接特征图集合；/n步骤S4：基于拼接特征图集合，对通道随机失活处理，获得随机失活特征图集合；/n步骤S5：将随机失活特征图集合分别进行卷积处理，分别获得第一卷积特征图集合和第二卷积特征图集合；/n步骤S6：基于第一卷积特征图集合中各像素点进行全局语义标注，获得位置输出特征图集合；/n步骤S7：基于第二卷积特征图集合对通道维度进行通道语义标注，获得通道输出特征图集合；/n步骤S8：将位置输出特征图集合和维度输出特征图集合进行加权融合，获得初始融合标注图像；/n步骤S9：将初始融合标注图像进行卷积处理，获得融合标注图像。/n

【技术特征摘要】
1.一种基于自适应多模态遥感图像融合语义标注方法，其特征在于，所述方法包括：
步骤S1：获取多个模态的遥感图像；
步骤S2：分别对多个模态的遥感图像进行特征提取处理，获得多个模态的输出特征图；
步骤S3：对多个模态的输出特征图进行拼接，获得拼接特征图集合；
步骤S4：基于拼接特征图集合，对通道随机失活处理，获得随机失活特征图集合；
步骤S5：将随机失活特征图集合分别进行卷积处理，分别获得第一卷积特征图集合和第二卷积特征图集合；
步骤S6：基于第一卷积特征图集合中各像素点进行全局语义标注，获得位置输出特征图集合；
步骤S7：基于第二卷积特征图集合对通道维度进行通道语义标注，获得通道输出特征图集合；
步骤S8：将位置输出特征图集合和维度输出特征图集合进行加权融合，获得初始融合标注图像；
步骤S9：将初始融合标注图像进行卷积处理，获得融合标注图像。


2.根据权利要求1所述的基于自适应多模态遥感图像融合语义标注方法，其特征在于，所述步骤S4，具体包括：
步骤S41：基于拼接特征图集合中的像素值对各通道进行评级，获得各通道对应的评级分数；
步骤S42：根据各通道对应的评级分数计算各通道对应的概率值；
步骤S43：根据M＝N×wrsratio计算通道保留数；其中，M为通道保留数，N为输入通道的总数量，wrsratio为常数；
步骤S44：选择最大概率值对应的M个通道。


3.根据权利要求1所述的基于自适应多模态遥感图像融合语义标注方法，其特征在于，所述步骤S6，具体包括：
步骤S61：将第一卷积特征图集合分别进行卷积处理，获得第三卷积特征图集合和第四卷积特征图集合；
步骤S62：对第三卷积特征图集合进行重整形和转置处理，获得第一转置特征图集合；
步骤S63：对第四卷积特征图集合进行重整形处理，获得第一整形特征图集合；
步骤S64：将第一转置特征图集合与第一整形特征图集合进行相乘，经过softmax层得到空间注意力图集合；
步骤S65：将第一卷积特征图集合进行卷积处理，获得第五卷积特征图集合；
步骤S66：将第五卷积特征图集合进行重整形处理，获得第二整形特征图集合；
步骤S67：将第二整形特征图集合与空间注意力图集合进行相乘以及重整形处理，获得第三整形特征图集合；
步骤S68：将第一卷积特征图集合与第三整形特征图集合进行像素级相加处理，获得位置输出特征图集合。


4.根据权利要求1所述的基于自适应多模态遥感图像融合语义标注方法，其特征在于，所述步骤S7，具体包括：
步骤S71：将第二卷积特征图集合进行重整形和转置处理，获得第二转置特征图集合；
步骤S72：将第二卷积特征图集合进行重整形处理，获得第四整形特征图集合；
步骤S73：将第二转置特征图集合和第四整形特征图集合进行相乘，经过softmax层得到通道注意力图集合；
步骤S74：将第二卷积特征图集合和通道注意力图集合进行相乘以及重整形处理，获得第五整形特征图集合；
步骤S75：将第二卷积特征图集合和第五整形特征图集合进行维度相加处理，获得维度输出特征图集合。


5.一种基于自适应多模态遥感图像融合语义标注系统，其特征在于，所述系统包括：
多个特征提取处理模块，用于分别对获取的多个模态...

【专利技术属性】
技术研发人员：刘瑜，谭大宁，丁自然，姚力波，徐从安，孙顺，姜乔文，
申请(专利权)人：中国人民解放军海军航空大学，
类型：发明
国别省市：山东;37