【技术实现步骤摘要】
本专利技术涉及图像识别，尤其涉及一种基于本质因果推理的细粒度分类方法及系统。
技术介绍
1、目标细粒度分类是遥感图像解释的一项重要任务。在遥感分类领域，存在高光谱图像分类、图像场景分类和具有挑战性的目标细粒度分类等许多重要任务。与大类别的目标分类不同，目标细粒度分类旨在区分从属对象类别，如不同种类的船舶。该任务的特点是类间相似度高，样本多样性高。
2、由于深度卷积网络的进步，几种方法在自然图像分类领域表现良好。然而，由于光学遥感图像的图像内容丰富复杂，将这些方法转移到细粒度的遥感图像目标分类任务中具有许多挑战性。由于光学卫星的成像受到如云雾遮挡、白天和黑夜造成的光影变换、视角带来的形状变化等复杂因素，会引起类内多样性和类间相似性使分类任务复杂化，因此对特征提取的稳定性和准确性要求较高。
3、现有技术的遥感图像目标分类任务中通常采用提取图像本身的特征或者通过注意力机制提取注意力特征的方式，然而注意力特征往往会忽略浅层的特征，图像本身的特征又过于浅层，二者均不能满足遥感图像的细粒度分类任务。
技术实现思路
1、鉴于此，本专利技术的实施例提供了一种基于本质因果推理的细粒度分类方法，以消除或改善现有技术中存在的一个或更多个缺陷。
2、本专利技术的一个方面提供了一种基于本质因果推理的细粒度分类方法，所述方法的步骤包括：
3、将遥感图像输入到预设的骨干网络中，通过所述骨干网络输出本征特征张量；
4、将所述本征特征张量输入到因果多头注意
5、将所述本征特征张量和注意力特征图输入到注意力池化模块，所述注意力池化模块对所述本征特征张量和注意力特征图进行扁平化处理，基于扁平化处理后的本征特征张量和注意力特征图，得到本质特征向量；
6、将所述本质特征向量输入到预设的特征解耦合网络中，所述特征解耦合网络设置有分类器，通过所述分类器输出得到分类结果。
7、采用上述方案，现有的遥感图像的细粒度分类任务通常通过简单地使用注意力特征或本征特征，再或是简单叠加注意力特征和本征特征，进而使分类器对各种类别的目标进行识别，然而，现有的方案忽略了特征之间的关联，此外，粗略的堆叠中包含许多重复计算，使得该聚合方法效率低下，本方案采用注意力池化模块，通过双线性聚合算子和池化层巧妙地结合了注意特征和本征特征，融合了浅层和深层的特征，提高分类精准度，并具有高效性。
8、在本专利技术的一些实施方式中，所述骨干网络中设置有多个convnext网络模块，在通过所述骨干网络输出本征特征张量的步骤中，通过多个convnext网络模块作为特征提取器对所述遥感图像进行多个阶段的特征提取，得到本征特征张量。
9、采用上述方案，遥感图像中细粒度目标的分类任务的难点在于寻找两个不同类别目标的特征差异，而这些差异往往在细节处体现，本方案从多层次特征开始，通过多尺度特征应用在网络中来识别不同尺度的目标，本方案的骨干网络由自上而下的语义信息传递结构构成，使得金字塔的每一层特征都融合了高级语义信息。
10、在本专利技术的一些实施方式中，将所述本征特征张量输入到因果多头注意力模块中，通过所述因果多头注意力模块输出注意力特征图的步骤包括：
11、将所述注意力特征图和遥感图像做元素级乘法，并对生成的图像进行gap操作，得到第一注意力图，叠加所述第一注意力图各个通道的图像，得到区域特征图，将所述区域特征图输入到分类器，通过分类器输出第一特征向量；
12、随机生成随机特征图，将所述随机特征图和遥感图像做元素级乘法，并对生成的图像进行gap操作，得到第二注意力图，叠加所述第二注意力图各个通道的图像，得到局部特征图，将所述局部特征图输入到分类器，通过分类器输出第二特征向量；
13、基于所述第一特征向量和第二特征向量计算差异向量，基于所述差异向量和预设的分类标签计算损失函数，对所述因果多头注意力模块进行训练。
14、在本专利技术的一些实施方式中，在将所述注意力特征图和遥感图像做元素级乘法，并对生成的图像进行gap操作，得到第一注意力图，叠加所述第一注意力图各个通道的图像，得到区域特征图，将所述区域特征图输入到分类器，通过分类器输出第一特征向量的步骤中，根据如下公式计算第一特征向量；
15、
16、在随机生成随机特征图，将所述随机特征图和遥感图像做元素级乘法，并对生成的图像进行gap操作，得到第二注意力图，叠加所述第二注意力图各个通道的图像，得到局部特征图，将所述局部特征图输入到分类器，通过分类器输出第二特征向量的步骤中，根据如下公式计算第二特征向量：
17、
18、其中，fl-1表示遥感图像，am表示注意力特征图，表示随机特征图，⊙表示元素级乘法，表示gap操作，m表示第一注意力图或第二注意力图的通道数，m表示第一注意力图的第m个通道，γ表示分类器处理，ya表示第一特征向量，表示第二特征向量。
19、在本专利技术的一些实施方式中，所述方法的步骤还包括模型预训练，在模型预训练的步骤中，基于预设的训练数据集，将所述训练数据集中的遥感图像输入到骨干网络中，并通过所述特征解耦合网络的分类器输出分类结果，基于所述分类结果和预设的分类标签计算损失函数，基于损失函数值训练骨干网络、因果多头注意力模块、注意力池化模块和特征解耦合网络。
20、在本专利技术的一些实施方式中，将所述训练数据集中的遥感图像输入到骨干网络中，并通过所述特征解耦合网络的分类器输出分类结果的步骤还包括：
21、获取所述因果多头注意力模块基于遥感图像输出的注意力特征图；基于所述注意力特征图获取概率向量；
22、基于所述概率向量从所述注意力特征图的各个通道图中筛选得到细节特征通道图和掩膜特征通道图；
23、基于所述细节特征通道图对遥感图像进行裁剪缩放，得到细节图；
24、基于所述掩膜特征通道图对遥感图像进行掩膜处理，得到掩膜图；
25、将所述细节图和掩膜图对应的遥感图像的分类标签作为所述细节图和掩膜图的分类标签，将所述细节图和掩膜图分别输入到骨干网络中，并通过所述特征解耦合网络的分类器输出分类结果，并分别计算损失函数，训练骨干网络、因果多头注意力模块、注意力池化模块和特征解耦合网络。
26、在本专利技术的一些实施方式中，所述概率向量的维度值与所述注意力特征图的通道图一一对应，在基于所述概率向量从所述注意力特征图的各个通道图中筛选得到细节特征通道图和掩膜特征通道图的步骤中，获取所述概率向量的维度值中最大的维度值对应的通道图作为细节通道图，获取所述概率向量的维度值中最小的维度值对应的通道图作为掩膜通道图。
27、在本专利技术的一些实施方式中，基于所述细节特征通道图对遥感图像进行裁剪缩放，得到细节图的步骤包括：
28、基于预设的第一像素阈值对所述细节特征通道图进行二值化处理；
29、从所本文档来自技高网...
【技术保护点】
1.一种基于本质因果推理的细粒度分类方法，其特征在于，所述方法的步骤包括：
2.根据权利要求1所述的基于本质因果推理的细粒度分类方法，其特征在于，所述骨干网络中设置有多个ConvNeXt网络模块，在通过所述骨干网络输出本征特征张量的步骤中，通过多个ConvNeXt网络模块作为特征提取器对所述遥感图像进行多个阶段的特征提取，得到本征特征张量。
3.根据权利要求1所述的基于本质因果推理的细粒度分类方法，其特征在于，将所述本征特征张量输入到因果多头注意力模块中，通过所述因果多头注意力模块输出注意力特征图的步骤包括：
4.根据权利要求3所述的基于本质因果推理的细粒度分类方法，其特征在于，在将所述注意力特征图和遥感图像做元素级乘法，并对生成的图像进行GAP操作，得到第一注意力图，叠加所述第一注意力图各个通道的图像，得到区域特征图，将所述区域特征图输入到分类器，通过分类器输出第一特征向量的步骤中，根据如下公式计算第一特征向量；
5.根据权利要求1～4任一项所述的基于本质因果推理的细粒度分类方法，其特征在于，所述方法的步骤还包括模型预训练，在模型
6.根据权利要求5所述的基于本质因果推理的细粒度分类方法，其特征在于，将所述训练数据集中的遥感图像输入到骨干网络中，并通过所述特征解耦合网络的分类器输出分类结果的步骤还包括：
7.根据权利要求6所述的基于本质因果推理的细粒度分类方法，其特征在于，所述概率向量的维度值与所述注意力特征图的通道图一一对应，在基于所述概率向量从所述注意力特征图的各个通道图中筛选得到细节特征通道图和掩膜特征通道图的步骤中，获取所述概率向量的维度值中最大的维度值对应的通道图作为细节通道图，获取所述概率向量的维度值中最小的维度值对应的通道图作为掩膜通道图。
8.根据权利要求7所述的基于本质因果推理的细粒度分类方法，其特征在于，基于所述细节特征通道图对遥感图像进行裁剪缩放，得到细节图的步骤包括：
9.根据权利要求7所述的基于本质因果推理的细粒度分类方法，其特征在于，基于所述掩膜特征通道图对遥感图像进行掩膜处理，得到掩膜图的步骤包括：
10.一种基于本质因果推理的细粒度分类系统，其特征在于，该系统包括计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该系统实现如权利要求1～9任一项所述方法所实现的步骤。
...【技术特征摘要】
1.一种基于本质因果推理的细粒度分类方法，其特征在于，所述方法的步骤包括：
2.根据权利要求1所述的基于本质因果推理的细粒度分类方法，其特征在于，所述骨干网络中设置有多个convnext网络模块，在通过所述骨干网络输出本征特征张量的步骤中，通过多个convnext网络模块作为特征提取器对所述遥感图像进行多个阶段的特征提取，得到本征特征张量。
3.根据权利要求1所述的基于本质因果推理的细粒度分类方法，其特征在于，将所述本征特征张量输入到因果多头注意力模块中，通过所述因果多头注意力模块输出注意力特征图的步骤包括：
4.根据权利要求3所述的基于本质因果推理的细粒度分类方法，其特征在于，在将所述注意力特征图和遥感图像做元素级乘法，并对生成的图像进行gap操作，得到第一注意力图，叠加所述第一注意力图各个通道的图像，得到区域特征图，将所述区域特征图输入到分类器，通过分类器输出第一特征向量的步骤中，根据如下公式计算第一特征向量；
5.根据权利要求1～4任一项所述的基于本质因果推理的细粒度分类方法，其特征在于，所述方法的步骤还包括模型预训练，在模型预训练的步骤中，基于预设的训练数据集，将所述训练数据集中的遥感图像输入到骨干网络中，并通过所述特征解耦合网络的分类器输出分类结果，基于所述分类结果和预设的分类标签计算损失函数，基于损失函数值训练骨干网络、因...
【专利技术属性】
技术研发人员：尤亚楠，朱凯雯，易永皓，周文莉，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。