本发明专利技术公开了一种可解释性深度网络的卫星云图多标签哈希检索方法，涉及卫星云图多标签检索领域，将目标云图输入至预先训练好的可解释性深度网络得到目标哈希码；利用目标哈希码及各历史云图的哈希码进行相似度测量检索出与目标云图相似的历史云图；可解释性深度网络包括特征学习模块及哈希学习模块，特征学习模块包括全局特征学习模块及局部特征学习模块，局部特征学习模块包括注意分支网络及抑制模块，注意力分支网络提升了特征提取的有效性，抑制模块可逐步发现其他互补区域以赋予各局部特征特有语义信息，令检索具有一定可解释性，多标签监督机制引入哈希学习模块可更好描述卫星云图复杂的语义内容，提高检索效率，实现了卫星云图的精确检索。
1、云在天气系统中起着重要的作用，云类型、云相态及云高度均对天气系统的产生和发展有着重要的影响，通过对云的观察来了解天气是人们预测天气的重要手段之一；卫星图像是检测云和天气系统的有力工具，利用卫星图像可以了解不同的天气状况，评估其强度和未来发展趋势，为天气预报和灾害天气预报提供全天候的依据。
2、基于内容的检索(content-based image retrieval，cbir)作为图像检索的一个重要分支，可在数据库中搜索出与某卫星云图相似的图像。目前cbir主要采用两种方式，一种是依靠传统的特征提取方法提取云图的特征信息并据此进行检索，该特征提取方法为灰度共生矩阵法或者基于网格的内切圆法，但是卫星云图的内容复杂，各类图像之间的相似度较高，使用手工特征无法准确的揭示云图所蕴含的气象语义信息，导致相似度检索效果不佳。第二种方式是参照对遥感图像的处理方式，依靠卷积神经网络来提取图像的特征进而实现相似度检索，但是该种方式中通常是依靠单标签检索，这意味着只有最显著的标签或者说特征才会被模型学习，对于简单的场景，如森林场景，上述方式可以获得较好的检索结果，但是对于复杂场景，如针对卫星云图，上述单标签方式无法区分图像中的复杂类别，忽略了该图像中包含的丰富而复杂的信息。
>1、本专利技术解决的问题是：提供了一种可解释性深度网络的卫星云图多标签哈希检索方法，其中提取的融合特征包括了目标云图丰富的语义信息，在此基础上后续生成的目标哈希码同样包括丰富语义且具有可解释性，提高了整个可解释性深度网络的可信度，实现了卫星云图的精确检索。2、为解决上述问题，本专利技术提供了一种可解释性深度网络的卫星云图多标签哈希检索方法，包括：
3、将获取到的目标云图作为输入项输入至预先训练好的可解释性深度网络，以得到所述目标云图的目标哈希码，其中，所述可解释性深度网络包括用于生成所述目标云图的具有可解释性的融合特征的特征学习模块及用于生成所述目标哈希码的哈希学习模块，所述特征学习模块包括全局特征学习模块及局部特征学习模块，所述全局特征学习模块为用于学习表征所述目标云图的单个全局语义特征的单元，所述局部特征学习模块为用于学习所述目标云图中不同区域内的多个云类型的局部语义特征的单元，进而将所述全局特征学习模块的输出与局部特征学习模块的输出进行拼接组合后得到所述融合特征；所述局部特征学习模块包括多个局部分支，每个所述局部分支中包括注意分支网络及抑制模块，得到多个用于表述不同区域内的多个云类型的局部语义信息的局部特征，从而利用所述融合特征生成所述目标哈希码；所述哈希学习模块中引入了多标签监督机制；
4、根据所述目标哈希码及历史云图数据库中各历史云图的哈希码进行相似度测量，检索出与所述目标云图相似的历史云图。
5、本专利技术的有益效果为：本申请中提取的融合特征包括了目标云图丰富的语义信息，在此基础上后续生成的目标哈希码同样包括丰富语义且具有可解释性，提高了整个可解释性深度网络的可信度，实现了卫星云图的精确检索，为气象工作者进行下一步研究提供了极大的帮助，利于实际应用。
6、进一步的，所述可解释性深度网络中的哈希学习模块根据所述融合特征生成所述目标哈希码，包括：
7、将所述融合特征作为输入项输入至预先训练好的哈希码学习模块以得到所述融合特征对应的类哈希码；
8、根据所述类哈希码及第一预设关系式确定所述目标云图的目标哈希码；
9、所述第一预设关系式为：
10、
11、其中，d为所述类哈希码，b为所述目标哈希码。
12、本方案中，融合特征包括了丰富的语义信息，据此生成的哈希码也包括丰富的语义信息，使得可解释性深度网络具备可解释性，提高了该网络的输出结果的可信度。
13、进一步的，所述可解释性深度网络中的特征学习模块对所述目标云图的融合特征的生成步骤，包括：
14、将所述目标云图输入至骨干网络以得到深层特征图；
15、根据所述深层特征图及预设全局特征提取策略，确定表征所述目标云图的全局语义信息的全局特征；
16、基于所述深层特征图及预设局部特征提取策略，确定表征所述目标云图中不同区域下多个云类型的局部语义信息的局部特征；
17、将所述全局特征与所述局部特征进行拼接，以得到融合特征。
18、进一步的，根据所述深层特征图及预设全局特征提取策略，确定表征所述目标云图的全局语义信息的全局特征，包括：
19、对所述深层特征图进行平均池化操作；
20、将所述平均池化操作后的结果输入至全连接层进行特征降维，以得到表征所述目标云图的全局语义信息的全局特征。
21、本方案中，通过平均池化操作和全连接层的特征降维，简单准确可靠地确定了全局特征，利于后续融合特征的确定。
22、进一步的，基于所述深层特征图及预设局部特征提取策略，确定表征所述目标云图中不同区域下云类型的局部语义信息的局部特征，包括：
23、将所述深层特征图进行卷积后得到第一子图；
24、根据预设注意力策略对所述第一子图进行处理以得到表征最具区别性区域的挖掘结果的第一注意力图；
25、根据所述第一注意力图及所述第一子图生成第一局部特征图；
26、确定表征所述第一局部特征图下云类型的局部语义信息的第一局部特征，以便将所述全局特征与所述第一局部特征进行拼接，进而得到所述目标云图对应的融合特征。
27、本方案中，预设局部特征提取策略的设计保证能够挖掘出最具区别性区域，以便提取其第一局部特征添加至融合特征中，丰富了融合特征的语义。
28、进一步的，根据预设注意力策略对所述第一子图进行处理以得到表征最具区别性区域的挖掘结果的第一注意力图，包括：
29、对所述第一子图进行激活以确定其对应的激活特征图；
30、对所述激活特征图依次执行卷积操作及聚合归一化操作，并利用sigmoid激活函数对执行结果进行处理以得到第一注意力图。
31、本方案中，预设注意力策略的设计加入了注意力机制的考量，能够更关注于最具区别性的区域。
32、进一步的，根据预设注意力策略对所述第一子图进行处理以得到表征最具区别性区域的挖掘结果的第一注意力图之后，还包括：
33、s21：令o＝1；
34、s22：基于所述第一子图对应的第一注意力图及第二预设关系式确定第二像素点，以得到所述第二像素点对应的抑制图；
35、所述第二预设关系式为：
36、
37、其中，μk′为所述抑制图中的第k个第二像素点的像素值，μk为所述第一注意力图中的第k个像素点本文档来自技高网...
【技术保护点】
1.一种可解释性深度网络的卫星云图多标签哈希检索方法，其特征在于，包括：
2.如权利要求1所述的可解释性深度网络的卫星云图多标签哈希检索方法，其特征在于，所述可解释性深度网络中的哈希学习模块根据所述融合特征生成所述目标哈希码，包括：
3.如权利要求1所述的可解释性深度网络的卫星云图多标签哈希检索方法，其特征在于，所述可解释性深度网络中的特征学习模块对所述目标云图的融合特征的生成步骤，包括：
4.如权利要求3所述的可解释性深度网络的卫星云图多标签哈希检索方法，其特征在于，根据所述深层特征图及预设全局特征提取策略，确定表征所述目标云图的全局语义信息的全局特征，包括：
5.如权利要求3所述的可解释性深度网络的卫星云图多标签哈希检索方法，其特征在于，基于所述深层特征图及预设局部特征提取策略，确定表征所述目标云图中不同区域下云类型的局部语义信息的局部特征，包括：
6.如权利要求5所述的可解释性深度网络的卫星云图多标签哈希检索方法，其特征在于，根据预设注意力策略对所述第一子图进行处理以得到表征最具区别性区域的挖掘结果的第一注意力图，包括：
7.如权利要求5所述的可解释性深度网络的卫星云图多标签哈希检索方法，其特征在于，根据预设注意力策略对所述第一子图进行处理以得到表征最具区别性区域的挖掘结果的第一注意力图之后，还包括：
8.如权利要求1至7任一项所述的可解释性深度网络的卫星云图多标签哈希检索方法，其特征在于，所述可解释性深度网络基于云图训练集预先训练，所述云图训练集包括N个训练云图，各所述训练云图对应着至少一个真实图像分类标签，所有的训练云图对应的真实图像分类标签的总类别数为C个，N和C均为不小于1的整数；所述可解释性深度网络的训练步骤，包括：
...
【技术特征摘要】
1.一种可解释性深度网络的卫星云图多标签哈希检索方法，其特征在于，包括：
2.如权利要求1所述的可解释性深度网络的卫星云图多标签哈希检索方法，其特征在于，所述可解释性深度网络中的哈希学习模块根据所述融合特征生成所述目标哈希码，包括：
3.如权利要求1所述的可解释性深度网络的卫星云图多标签哈希检索方法，其特征在于，所述可解释性深度网络中的特征学习模块对所述目标云图的融合特征的生成步骤，包括：
4.如权利要求3所述的可解释性深度网络的卫星云图多标签哈希检索方法，其特征在于，根据所述深层特征图及预设全局特征提取策略，确定表征所述目标云图的全局语义信息的全局特征，包括：
5.如权利要求3所述的可解释性深度网络的卫星云图多标签哈希检索方法，其特征在于，基于所述深层特征图及预设局部特征提取策略，确定表征所述目标云图中不同区域...
【专利技术属性】
技术研发人员：金炜，蔡舟涛，
申请(专利权)人：宁波大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。