【技术实现步骤摘要】
本专利技术涉及水下机器视觉，尤其涉及一种红外偏振成像数据的水下目标细粒度分类方法。
技术介绍
1、由于在视觉
中使用偏振图像能有效规避水下光的散射对图像质量的影响。因此，利用偏振图像进行海洋鱼分类在海洋探索、开发、渔业生产、管理及人机交互得到了广泛的推广。然而，海洋具有世界上最丰富的生物类别，而目标检测网络的分类头的计算量随着分类类别数指数增长。这导致具有鉴别丰富类别能力的目标检测网络难以部署在计算能力有限的处理设备上。以海洋中的鱼类作为例子，同一种类的鱼在不同角度拍摄的图像和不同的生长阶段中可能呈现不同的外观，而不同种类的鱼可能表现出极其相似的物理特征，所以有效地学习类内特征和类间差距需要精密的模型结构和大量的计算资源。epinephelinae石斑鱼类由于拍摄视角和光照条件的不同，在图像中可以展示了不同的色彩和特征。另一方面，同一种类下的生物种类十分丰富，导致一些种类的生物性状和颜色非常接近，难以区分。比如迷你三角灯和正三角灯，他们同属于三角波鱼科，外貌非常相似。此外，海洋生物图像数据来源广泛，大量数据拍摄于不同的场景，地点，年代，一些数据来自于实验室的标本，一些数据来自于互联网上收集的图片，各种各样的拍摄条件导致数据的标准很难统一。因此，对水下目标进行准确的分类对于本领域技术人员来说仍是一项艰巨的任务。
2、基于此，本领域技术人员亟需提供能够解决如何对水下目标进行准确的分类的技术。
技术实现思路
1、有鉴于此，本专利技术提供了一种红外偏振成像数据的水下目标细
2、为了达到上述目的，本专利技术采用如下技术方案：
3、一种红外偏振成像数据的水下目标细粒度分类方法，包括以下步骤：
4、基于偏振相机获取的水下红外偏振图像构建水下基准数据集；
5、利用交叠的滑动窗口对所述水下基准数据集中的所述红外偏振图像进行划分并编码，得到编码结果；
6、将所述编码结果输入预训练视觉transformer变换器编码器的共l层transformer变换器层中，得到多层级的视觉特征和多层级的注意力图；
7、利用第1至l-1层每一层级的所述注意力图对自注意动态加权得到多层级动态注意力权重，并进行特征选择，得到特征组1；利用第1至l-1层每一层级的所述注意力图对每一层级的特征进行前k个选择，得到多层级优化特征组2；
8、将所述特征组1和所述特征组2输入所述视觉transformer变换器编码器的第l层transformer变换器层中，利用类别序列通过全连接层计算最终的类别。
9、优选的，利用交叠的滑动窗口对所述水下基准数据集中的所述红外偏振图像进行划分并编码，得到编码结果，具体包括：
10、利用大小为s的滑动窗口将分辨率大小为（h，w）的图像分割成n个（p，p）大小的块；s为滑动窗口步长，h为水平像素数，w为垂直像素数，p为块的长或宽；
11、利用全连接层对所述块进行映射提高所述块的空间维度；
12、引入位置编码，将所述位置编码与映射后的所述块直接相加，为输入数据添加位置信息，并添加一个类别序列，用于最后的分类。
13、优选的，利用第1至l-1层每一层级的所述注意力图对自注意动态加权得到多层级动态注意力权重，并进行特征选择，得到特征组1，具体包括：
14、将第1至l-1层的多头注意力相乘进行信息汇总；
15、对信息汇总结果进行通道维度进行自注意力加权，得到最终的多层注意力权重图；
16、利用汇总后的多层注意力权重图对l-1层所述注意力权重图的token序列块进行筛选，对m头注意力取最大值，得到m头索引值，根据所述索引值进行序列选择，得到所述特征组1。
17、优选的，利用第1至l-1层每一层级的所述注意力图对每一层级的特征进行前k个选择，得到多层级优化特征组2，具体包括：
18、利用第1至l-1层每一层级的所述注意力图，对第1至l-1每层m头所述注意力的结果相乘进行汇总，然后对所述信息汇总结果取前k个最大值，得到k个索引值，根据索引值进行序列选择，选择第1至l-1每一层的特征，并将所有特征进行汇总，得到多层级优化所述特征组2。
19、优选的，将所述特征组1和所述特征组2输入所述视觉transformer变换器编码器的第l层transformer变换器层中，利用类别序列通过全连接层计算最终的类别，具体包括：
20、将所述特征组1和所述特征组2在通道维度上进行拼接，得到拼接结果；
21、将所述拼接结果传入到第l层所述transformer变换器层中进行特征提取，并将输出的所述类别序列作为全局信息，通过所述全连接层进行细粒度分类。
22、优选的，n的表达式为：
23、。
24、优选的，还包括，对所述全连接层的输出使用交叉熵损失函数和对比损失函数进行约束。
25、经由上述的技术方案可知，与现有技术相比，本专利技术公开提供了一种红外偏振成像数据的水下目标细粒度分类方法，对目标图像进行特征提取，过滤掉无用的干扰背景特征，集中在区别特征上，为水下其他视觉应用，如水下的目标检测、识别、跟踪和分类等，提供良好的视觉表达，能够有效提升上述应用的准确率。
本文档来自技高网...【技术保护点】
1.一种红外偏振成像数据的水下目标细粒度分类方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种红外偏振成像数据的水下目标细粒度分类方法，其特征在于，利用交叠的滑动窗口对所述水下基准数据集中的所述红外偏振图像进行划分并编码，得到编码结果，具体包括：
3.根据权利要求1所述的一种红外偏振成像数据的水下目标细粒度分类方法，其特征在于，利用第1至L-1层每一层级的所述注意力图对自注意动态加权得到多层级动态注意力权重，并进行特征选择，得到特征组1，具体包括：
4.根据权利要求3所述的一种红外偏振成像数据的水下目标细粒度分类方法，其特征在于，利用第1至L-1层每一层级的所述注意力图对每一层级的特征进行前k个选择，得到多层级优化特征组2，具体包括：
5.根据权利要求3所述的一种红外偏振成像数据的水下目标细粒度分类方法，其特征在于，将所述特征组1和所述特征组2输入所述视觉Transformer变换器编码器的第L层Transformer变换器层中，利用类别序列通过全连接层计算最终的类别，具体包括：
6.根据权利要求2所述的一种
7.根据权利要求1所述的一种红外偏振成像数据的水下目标细粒度分类方法，其特征在于，还包括，对所述全连接层的输出使用交叉熵损失函数和对比损失函数进行约束。
...【技术特征摘要】
1.一种红外偏振成像数据的水下目标细粒度分类方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种红外偏振成像数据的水下目标细粒度分类方法，其特征在于，利用交叠的滑动窗口对所述水下基准数据集中的所述红外偏振图像进行划分并编码，得到编码结果，具体包括：
3.根据权利要求1所述的一种红外偏振成像数据的水下目标细粒度分类方法，其特征在于，利用第1至l-1层每一层级的所述注意力图对自注意动态加权得到多层级动态注意力权重，并进行特征选择，得到特征组1，具体包括：
4.根据权利要求3所述的一种红外偏振成像数据的水下目标细粒度分类方法，其特征在于，利用第1至l-1层每一层级的所...
【专利技术属性】
技术研发人员：姜宇，张永霁，魏枫林，赵明浩，齐红，王跃航，郭千仞，
申请(专利权)人：吉林大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。