船舶重识别方法、装置、电子设备和存储介质制造方法及图纸

本发明专利技术提供一种船舶重识别方法、装置、电子设备和存储介质，其中方法包括：确定待识别的船舶图像，以及船舶图像对应的船舶属性信息；将船舶图像和船舶属性信息输入至船舶重识别模型中，得到船舶重识别模型输出的所述船舶图像对应的船舶类别；船舶重识别模型基于样本船舶图像、样本船舶图像的船舶属性信息和样本船舶类别训练得到，通过嵌入船舶属性信息，可以使得船舶重识别模型在重识别任务中能够更加准确的捕捉船舶的特征，从而使得据此进行船舶重识别得到的船舶类别的准确率更高，克服了传统方案中跨镜头的船舶重识别精度低下的缺陷，通过多源信息的相互融合，保证了编码所得的特征向量的准确度，实现了船舶重识别精确度和准确率的显著提升。和准确率的显著提升。和准确率的显著提升。

【技术实现步骤摘要】
船舶重识别方法、装置、电子设备和存储介质


[0001]本专利技术涉及图像处理
，尤其涉及一种船舶重识别方法、装置、电子设备和存储介质。

技术介绍

[0002]近年来，随着海洋经济、海洋运输和海事管理的快速发展，海上贸易交通愈发频繁。同时，海洋经济的繁荣也使得海上航线船舶数量不断增加，这给海洋综合监测、海事维权监管等带来了极大的困难。因此，针对海洋的全方位观测，尤其是海洋船舶的身份确知已迫在眉睫。
[0003]目前，针对海上航线船舶的识别主要通过海上监控视频实现，而海量的海上监控视频又依赖于人工分析，或是在人工分析的基础上，结合简单的智能方法对视频进行处理，然而，这一过程不仅需要耗费大量人力和物力，还存在因疲劳等因素导致的大量错检漏检。
[0004]为缓解这一问题，当下提出了自动分析海上视频监控的相关算法，然而，将目前热门的相关算法应用于船舶重识别领域时，由于环境和对象的改变，识别效果会大打折扣，因此，如何提升船舶重识别的准确率成为了海洋场景全自动监测中亟待解决的问题。

技术实现思路

[0005]本专利技术提供一种船舶重识别方法、装置、电子设备和存储介质，用以解决现有技术中跨镜头的船舶重识别精度低下的缺陷，实现了船舶重识别精确度和准确率的显著提升。
[0006]本专利技术提供一种船舶重识别方法，包括：
[0007]确定待识别的船舶图像，以及所述船舶图像对应的船舶属性信息；
[0008]将所述船舶图像和所述船舶属性信息输入至船舶重识别模型中，得到所述船舶重识别模型输出的所述船舶图像对应的船舶类别；
[0009]所述船舶重识别模型基于样本船舶图像、所述样本船舶图像的船舶属性信息和样本船舶类别训练得到。
[0010]根据本专利技术提供的一种船舶重识别方法，所述船舶重识别模型基于如下步骤训练：
[0011]获取船舶图像集，所述船舶图像集中各样本船舶图像对应有船舶标识码和船舶属性信息，同一船舶标识码下各样本船舶图像对应的样本船舶类别相同；
[0012]基于初始船舶重识别模型，确定任一样本船舶图像对应的船舶属性信息的属性特征向量，以及所述任一样本船舶图像的各样本图块的图块特征向量，并对各图块特征向量和所述属性特征向量进行融合，基于融合所得的样本船舶特征向量进行船舶重识别，得到所述任一样本船舶图像对应的预测船舶类别；
[0013]基于所述各样本船舶图像对应的预测船舶类别和样本船舶类别，对所述初始船舶重识别模型进行参数迭代，得到船舶重识别模型。
[0014]根据本专利技术提供的一种船舶重识别方法，所述基于初始船舶重识别模型，确定任
一样本船舶图像对应的船舶属性信息的属性特征向量，以及所述任一样本船舶图像的各样本图块的图块特征向量，并对各图块特征向量和所述属性特征向量进行融合，包括：
[0015]基于所述船舶图像集，构建所述各样本船舶图像的样本三元组，所述样本三元组中包括对应样本船舶图像及其正样本和负样本，所述正样本和对应样本船舶图像对应的样本船舶类别相同，所述负样本和对应样本船舶图像对应的样本船舶类别不同；
[0016]基于初始船舶重识别模型，确定所述任一样本船舶图像的样本三元组中所述任一样本船舶图像及其正样本和负样本各自的各样本图块的图块特征向量，以及所述任一样本船舶图像的样本三元组对应的各船舶属性信息的属性特征向量，对各图块特征向量和对应的属性特征向量进行融合，得到所述任一样本船舶图像的样本三元组的样本船舶特征向量、正样本船舶特征向量和负样本船舶特征向量；
[0017]所述基于所述各样本船舶图像对应的预测船舶类别和样本船舶类别，对所述初始船舶重识别模型进行参数迭代，得到船舶重识别模型，包括：
[0018]基于各样本三元组中样本船舶特征向量与正样本船舶特征向量之间的相似度，以及所述各样本三元组中样本船舶特征向量与负样本船舶特征向量之间的相似度，确定对比损失；
[0019]基于所述各样本三元组中样本船舶图像对应的预测船舶类别和样本船舶类别，确定预测损失；
[0020]基于所述对比损失和所述预测损失，对所述初始船舶重识别模型进行参数迭代，得到船舶重识别模型。
[0021]根据本专利技术提供的一种船舶重识别方法，所述船舶图像集还包括测试图像集，所述测试图像集包括查询图像集和参考图像集，所述查询图像集和所述参考图像集中各查询船舶图像和各参考船舶图像均对应有船舶属性信息；
[0022]所述基于所述各样本船舶图像对应的预测船舶类别和样本船舶类别，对所述初始船舶重识别模型进行参数迭代，得到船舶重识别模型，之后还包括：
[0023]基于所述船舶重识别模型、所述各查询船舶图像的船舶属性信息，以及所述各参考船舶图像的船舶属性信息，确定所述各查询船舶图像的查询船舶特征向量，以及所述各参考船舶图像的参考船舶特征向量；
[0024]基于任一查询船舶图像的查询船舶特征向量与各参考船舶特征向量之间的相似度，确定所述任一查询船舶图像对应的目标参考船舶图像，并基于所述各查询船舶图像及其对应的目标参考船舶图像，确定测试结果；
[0025]所述目标参考船舶图像为按照相似度从大到小或从小到大的顺序排列时，头部或尾部的预设数量的参考船舶图像。
[0026]根据本专利技术提供的一种船舶重识别方法，所述船舶属性信息包括船舶颜色、船舶类型、船舶视点中的至少一种；
[0027]所述初始船舶重识别模型以基于Swin Transformer的深度神经网络为主干网络，且以属性嵌入网络为辅助网络，所述基于Swin Transformer的深度神经网络是在PyTorch 1.7深度学习框架的基础上搭建的，所述属性嵌入网络用于对所述任一样本船舶图像对应的船舶属性信息进行编码，得到所述任一样本船舶图像的属性特征向量。
[0028]根据本专利技术提供的一种船舶重识别方法，所述获取船舶图像集，包括：
[0029]获取初始图像集，所述初始图像集中包括多个初始船舶图像，各初始船舶图像对应有船舶标识码和船舶属性信息，且各初始船舶图像基于船舶标识码进行分类；
[0030]对所述各初始船舶图像进行船舶检测，得到所述各初始船舶图像中的船舶区域，将各船舶区域作为样本船舶图像，构建船舶图像集。
[0031]根据本专利技术提供的一种船舶重识别方法，所述样本船舶特征向量基于如下公式确定：
[0032][0033]其中，表示样本船舶特征向量，Z0表示对应样本船舶图像的各样本图块的图块特征向量，S
v
、S
c
和S
t
分别表示对应样本船舶图像的船舶属性信息中船舶视点V、船舶颜色C和船舶类型T对应的属性特征向量，λ1、λ2和λ3则分别为S
v
、S
c
和S
t
的权值系数。
[0034]本专利技术还提供一种船舶重识别装置，包括：
[0035]确定单元，用于确定待识别的船舶图像，以及所述船舶图像对应的船舶属性信息；
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种船舶重识别方法，其特征在于，包括：确定待识别的船舶图像，以及所述船舶图像对应的船舶属性信息；将所述船舶图像和所述船舶属性信息输入至船舶重识别模型中，得到所述船舶重识别模型输出的所述船舶图像对应的船舶类别；所述船舶重识别模型基于样本船舶图像、所述样本船舶图像的船舶属性信息和样本船舶类别训练得到。2.根据权利要求1所述的船舶重识别方法，其特征在于，所述船舶重识别模型基于如下步骤训练：获取船舶图像集，所述船舶图像集中各样本船舶图像对应有船舶标识码和船舶属性信息，同一船舶标识码下各样本船舶图像对应的样本船舶类别相同；基于初始船舶重识别模型，确定任一样本船舶图像对应的船舶属性信息的属性特征向量，以及所述任一样本船舶图像的各样本图块的图块特征向量，并对各图块特征向量和所述属性特征向量进行融合，基于融合所得的样本船舶特征向量进行船舶重识别，得到所述任一样本船舶图像对应的预测船舶类别；基于所述各样本船舶图像对应的预测船舶类别和样本船舶类别，对所述初始船舶重识别模型进行参数迭代，得到船舶重识别模型。3.根据权利要求2所述的船舶重识别方法，其特征在于，所述基于初始船舶重识别模型，确定任一样本船舶图像对应的船舶属性信息的属性特征向量，以及所述任一样本船舶图像的各样本图块的图块特征向量，并对各图块特征向量和所述属性特征向量进行融合，包括：基于所述船舶图像集，构建所述各样本船舶图像的样本三元组，所述样本三元组中包括对应样本船舶图像及其正样本和负样本，所述正样本和对应样本船舶图像对应的样本船舶类别相同，所述负样本和对应样本船舶图像对应的样本船舶类别不同；基于初始船舶重识别模型，确定所述任一样本船舶图像的样本三元组中所述任一样本船舶图像及其正样本和负样本各自的各样本图块的图块特征向量，以及所述任一样本船舶图像的样本三元组对应的各船舶属性信息的属性特征向量，对各图块特征向量和对应的属性特征向量进行融合，得到所述任一样本船舶图像的样本三元组的样本船舶特征向量、正样本船舶特征向量和负样本船舶特征向量；所述基于所述各样本船舶图像对应的预测船舶类别和样本船舶类别，对所述初始船舶重识别模型进行参数迭代，得到船舶重识别模型，包括：基于各样本三元组中样本船舶特征向量与正样本船舶特征向量之间的相似度，以及所述各样本三元组中样本船舶特征向量与负样本船舶特征向量之间的相似度，确定对比损失；基于所述各样本三元组中样本船舶图像对应的预测船舶类别和样本船舶类别，确定预测损失；基于所述对比损失和所述预测损失，对所述初始船舶重识别模型进行参数迭代，得到船舶重识别模型。4.根据权利要求2或3所述的船舶重识别方法，其特征在于，所述船舶图像集还包括测试图像集，所述测试图像集包括查询图像集和参考图像集，所述查询图像集和所述参考图
像集中各查询船舶图像和各参考船舶图像均对应有船舶属性信息；所述基于所述各样本船舶图像对应的预测船舶类别和样本船舶类别，对所述初始船舶重识别模型进行参数迭...

【专利技术属性】
技术研发人员：鹿智，孙立国，吕品，郝久武，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：