一种基于多形态监督文本引导的船舶检测方法及系统技术方案

本发明专利技术公开一种基于多形态监督文本引导的船舶检测方法及系统。该方法根据预测结果和人工标定结果得到标定总损失值；通过相似度损失计算模块得到每张图片的相似度损失值；根据全部目标特征图和其对应的类别文本特征图得到视觉文本总损失值；根据标定总损失值、全部张图片的相似度损失值、视觉文本总损失值反向更新原始船舶检测模型，直至得到目标船舶检测模型，以使待检测的船舶图片输入进行检测；该方法在原始船舶检测模型的主干网络中增加文本提取模块，提取语义信息，对视觉信息进行引导和监督，缓解训练集局限性问题；船舶检测模型采用船头、船身、船尾在主干网络和检测头进行监督，得到船头、船身和船尾有效特征，提高船舶检测模型检出率。

【技术实现步骤摘要】

本专利技术涉及船舶检测，具体而言，涉及一种基于多形态监督文本引导的船舶检测方法及系统。

技术介绍

1、随着运输行业快速发展，其中水运也快速发展，导致水运交通作业任务也越来越重，其中船舶检测是重要的任务之一。随着人工智能快速发展，船舶检测也实现智能化，降低人工作业的任务。目前，船舶检测已经实现智能化，但现已存在的智能船舶检测存在以下问题：

2、（1）船舶检测目标比较复杂，由于摄像头安装问题，船舶检测目标需要对船头，船尾和船身检测，目前船舶检测方法是将船头，船尾和船身分别独立学习，并没有将他们进行联系学习，导致船舶检测模型无法有效提取船舶有效特征，因此船舶检测模型因船舶不同形态检测能力也不同；

3、（2）目前船舶检测是依据视觉信息进行特征提取，缺少文本信息引导，导致船舶检测模型受到训练集中的有效特征影响，由于训练集具有局限性，导致船舶目标检测模型对船舶的检测具有局限性；

4、针对现有技术中无法将船头、船尾、船身联系学习，以及船舶检测只依据视觉信息进行特征提取具有局限性的问题，目前尚未提出有效的解决方案。</p>
...

【技术保护点】

1.一种基于多形态监督文本引导的船舶检测方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述S1包括：

3.根据权利要求2所述的方法，其特征在于：

4.根据权利要求1所述的方法，其特征在于，所述通过所述类别文本特征图对所述原始视觉特征图进行引导，得到更新视觉特征图包括：

5.根据权利要求1所述的方法，其特征在于，所述将预测结果和人工标定结果进行匹配和损失计算，得到全部正检目标和标定总损失值包括：

6.根据权利要求4所述的方法，其特征在于，所述将所述全部目标特征图通过相似度损失计算模块计算得到每张图片的相似度损...

【技术特征摘要】

1.一种基于多形态监督文本引导的船舶检测方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述s1包括：

3.根据权利要求2所述的方法，其特征在于：

4.根据权利要求1所述的方法，其特征在于，所述通过所述类别文本特征图对所述原始视觉特征图进行引导，得到更新视觉特征图包括：

5.根据权利要求1所述的方法，其特征在于，所述将预测结果和人工标定结果进行匹配和损失计算，得到...

【专利技术属性】
技术研发人员：吴显德，杨小江，俞月明，周丽芬，张红兵，王强，
申请(专利权)人：杭州华是智能设备有限公司，
类型：发明
国别省市：