一种轻量级神经网络船舶水尺读数识别方法技术

一种轻量级神经网络船舶水尺读数识别方法，属于船舶水尺刻度检测领域及轻量级神经网络领域。1)利用轻量级神经网络结构结合特征通道激励模块作为底层特征提取单元提取拍摄的水尺图像特征；2)将步骤1)的输出特征分别输入水线分类单元和刻度检测单元；水线分类单元将特征输入降采模块，得到单通道特征输出，将得到的特征图按列划分，利用多个分类器结合结构损失学习每一列的水线位置信息；刻度检测单元将特征输入三个卷积分支，实现水尺上刻度的检测；3)水尺深度估计单元结合多任务学习的网络结果，估计水尺吃水深度。模型轻量，简单有效，能自适应提取水尺图片特征，识别准确率高，在带噪图片上有更强鲁棒性。带噪图片上有更强鲁棒性。带噪图片上有更强鲁棒性。

【技术实现步骤摘要】
一种轻量级神经网络船舶水尺读数识别方法


[0001]本专利技术属于船舶水尺刻度检测领域及轻量级神经网络领域，尤其是涉及一种轻量级神经网络船舶水尺读数识别方法。

技术介绍

[0002]随着船舶运输业的发展，船舶吃水读数是船舶计重计量的关键因素。吃水读数就是参照船舶六面水尺估计吃水深度值的过程，是国际上普遍采用的船舶重量鉴定的计重措施。吃水深度直接作为商品的交接结算、索赔处理、港口使用费和通关计税等的依据，对海运业的大宗货物运输十分重要。在实际中，吃水读数大多仍依赖人工观测。其劳动成本高、受人的主观因素影响大，而且视觉观测的精度也容易受能见度、天气等因素的干扰。并且测量过程需要有安全风险。因此实现水尺读数的自动化是需要的。
[0003]近年来，深度学习凭借其良好的表现在许多领域都已取得成功(J.Wang,L.Luo,W.Ye,and S.Zhu,“A defect
‑
detection method of split pins in the catenary fastening devices of high
‑
speed railway based on deep learning,”IEEE Transactions on Instrumentation and Measurement,vol.69,no.12,pp.9517
–
9525,2020)，尤其是其在图像特征提取方面有着显著的作用(L.Xiao,B.Wu,andY.Hu,“Missing small fastener detection using deep learning,”IEEE Transactions on Instrumentation and Measurement,vol.70,pp.1
–
9,2020)，为很多复杂条件下的视觉问题提供了新的解决思路。
[0004]基于深度学习的方法可以在手机和无人机上应用(W.Zhan,S.Hong,Y.Sun,and C.Zhu,“The system research and implementation for autorecognition of the ship draft via the uav,”International Journal of Antennas and Propagation,vol.2021,2021)。利用这些技术可以有效减小测量过程的安全风险。传统基于边缘检测的方法测量水线效果无法达到稳定及准确，且不具备鲁棒性，依赖于计算复杂的图像算法(J.L.H.Ferreira,M.R.Fernandes,C.C.dos Santos,and R.F.Vassallo,“Character recognition for automatic draught survey,”in 2018 13th IEEE International Conference on Industry Applications(INDUSCON).IEEE,2018,pp.332
–
338)。基于深度学习的方法可以从图像中获取更好的图像特征，并且具有良好的泛化能力，有利于水线的特征提取、刻度检测和最终的读数估计。目前基于深度学习的主流做法是将水线检测视作整个图像的语义分割任务，在图像中找到海以及船的位置，再提取语义边缘得到水线。对于刻度检测，现有方法通常为此另外设计一个单独的网络来识别刻度。Bingping Wang等人(B.Wang,Z.Liu,andH.Wang,“Computer vision with deep learning for ship draft reading,”Optical Engineering,vol.60,no.2,p.024105,2021)首先利用MaskRCNN从背景中分割出水面和刻度所在的区域，再分别利用Unet和Resnet在区域中提取水线和识别刻度，最后通过位置拟合的方式读取吃水深度。这种方法通常需要一些后处理方法才可以得到水线，并且多网络的结构导致网络模型的参数量过高以及计算资源的冗余，使得神经网
络边缘部署变得更为困难。

技术实现思路

[0005]本专利技术的目的在于针对现有技术中存在的上述问题，提供避免模型复杂问题、方便落地应用，也为船舶测重提供有效的指标，水线与刻度齐检测得到最终读数，简化人力操作的一种轻量级神经网络船舶水尺读数识别系统。
[0006]本专利技术的另一目的在于提供一种轻量级神经网络船舶水尺读数识别方法，简化人工观测船舶测重的流程并提供客观测重标准，针对船舶吃水图片中蕴含的水线特征及刻度特征，提供一种可以应用于嵌入式设备上的轻量级神经网络船舶吃水深度检测；本专利技术加入了有效、简单的特征通道激励模块来对深度学习模型提取特征进行加权，在底层特征提取单元提取到了更好的加权特征，辅助后续任务；共享底层特征提取单元，连接水线分类单元和刻度检测单元来完成水线及刻度检测任务；
[0007]一种轻量级神经网络船舶水尺读数识别系统，包括底层特征提取单元、水线分类单元、刻度检测单元和水尺深度估计单元；所述底层特征提取单元的输出端分别接水线分类单元、刻度检测单元的输入端，水线分类单元、刻度检测单元的输出端分别接水尺深度估计单元的输入端；
[0008]所述底层特征提取单元用于利用轻量级神经网络并结合特征通道激励模块提取经过数据增强后的图像特征；
[0009]所述水线分类单元用于将底层提取特征输入降采模块，得到单通道特征图输出，将输出的单通道特征图与水线真实值做列的分类损失，加入结构损失以得到每一列水线的位置信息；
[0010]所述刻度检测单元用于将底层征输入3个卷积分支，实现水尺上刻度位置的检测和识别；所述3个分支包括目标分支、分类分支、回归分支；
[0011]所述水尺深度估计单元用于结合水线分类单元及刻度检测单元的结果，估计水尺吃水深度。
[0012]进一步的，所述底层特征提取单元包括1个数据处理模块和1个结合特征通道激励模块的轻量级神经网络；所述数据处理模块用于在将图片进行数据增强后，对图像中的区域进行裁剪，作为网络的输入，网络采用轻量级神经网络；所述轻量级神经网络包括结合4个特征通道激励模块的2个卷积处理层。
[0013]所述降采模块用于对底层提取特征图降采样，得到单通道特征图。
[0014]一种轻量级神经网络船舶水尺读数识别方法，包括以下步骤：
[0015]1)将拍摄的水尺图像进行数据增强，底层特征提取单元利用轻量级神经网络并结合特征通道激励模块提取增强后的图像特征；
[0016]2)将步骤1)提取的特征分别输入水线分类单元和刻度检测单元，水线分类单元将特征输入降采模块进行降采，得到单通道特征图输出，将得到的特征图按列划分，利用多个分类器结合结构损失学习每一列的水线位置信息；刻度检测单元将步骤1)输出的特征进行三个分支卷积，预测刻度位置，实现水尺上刻度的检测；
[0017]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种轻量级神经网络船舶水尺读数识别系统，其特征在于包括底层特征提取单元、水线分类单元、刻度检测单元和水尺深度估计单元；所述底层特征提取单元的输出端分别接水线分类单元、刻度检测单元的输入端，水线分类单元、刻度检测单元的输出端分别接水尺深度估计单元的输入端；所述底层特征提取单元用于利用轻量级神经网络结合特征通道激励模块提取经过数据增强后的图像特征；所述水线分类单元用于将底层提取特征输入降采模块，得到单通道特征图输出，将输出的单通道特征图与水线真实值做列的分类损失，加入结构损失以得到每一列水线的位置信息；所述刻度检测单元用于将底层提取特征输入3个卷积分支，实现水尺上刻度位置的检测和识别；3个分支包括目标分支、分类分支、回归分支；所述水尺深度估计单元用于结合水线分类单元及刻度检测单元的结果，估计水尺吃水深度。2.如权利要求1所述一种轻量级神经网络船舶水尺读数识别系统，其特征在于所述底层特征提取单元包括1个数据处理模块、2个包含4个特征通道激励模块的卷积层；所述数据处理模块用于在将图片进行数据增强后，对图像中的区域进行裁剪，作为网络的输入。3.一种轻量级神经网络船舶水尺读数识别方法，其特征在于包括以下步骤：1)将拍摄的水尺图像进行数据增强，底层特征提取单元利用轻量级神经网络及特征通道激励模块提取增强后的图像特征；2)将步骤1)提取的特征分别输入水线分类单元和刻度检测单元，水线分类单元将特征输入降采模块进行降采，得到单通道特征图输出，将得到的特征图按列划分，利用多个分类器结合结构损失学习每一列的水线位置信息；刻度检测单元将步骤1)输出的特征进行三个分支卷积，预测刻度位置，实现水尺上刻度的检测；3)水尺深度估计单元结合步骤2)中水线分类单元与刻度检测单元的结果，估计水尺吃水深度。4.如权利要求3所述一种轻量级神经网络船舶水尺读数识别方法，其特征在于在步骤1)中，所述将拍摄的水尺图像进行数据增强，先在手机上拍摄船舶吃水水尺图，通过人工对水尺以及水线制作标签；在训练阶段，对采集的水尺图像采用由随机采样、模糊、对比度调整和旋转组成的数据增强方法进行数据增强；将图像输入结合特征通道激励模块的第一层卷积层，第一次提取的特征再输入结合特征通道激励模块的第二层卷积层卷积提取得到第二层特征；每个卷积层包括两个基础卷积模块，每个基础卷积模块后连接特征通道激励模块；在第一层卷积层的每个基础卷积模块后，加入一个全局平均池化，再连接全连接层
‑
ReLU激活函数层
‑
全连接层
‑
sigmoid函数层，将通道特征压缩并激励，各个通道得到0到1之间的标量，作为通道的权重，然后经过扩展特征尺寸为特征图大小，并与原来的卷积输出通道的每个通道进行加权，最终第一层卷积层得到第一层特征；在第二层卷积层的每个基础卷积模块后，加入一个全局平均池化，再连接全连接层
‑
ReLU激活函数层
‑
全连接层
‑
sigmoid函数层，将通道特征压缩并激励，各个通道得到的0到1之间的标量，作为通道的权重，然后经过扩展特征尺寸为特征图大小，并与原来的卷积输出通道的每个通道进行加权，最终卷积层得到40
×
40
×
128的特征。
5.如权利要求3所述一种轻量级神经网络船舶水尺读数识别方法，其特征在于在步骤2)中，所述水线分类单元将步骤1)中所得特征图输入2个卷积层(下采样)和一次压缩通道得到单通道特征图，依据特征图在每个预定义列上的位置信息选择正确的水线位置，将水线表示为一系列预定义列上的垂直位置；首先将输出的特征图按列划分，然后在每一列上细分出多个单元，水线的检测描述为在预定义列上选择某些单元格，单元格的中心位置视作水线的位置，进而得到该图上列中的分类结果。6.如...

【专利技术属性】
技术研发人员：余少聪，廖英豪，
申请(专利权)人：厦门大学，
类型：发明
国别省市：