一种基于多模型融合的船舶水尺读数自动识别方法技术

本发明专利技术公开了一种基于多模型融合的船舶水尺读数自动识别方法，包括以下步骤：（1）对原始图像进行水尺区域检测；（2）从原始图像中抠取水尺局部图像；（3）对水尺局部图像进行图像处理；（4）矫正原始图像得到矫正后的原始图像；（5）抠取矫正后的水尺局部图像，刻度字符检测获得刻度字符检测结果；（6）对于刻度字符检测结果进行矫正，得到水尺刻度读数；（7）建立刻度读数模型；（8）将矫正后的原始图像进行图像分割，获得吃水线位置信息；（9）将吃水线位置信息输入刻度读数模型计算得到水尺吃水线的刻度读数；本发明专利技术能够有效解决当前船舶水尺自动读数问题，极大的提高了工作效率；且能够复用至其他有关水尺读数的应用场景中。

【技术实现步骤摘要】
一种基于多模型融合的船舶水尺读数自动识别方法
本专利技术涉及一种基于多模型融合的船舶水尺读数自动识别方法，属于船舶水尺刻度检测领域。
技术介绍
随着船舶运输业的发展，船舶六面水尺吃水数值的读取成为水尺计重计量准确性的最关键因素，原有的人工目测读数方法存在误差大、过于主观等问题；另外观测环境的不便利，增加了人工目测的成本和工作量，也增加了人员安全的风险；除了传统人工目测方法，目前已有多种方案尝试解决该问题；基于物理传感器的方法有：通过在安装双压力传感器来检测船舷吃水深度；或者通过超声波传感器发射超声波，根据超声波从水面反射回甲板所需的时间来计算吃水线的位置信息；或者直接利用激光测距传感器直接获得水面位置；上述方法都有安装困难、施工困难、精度易受环境影响等问题；因此，基于图像视频算法的自动读取水尺读数的方法及应用很有必要。图像识别方法包括三个主要模块：吃水线定位、字符识别、读数数值预估；基于传统图像识别的方法：输入水尺图像，通过图像处理的边缘检测水面线位置，利用图像二值化定位刻度数字位置，再通过模板匹配等方法进行识别，最后拟合预估水尺吃水刻度值；此类方法泛化性、鲁棒性较差，局限于部分水尺场景，易受船体锈迹、水际线等因素影响，水面线检测定位和数字识别精度都无法得到保证；近年来也有基于深度学习的相关方法被提出，利用训练深度学习网络来实现刻度字符识别和定位，利用图像分割网络来定位吃水线位置信息，二者结合利用最小二乘法等方法预估吃水线；此类方法目前存在的问题是，对整张图像进行字符定位和识别误检的误识别率较高，且字符定位的包围框不够贴合，引起较大的读数误差；另外不能很好地解决水尺在图像中有倾斜、旋转角度等情况；另外由于船体本身存在非平面内的旋转倾斜角度，刻度字符的数值和其间隔呈现非线性状态，易增加读数误差。
技术实现思路
本专利技术的目的是对于现有图像识别类方法存在的问题和缺点进行针对性的优化和解决，因此本专利技术提供了一种基于多模型融合的船舶水尺读数自动识别方法，具有灵活度高、精确度高、泛化性鲁棒性高等特点；能够有效解决当前船舶水尺自动读数问题，极大的提高了工作效率；且能够复用至其他有关水尺读数的应用场景中。为了实现上述目标，本专利技术采用如下的技术方案：一种基于多模型融合的船舶水尺读数自动识别方法，包括以下步骤：（1）对采集的原始图像进行水尺区域检测；（2）从原始图像中抠取水尺局部图像；（3）对水尺局部图像进行图像处理，获得其变化的旋转平移矩阵M；（4）原始图像经过步骤（3）获得的旋转平移矩阵M矫正，得到矫正后的原始图像；（5）根据矫正后的原始图像旋转中心位置信息和长宽数值抠取矫正后的水尺局部图像，对矫正后的水尺局部图像进行刻度字符检测，获得刻度字符检测结果，刻度字符检测结果包括刻度字符的读数信息和边界包围框；（6）对于刻度字符检测结果进行矫正，得到水尺刻度读数；（7）根据步骤（6）得到的水尺刻度读数中每个刻度读数和其对应的位置信息进行多项式拟合，获得水尺刻度读数与纵轴位置的非线性关系式，建立刻度读数模型；（8）将步骤（4）得到的矫正后的原始图像输入U-net神经网络进行图像分割，获得吃水线位置信息；（9）将吃水线位置信息输入步骤（7）建立的刻度读数模型计算得到原始图像水尺吃水线的刻度读数。作为本专利技术的进一步优选，步骤（1）和步骤（2）的具体方法是：利用YOLOv4水尺目标检测模型检测水尺目标，检测目标为水尺，根据水尺目标检测结果信息，从原始图像中抠取水尺局部图像。作为本专利技术的进一步优选，YOLOv4水尺目标检测模型的训练方法是：人工标注巡检原始图像不少于5000张，YOLOv4神经网络结构以Darknet53为主干结构，引入SPP和PANet结构加强特征提取和多尺度预测，网络输入为608*608分辨率的3通道图像数据；训练过程随机抽取20%的样本作为验证集，80%的样本作为训练集，训练平台为darknet，训练不少于200epoch；等待训练完成之后，生成相应的深度学习水尺目标检测模型，利用得到的深度学习水尺目标检测模型对未训练的原始图像进行测试，得到测试结果，并根据测试结果优化调整深度学习水尺目标检测模型，最终得到YOLOv4水尺目标检测模型。作为本专利技术的进一步优选，步骤（3）是对水尺局部图像采取边缘检测、二值化、膨胀腐蚀的图像处理算法，获得刻度字符区域的外界矩形，根据刻度字符区域的外界矩形的倾斜角度和旋转中心，计算出水尺局部图像倾斜矫正的旋转平移矩阵M。作为本专利技术的进一步优选，步骤（5）中对矫正后的水尺局部图像进行刻度字符检测的具体方法是：利用YOLOv4字符目标检测模型检测字符目标，字符目标为0到9的数字、字母M和小数点，共计12类目标，根据字符目标检测结果信息，获得刻度字符检测结果。作为本专利技术的进一步优选，YOLOv4字符目标检测模型的训练方法是：人工标注矫正后的水尺局部图像不少于5000张，YOLOv4神经网络结构以MobileNet3为主干结构，引入SPP和PANet结构加强特征提取和多尺度预测，网络输入为416*416分辨率的3通道图像数据；训练过程随机抽取10%作为测试集、15%作为验证集、75%作为训练集；训练平台为pytorch，迭代100万次以上，等待训练完成之后，生成相应的深度学习字符目标检测模型，利用得到的深度学习字符目标检测模型对未训练的矫正后的水尺局部图像进行测试，得到测试结果，并根据测试结果优化调整深度学习字符目标检测模型，最终得到YOLOv4字符目标检测模型。作为本专利技术的进一步优选，步骤（6）中对于刻度字符检测结果进行矫正包括：第一步，结合边缘检测的结果信息，对每一行刻度字符的边界包围框进行矫正，然后将每一行的刻度字符检测结果合并，同时合并每一行刻度字符的识别结果；第二步，对每一行刻度字符的识别结果进行矫正，利用水尺刻度从上到下数值大小排序的先验知识剔除异常数据和修复错误数据。作为本专利技术的进一步优选，所述第一步的具体步骤如下：比对刻度字符的边界包围框和边缘检测的结果信息；若边缘检测的边界在刻度字符的边界包围框内部，则按边缘检测的边界更新刻度字符的边界包围框结果，得到最终的刻度字符边界包围框；否则不处理，直接使用刻度字符的边界包围框作为最终的刻度字符边界包围框；从而获得更加贴合刻度字符的边界包围框；在获得每个刻度字符更加贴合的边界包围框后，将每一行的刻度字符检测结果合并，确保同一行的刻度字符共用一个大的边界包围框。作为本专利技术的进一步优选，步骤（8）所述图像分割是将图像中的船体区域分割为前景，水体区域分割为背景，前景与背景之间的分割线即为水尺的吃水线位置信息。作为本专利技术的进一步优选，计算逐帧拍摄的多个图像中船舶水尺吃水线的刻度读数，绘制每一帧图像中的船舶水尺吃水线的刻度读数结果，根据当前巡检的水位变化图，计算多个刻度读数结果的平均值，得到船舶水尺吃水线的刻度读数平均值结果。本专利技术的有益之处在于：本专利技术通本文档来自技高网...

【技术保护点】
1.一种基于多模型融合的船舶水尺读数自动识别方法，其特征在于，包括以下步骤：/n（1）对采集的原始图像进行水尺区域检测；/n（2）从原始图像中抠取水尺局部图像；/n（3）对水尺局部图像进行图像处理，获得其变化的旋转平移矩阵M；/n（4）原始图像经过步骤（3）获得的旋转平移矩阵M矫正，得到矫正后的原始图像；/n（5）根据矫正后的原始图像旋转中心位置信息和长宽数值抠取矫正后的水尺局部图像，对矫正后的水尺局部图像进行刻度字符检测，获得刻度字符检测结果，刻度字符检测结果包括刻度字符的读数信息和边界包围框；/n（6）对于刻度字符检测结果进行矫正，得到水尺刻度读数；/n（7）根据步骤（6）得到的水尺刻度读数中每个刻度读数和其对应的位置信息进行多项式拟合，获得水尺刻度读数与纵轴位置的非线性关系式，建立刻度读数模型；/n（8）将步骤（4）得到的矫正后的原始图像输入U-net神经网络进行图像分割，获得吃水线位置信息；/n（9）将吃水线位置信息输入步骤（7）建立的刻度读数模型计算得到原始图像水尺吃水线的刻度读数。/n

【技术特征摘要】
1.一种基于多模型融合的船舶水尺读数自动识别方法，其特征在于，包括以下步骤：
（1）对采集的原始图像进行水尺区域检测；
（2）从原始图像中抠取水尺局部图像；
（3）对水尺局部图像进行图像处理，获得其变化的旋转平移矩阵M；
（4）原始图像经过步骤（3）获得的旋转平移矩阵M矫正，得到矫正后的原始图像；
（5）根据矫正后的原始图像旋转中心位置信息和长宽数值抠取矫正后的水尺局部图像，对矫正后的水尺局部图像进行刻度字符检测，获得刻度字符检测结果，刻度字符检测结果包括刻度字符的读数信息和边界包围框；
（6）对于刻度字符检测结果进行矫正，得到水尺刻度读数；
（7）根据步骤（6）得到的水尺刻度读数中每个刻度读数和其对应的位置信息进行多项式拟合，获得水尺刻度读数与纵轴位置的非线性关系式，建立刻度读数模型；
（8）将步骤（4）得到的矫正后的原始图像输入U-net神经网络进行图像分割，获得吃水线位置信息；
（9）将吃水线位置信息输入步骤（7）建立的刻度读数模型计算得到原始图像水尺吃水线的刻度读数。


2.根据权利要求1所述的一种基于多模型融合的船舶水尺读数自动识别方法，其特征在于，步骤（1）和步骤（2）的具体方法是：
利用YOLOv4水尺目标检测模型检测水尺目标，检测目标为水尺，根据水尺目标检测结果信息，从原始图像中抠取水尺局部图像。


3.根据权利要求2所述的一种基于多模型融合的船舶水尺读数自动识别方法，其特征在于，YOLOv4水尺目标检测模型的训练方法是：人工标注巡检原始图像不少于5000张，YOLOv4神经网络结构以Darknet53为主干结构，引入SPP和PANet结构加强特征提取和多尺度预测，网络输入为608*608分辨率的3通道图像数据；训练过程随机抽取20%的样本作为验证集，80%的样本作为训练集，训练平台为darknet，训练不少于200epoch；等待训练完成之后，生成相应的深度学习水尺目标检测模型，利用得到的深度学习水尺目标检测模型对未训练的原始图像进行测试，得到测试结果，并根据测试结果优化调整深度学习水尺目标检测模型，最终得到YOLOv4水尺目标检测模型。


4.根据权利要求1所述的一种基于多模型融合的船舶水尺读数自动识别方法，其特征在于，步骤（3）是对水尺局部图像采取边缘检测、二值化、膨胀腐蚀的图像处理算法，获得刻度字符区域的外界矩形，根据刻度字符区域的外界矩形的倾斜角度和旋转中心，计算出水尺局部图像倾斜矫正的旋转平移矩阵M。


5.根据权利要求1所述的一种基于多模型融合的船舶水尺读数自动识别方法，其特征在于，步骤（5）中对矫正后的水尺局部图像进行刻度字符检测的具体...

【专利技术属性】
技术研发人员：田爱军，陈玮，高斌，罗伟，尹彦卿，蔡旭阳，
申请(专利权)人：中航金城无人系统有限公司，
类型：发明
国别省市：江苏;32