一种基于深度学习算法的船舶水尺图像自动读数方法技术

本发明专利技术提出一种基于深度学习算法的船舶水尺图像自动读数方法。该方法利用深度学习算法对船舶水尺图像中的数字进行识别定位，得出数字数值和在图像中的边框坐标，并对数字边框坐标进行修正；利用数字在图像中排列的规律和人眼读数原理，设计了一种基于人眼读数原理的数字组合算法；利用船体，水体图像颜色信息设计了一种识别不同船体颜色背景下水线的方法，该方法可根据不同背景选择不同的识别方法，保证水线识别的准确性和快速性；根据每行倾斜的数的位置坐标和水线的位置坐标，设计了一种长度基准和倾斜数字矫正算法，计算出水线与数字的实际像素距离，求出水线与数字像素距离占实际长度基准的百分比，得到船舶水尺图像的读数。

An automatic image reading method for ship draft based on deep learning algorithm

The invention provides an automatic image reading method for ship draft rule based on deep learning algorithm. In this method, the depth learning algorithm is used to identify and locate the numbers in the ship's water gauge image, and the numeric values and the frame coordinates in the image are obtained, and the frame coordinates are modified. A method for recognizing waterlines under different hull colors is designed by using hull and water color information. The method can select different recognition methods according to different background to ensure the accuracy and rapidity of waterline recognition. Length datum and tilt digital rectification algorithm, calculate the actual pixel distance between waterline and digital, calculate the percentage of the distance between waterline and digital pixel to the actual length datum, and get the reading of the ship scale image.

【技术实现步骤摘要】
一种基于深度学习算法的船舶水尺图像自动读数方法
本专利技术属于船舶水尺读数自动测量
，特别是涉及一种基于深度学习算法的船舶水尺图像自动读数方法。
技术介绍
水尺计重是目前海运大宗散货运用最多，最频繁的一种计量方式，主要适用于一些价值不高或不易用衡器计量的海运散装固态商品计重，如煤炭，矿石等。水尺计重是通过在装船或卸船前后两次测定船舶水尺，船上淡水，压舱水，以及燃油量，同时前后两次测定船边水的密度，然后根据排水量表，静水力曲线图表，水油舱计量表和矫正表等计算出船舶载运货物的重量。与其他计量方式相比，水尺计重的成本低，简单易操作，耗时短，但由于方法自身的原因，观测人员的技术水平，所代表的利益方不同，会存在测量的误差。由于人眼观测水尺存在主观因素，观测水尺过程中数据无法详细记录，观测点数据少，缺乏客观性，容易导致船方，港方，以及第三方之间对水尺读数产生争执。故提高船舶水尺读数的客观性，精确度，科学性一直都是水尺计重领域的难点问题。目前绝大多数的船舶水尺都是人工参与读数的，而基于图像处理算法的船舶水尺自动读数研究相对较少，基于深度学习算法的船舶水尺自动读数研究尚未有相关文献报道。船舶水尺图像中的数字由于长期浸泡在水中，腐蚀严重；船体与拖船碰撞也会在数字上留下划痕；船底部数字表面上甚至会有污泥和海草，这都使得基于图像处理算法的数字识别和定位变得很困难。另外由于船舶种类繁多，船体颜色各不相同；现场光线，船体颜色，水质浑浊度等条件纷繁复杂，水体颜色也各不相同；因此船舶水尺图像中船体与水体交界处的水线识别更加困难。除此之外，摄像机视线与船体数字表面垂线有水平方向或垂直方向较大角度时，图像中数字会产生较大畸变，这会对数字的准确识别造成影响，也会对水尺读数计算带来困难。
技术实现思路
本专利技术为了解决现有的技术问题，提出一种基于深度学习算法的船舶水尺图像自动读数方法。该方法实现了复杂情况下数字和水线图像识别定位，水尺自动读数，读数效果可靠。本专利技术的目的通过以下技术方案实现：一种基于深度学习算法的船舶水尺图像自动读数方法，包括以下步骤：步骤1、数字识别定位和位置矫正：对采集到的水尺视频取帧，对单帧水尺图像利用FasterRCNN算法对图像中的数字进行识别得到数字数值和数字的矩形边框的四个顶点坐标，对数字矩形边框设计了精确数字外边框算法得到精确数字边框四个顶点坐标；步骤2、组合同一行数字：根据步骤1中得到的船舶水尺图中所有数字数值和其边框坐标，设计基于人眼读数原理的组合数字算法组合同一行数字，并联系上下行的整米数，使同一行的单独的数字组合成一个拥有整米和分米的数；步骤3、不同船体颜色背景下水线识别：对单帧水尺图像判断水尺图像光照情况和船体背景颜色，若是红色或黑色船体情况则选择快速水线识别方法，采用RGB三通道像素前向差分得到水线坐标信息，其他情况采用FasterRCNN算法对图像中的水线识别得到水线坐标；步骤4、长度基准计算：利用步骤2中得到的船舶水尺图中每行数字数值和其边框坐标求出水线相邻行数字像素间距相对于实际长度的基准；步骤5、倾斜数字与水线间距修正：计算水线到数字的间距与相邻两个数字间距的比例，若数字是倾斜排列，修正数字与水线间距后得到水线到数字的间距与相邻两个数字间距的比例；步骤6、计算水尺读数：利用步骤5得到的水线到数字的间距与相邻两个数字间距的比例和步骤4得到的长度基准得到水线到相邻数字的长度，再利用步骤2得到的水线上最近行的数，计算出单帧图像水尺读数，重复计算视频剩余帧图像读数，计算所有帧图像水尺读数平均值即为该视频水尺读数。进一步地，所述步骤1具体为：利用FasterRCNN算法对船舶水尺图像中的数字进行识别得到数字数值和数字的矩形边框的四个顶点，即A，B，C和D；A，B，C，D分别是矩形左上，右上，右下，左下四个顶点；1)遍历矩形边框内的灰度图像素点，像素点总数为Sp，将所有像素值按升序排序，设定比例系数α，选择第α*Sp位的像素点的像素值Vp为数字像素值阈值Vt；2)遍历上边框A-B上的像素点；若A-B上像素值Vp没有大于Vt，则上边框向下移动1个像素，继续遍历新的上边框，若Vp仍没有大于Vt，上边框继续向下移动1个像素，直到上边框上像素值Vp大于Vt，记录此时新上边框的端点位置A1，B1；然后上边框连续4次向下移动1个像素，遍历检验4次边框上像素值Vp是否都存在大于Vt的像素点，若存在则A1，B1为新上边框的端点位置，若不存在，则上边框继续向下移动1个像素后遍历像素值，直到满足上述要求，此时新上边框的端点位置A1，B1；若A-B上存在像素值Vp大于Vt，则上边框向上移动1个像素，继续遍历新的上边框，若仍存在Vp大于Vt，上边框继续向上移动1个像素，直到上边框上所有像素值Vp都小于Vt，记录此时新上边框的端点位置A1，B1；3)按照2)的方式，依次矫正右边框B1-C，得到新边框B2-C1；矫正下边框C1-D，得到新边框C2-D1；矫正左边框D1-A1，得到新边框D2-A2，至此，数字边框矫正完毕，新边框的四个顶点为A2，B2，C2和D2。进一步地，所述步骤2具体为：1)计算图中所有数字的高度hi，然后计算数字的平均高度2)将所有数字按右下点竖坐标yi升序排列，设定一个比例系数β，读取第一个数字右下点竖坐标y1，将第一个数字分配序号1，读取第二个数字右下点竖坐标y2，若|y2-y1|小于则将第二个数字分配序号1，否则将第二个数字分配序号2，读取第三个数字右下点竖坐标y3，若|y3-y2|小于则将第三个数字分配为前一个数字的序号，否则将第三个数字分配为前一个数字的序号加上1后的序号，按照上述的规律将所有数字分配好序号，序号总数为j；3)从序号1开始依次读取所有同一序号的数，该序号的数的总数为i，将同一序号的数按右下点横坐标xi降序排序，将字母M视为数字0，同一行数字组合后的数值为N，同一序号的数按顺序依次为n1，n2，…，ni，则同一行数字组合后的数值为N计算公式为：将数值N和n1的坐标信息保留，记为该序号下唯一的数；4)将N1，…，Nj按序号升序排列，j为序号总数；依次读取4个数N1，N2，N3，N4，若4个数都存在十位或都不存在十位，则计算完毕；若4个数中存在一个数有十位，该数序号为k，则该4个数加上十位后的实际数值计算公式为：若序号总数不足4，则读取所有的数；若依次读取4个数后剩下的数的个数不足4个，则读取最后的4个数。进一步地，所述步骤3具体为：1)识别水尺图像光照强度，遍历图像底部，长为图像长，宽为图像宽的1/4的矩形区域像素点，求出所述矩形区域像素值的平均值大于100时，记为光线暗情况，否则记为光线亮情况；2)识别船体背景颜色，遍历图像顶部，长为图像长，宽为图像宽的1/4的矩形区域像素点，求出所述矩形区域像素值的平均值小于50时，记为黑色船体，将彩色图像分为RGB三通道图像，分别遍历三通道图像顶部，长为图像长，宽为图像宽的1/4的矩形区域像素点，求出RGB三通道所述矩形区域像素值的平均值分别为若则记为红色船体；3)将彩色图像分为RGB三通道图像，分别处理三通道图像；读取红色通道图像，按数字右下点拟合直线向下遍历线上的像素点，记录这一列像素值Vp1,，…，Vpn；设计一大小为20×1的中本文档来自技高网...

【技术保护点】
1.一种基于深度学习算法的船舶水尺图像自动读数方法，其特征在于,包括以下步骤：步骤1、数字识别定位和位置矫正：对采集到的水尺视频取帧，对单帧水尺图像利用FasterRCNN算法对图像中的数字进行识别得到数字数值和数字的矩形边框的四个顶点坐标，对数字矩形边框设计了精确数字外边框算法得到精确数字边框四个顶点坐标；步骤2、组合同一行数字：根据步骤1中得到的船舶水尺图中所有数字数值和其边框坐标，设计基于人眼读数原理的组合数字算法组合同一行数字，并联系上下行的整米数，使同一行的单独的数字组合成一个拥有整米和分米的数；步骤3、不同船体颜色背景下水线识别：对单帧水尺图像判断水尺图像光照情况和船体背景颜色，若是红色或黑色船体情况则选择快速水线识别方法，采用RGB三通道像素前向差分得到水线坐标信息，其他情况采用FasterRCNN算法对图像中的水线识别得到水线坐标；步骤4、长度基准计算：利用步骤2中得到的船舶水尺图中每行数字数值和其边框坐标求出水线相邻行数字像素间距相对于实际长度的基准；步骤5、倾斜数字与水线间距修正：计算水线到数字的间距与相邻两个数字间距的比例，若数字是倾斜排列，修正数字与水线间距后得到水线到数字的间距与相邻两个数字间距的比例；步骤6、计算水尺读数：利用步骤5得到的水线到数字的间距与相邻两个数字间距的比例和步骤4得到的长度基准得到水线到相邻数字的长度，再利用步骤2得到的水线上最近行的数，计算出单帧图像水尺读数，重复计算视频剩余帧图像读数，计算所有帧图像水尺读数平均值即为该视频水尺读数。...

【技术特征摘要】
1.一种基于深度学习算法的船舶水尺图像自动读数方法，其特征在于,包括以下步骤：步骤1、数字识别定位和位置矫正：对采集到的水尺视频取帧，对单帧水尺图像利用FasterRCNN算法对图像中的数字进行识别得到数字数值和数字的矩形边框的四个顶点坐标，对数字矩形边框设计了精确数字外边框算法得到精确数字边框四个顶点坐标；步骤2、组合同一行数字：根据步骤1中得到的船舶水尺图中所有数字数值和其边框坐标，设计基于人眼读数原理的组合数字算法组合同一行数字，并联系上下行的整米数，使同一行的单独的数字组合成一个拥有整米和分米的数；步骤3、不同船体颜色背景下水线识别：对单帧水尺图像判断水尺图像光照情况和船体背景颜色，若是红色或黑色船体情况则选择快速水线识别方法，采用RGB三通道像素前向差分得到水线坐标信息，其他情况采用FasterRCNN算法对图像中的水线识别得到水线坐标；步骤4、长度基准计算：利用步骤2中得到的船舶水尺图中每行数字数值和其边框坐标求出水线相邻行数字像素间距相对于实际长度的基准；步骤5、倾斜数字与水线间距修正：计算水线到数字的间距与相邻两个数字间距的比例，若数字是倾斜排列，修正数字与水线间距后得到水线到数字的间距与相邻两个数字间距的比例；步骤6、计算水尺读数：利用步骤5得到的水线到数字的间距与相邻两个数字间距的比例和步骤4得到的长度基准得到水线到相邻数字的长度，再利用步骤2得到的水线上最近行的数，计算出单帧图像水尺读数，重复计算视频剩余帧图像读数，计算所有帧图像水尺读数平均值即为该视频水尺读数。2.根据权利要求1所述的方法，其特征在于，所述步骤1具体为：利用FasterRCNN算法对船舶水尺图像中的数字进行识别得到数字数值和数字的矩形边框的四个顶点，即A，B，C和D；A，B，C，D分别是矩形左上，右上，右下，左下四个顶点；1)遍历矩形边框内的灰度图像素点，像素点总数为Sp，将所有像素值按升序排序，设定比例系数α，选择第α*Sp位的像素点的像素值Vp为数字像素值阈值Vt；2)遍历上边框A-B上的像素点；若A-B上像素值Vp没有大于Vt，则上边框向下移动1个像素，继续遍历新的上边框，若Vp仍没有大于Vt，上边框继续向下移动1个像素，直到上边框上像素值Vp大于Vt，记录此时新上边框的端点位置A1，B1；然后上边框连续4次向下移动1个像素，遍历检验4次边框上像素值Vp是否都存在大于Vt的像素点，若存在则A1，B1为新上边框的端点位置，若不存在，则上边框继续向下移动1个像素后遍历像素值，直到满足上述要求，此时新上边框的端点位置A1，B1；若A-B上存在像素值Vp大于Vt，则上边框向上移动1个像素，继续遍历新的上边框，若仍存在Vp大于Vt，上边框继续向上移动1个像素，直到上边框上所有像素值Vp都小于Vt，记录此时新上边框的端点位置A1，B1；3)按照2)的方式，依次矫正右边框B1-C，得到新边框B2-C1；矫正下边框C1-D，得到新边框C2-D1；矫正左边框D1-A1，得到新边框D2-A2，至此，数字边框矫正完毕，新边框的四个顶点为A2，B2，C2和D2。3.根据权利要求2所述的方法，其特征在于，所述步骤2具体为：1)计算图中所有数字的高度hi，然后计算数字的平均高度2)将所有数字按右下点竖坐标yi升序排列，设定一个比例系数β，读取第一个数字右下点竖坐标y1，将第一个数字分配序号1，读取第二个数字右下点竖坐标y2，若|y2-y1|小于则将第二个数字分配序号1，否则将第二个数字分配序号2，读取第三个数字右下点竖坐标y3，若|y3-y2|小于则将第三个数字分配为前一个数字的序号，否则将第三个数字分配为前一个数字的序号加上1后的序号，按照上述的规律将所有数字分配好序号，序号总数为j；3)从序号1开始依次读取所有同一序号的数，该序号的数的总数为i，将同一序号的数按右下点横坐标xi降序排序，将字母M视为数字0，同一行数字组合后的数值为N，同一序号的数按顺序依次为n1，n2，…，ni，则同一行数字组合后的数值为N计算公式为：将数值N和n1的坐标信息保留，记为该序号下唯一的数；4)将N1，…，Nj按序号升序排列，j为序号总数；依次读取4个数N1，N2，N3，N4，若4个数都存在十位或都不存在十位，则计算完毕；若4个数中存在一个数有十位，该数序号为k，则该4个数加上十位后的实际数值计算公式为：若序号总数不足4，则读取所有的数；若依次读取4个数后剩下的数的个数不足4个，则读取...

【专利技术属性】
技术研发人员：朱齐丹，吕晓龙，吴禹辰，游锦成，
申请(专利权)人：哈尔滨哈船智控科技有限责任公司，
类型：发明
国别省市：黑龙江,23