一种集装箱箱号提取方法及系统技术方案

本发明专利技术提供了一种集装箱箱号提取方法及系统，属于港口自动化及图像识别技术领域。本发明专利技术的方案，一方面将畸变的集装箱箱号图像得以矫正，极大的提高了箱号识别的准确性；另一方面，通过对原始图片和裁切用矩形模板均进行变换处理且使用相同的变换矩阵，如此，裁切出集装箱箱号区域更为准确，可以进一步保障箱号识别的准确性。识别的准确性。识别的准确性。

【技术实现步骤摘要】
一种集装箱箱号提取方法及系统


[0001]本专利技术涉及港口自动化及图像识别
，具体而言，涉及一种集装箱箱号提取方法及系统。

技术介绍

[0002]对集装箱箱号进行识别，是现代港口进行自动化作业的技术基础。随着深度学习技术和计算机视觉技术的发展，基于计算机视觉的集装箱箱号检测和识别算法因其精确度高、操作方便、无需人为干预的特点被广泛应用。对于集装箱箱号的检测，需要获取集装箱箱号的外接图形（矩形或四边形）。但是，由于港口作业环境复杂，改造成本高，当前集装箱箱号检测与识别面临如下关键问题：1) 箱号位置多变，可以出现在集装箱的多个不同位置；2)集装箱箱面存在污损干扰、二次印刷问题；3)当前采样设备难以安装到最佳位置，采集图像存在畸变。
[0003]然而，当前的基于深度学习或传统方法的集装箱箱号检测技术，均仅关注于箱号识别算法本身，而没有考虑到对大角度畸变进行矫正。它们能够生成箱号的最小外接矩形或外接多边形，但是检测结果交由识别网络时，仅直接裁切矩形的箱号区域，而没有对其进行矫正变换，其拍摄时存在的畸变依然存在。因此，在大角度下进行集装箱箱号识别，现有检测技术方案存在检测易、矫正难、识别差的关键问题。

技术实现思路

[0004]为了至少解决上述
技术介绍
中存在的技术问题，本专利技术提供了一种集装箱箱号提取方法、系统、电子设备及计算机存储介质。
[0005]本专利技术的第一方面提供了一种集装箱箱号提取方法，包括如下步骤：S1，采用经训练的文字检测算法从原始图像中分割得出若干集装箱的箱号区域图像；S2，对分割出的每一个所述箱号区域图像进行连通区域提取；S3，计算每一个所述连通区域对应的多个控制点坐标；S4，对每一个所述连通区域进行宽高比重建，结合预设短边边长计算得到矩形模板；在矩形模板的上下边缘均匀取与矫正控制点个数相同的控制点对，并计算其在矫正图片中的坐标以确定出各目标点；S5，将步骤S3中获得的多个控制点作为矫正算法的控制点，以及将步骤S4中获得的各所述目标点作为所述矫正算法的目标点，根据所述控制点和所述目标点计算所述矫正算法对应的变换矩阵；S6，根据所述变换矩阵对步骤S1中的所述原始图像进行变换，得到矫正图片；S7，计算步骤S2中获得的所述连通区域的外接多边形，使用第一有序点集进行表示；以及，使用所述变换矩阵对所述第一有序点集进行变换以得到第二有序点集；S8，计算步骤S7中获得的所述第二有序点集的外接矩形；
S9，使用所述外接矩形的坐标对所述矫正图片进行裁切，得到矫正后的集装箱箱号文字图；S10，循环步骤S6
‑
S9，直至处理完所有连通区域。
[0006]进一步地，步骤S1中所述文字检测算法为DBNet++，其包含文字区域分割分支、控制点回归分支两个分支；其中，所述文字区域分割分支，用于预测文字的中心区域，生成与所述原始图像大小一致的近似二值图；所述控制点回归分支，用于对所述原始图像中的每一个像素点回归计算其到对应文字区域控制点的x方向和y方向的像素偏移值。
[0007]进一步地，步骤S2中所述对分割出的每一个所述箱号区域进行连通区域提取，包括：S21，将所述近似二值图中大于或等于第一阈值的像素设置为1，小于第一阈值的像素设置为0，以将其转换为二值图；S22，对所述二值图进行连通区域提取；S23，过滤面积小于第二阈值和连通区域内所有像素的平均数值小于第三阈值的连通区域。
[0008]进一步地，步骤S3中，所述计算每一个所述连通区域对应的多个控制点坐标，包括：S31，计算所述连通区域的重心坐标；S32，取2k张控制点回归图所述重心坐标位置的2k个值，即k个所述控制点相对于当前重心坐标在宽度和高度上的像素偏移值，其中k为偶数；S33，计算该连通区域对应的k个控制点坐标集：。
[0009]进一步地，步骤S4具体包括：S41，使用字符串长度回归网络，预测所述箱号区域图像中包含的字符数量；根据所述字符数量寻找字符数量最接近的初始矩形模板，以该初始矩形模板的宽高比作为重建宽高比；S42，计算S41中获得矩形模板的宽高比为r，将矩形模板短边设置为；通过宽高比r，计算矩形模板对应长边，得到最终的矩形模板；S43，在S42中获得的所述矩形模板上边界均匀地从左向右地取i个控制点，具体的，上边界控制点为；在S42中获得的矩形模板下边界对应位置同样取i个控制点，具体的，下边界控制点为；
将上下边界中对应控制点组成目标点对，共计k对目标点；S44，创建一个画布，并将模板的左上角角点放置在画布处,然后再计算目标点在画布中的坐标，此时，矩形模板上边界目标点为：同理，矩形模板下边界目标点为：。
[0010]进一步地，在步骤S2或S3之前，所述方法还包括：S00,若所述箱号区域图像的个数大于1，则对所述箱号区域图像进行跟踪以确定其运动状态；S01，在所述运动状态为运动时，确定各所述箱号区域图像的清晰度，根据所述清晰度确定作为基准的所述箱号区域图像，计算其它所述箱号区域图像与该作为基准的所述箱号区域图像的清晰度差值；S02，将所述清晰度差值大于第四阈值的所述箱号区域图像删除。
[0011]进一步地，所述根据所述清晰度确定作为基准的所述箱号区域图像，包括：计算所述原始图像发生像素变化时的像素变化初始值，若所述像素变化初始值大于或等于第五阈值，则将所述清晰度最高的所述箱号区域图像作为基准；若所述像素变化初始值小于第五阈值，则将所述清晰度最低的所述箱号区域图像作为基准。
[0012]本专利技术的第二方面提供了一种集装箱箱号提取系统，包括处理模块、存储模块、拍摄模块，所述处理模块分别与所述存储模块和所述拍摄模块连接；其中，所述存储模块，用于存储可执行的计算机程序代码；所述拍摄模块，用于拍摄包含集装箱箱号的原始图像并将其传输给所述处理模块；所述处理模块，用于通过调用所述存储模块中的所述可执行的计算机程序代码，执行如前任一项所述的方法。
[0013]本专利技术的第三方面提供了一种电子设备，包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，执行如前任一项所述的方法。
[0014]本专利技术的第四方面提供了一种计算机存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上任一项所述的方法。
[0015]本专利技术的方案，一方面将畸变的集装箱箱号图像得以矫正，极大的提高了箱号识别的准确性；另一方面，通过对原始图片和裁切用矩形模板均进行变换处理且使用相同的变换矩阵，如此，裁切出集装箱箱号区域更为准确，可以进一步保障箱号识别的准确性。
附图说明
[0016]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0017]图1是本专利技术实施例公开的一种集装箱箱号提取方法的流程示意图。...

【技术保护点】

【技术特征摘要】
1.一种集装箱箱号提取方法，其特征在于，包括如下步骤：S1，采用经训练的文字检测算法从原始图像中分割得出若干集装箱的箱号区域图像；S2，对分割出的每一个所述箱号区域图像进行连通区域提取；S3，计算每一个所述连通区域对应的多个控制点坐标；S4，对每一个所述连通区域进行宽高比重建，结合预设短边边长计算得到矩形模板；在矩形模板的上下边缘均匀取与矫正控制点个数相同的控制点对，并计算其在矫正图片中的坐标以确定出各目标点；S5，将步骤S3中获得的多个控制点作为矫正算法的控制点，以及将步骤S4中获得的各所述目标点作为所述矫正算法的目标点，根据所述控制点和所述目标点计算所述矫正算法对应的变换矩阵；S6，根据所述变换矩阵对步骤S1中的所述原始图像进行变换，得到矫正图片；S7，计算步骤S2中获得的所述连通区域的外接多边形，使用第一有序点集进行表示；以及，使用所述变换矩阵对所述第一有序点集进行变换以得到第二有序点集；S8，计算步骤S7中获得的所述第二有序点集的外接矩形；S9，使用所述外接矩形的坐标对所述矫正图片进行裁切，得到矫正后的集装箱箱号文字图；S10，循环步骤S6
‑
S9，直至处理完所有连通区域。2.根据权利要求1所述的一种集装箱箱号提取方法，其特征在于：步骤S1中所述文字检测算法为DBNet++，其包含文字区域分割分支、控制点回归分支两个分支；其中，所述文字区域分割分支，用于预测文字的中心区域，生成与所述原始图像大小一致的近似二值图；所述控制点回归分支，用于对所述原始图像中的每一个像素点回归计算其到对应文字区域控制点的x方向和y方向的像素偏移值。3.根据权利要求2所述的一种集装箱箱号提取方法，其特征在于：步骤S2中所述对分割出的每一个所述箱号区域进行连通区域提取，包括：S21，将所述近似二值图中大于或等于第一阈值的像素设置为1，小于第一阈值的像素设置为0，以将其转换为二值图；S22，对所述二值图进行连通区域提取；S23，过滤面积小于第二阈值和连通区域内所有像素的平均数值小于第三阈值的连通区域。4.根据权利要求1
‑
3任一项所述的一种集装箱箱号提取方法，其特征在于：步骤S3中，所述计算每一个所述连通区域对应的多个控制点坐标，包括：S31，计算所述连通区域的重心坐标；S32，取2k张控制点回归图所述重心坐标位置的2k个值，即k个所述控制点相对于当前重心坐标在宽度和高度上的像素偏移值，其中k为偶数；S33，计算该连通区域对应的k个控制点坐标集：
。5.根据权利要求4所述的一种集装箱箱号提取方法，其特征在于：步骤S4具体...

【专利技术属性】
技术研发人员：范柘，
申请(专利权)人：上海安维尔信息科技股份有限公司，
类型：发明
国别省市：