一种基于颜色定位和字符分割的集装箱箱号定位方法技术

本发明专利技术是一种公开的图像处理技术领域的结合传统图像处理和深度神经网络的基于颜色粗定位及神经网络精确定位的集装箱箱号定位方法，其包括有以下步骤：S1、获取集装箱后侧的RGB图像；S2、图像预处理；S3、通过颜色信息筛选得到对集装箱箱号的粗定位，获取装箱箱号的粗略位置，并输出第一图像集；S4、通过对包含箱号的第一图像集输入到训练好的字符分割神经网络模型，得到箱号字符分割的图片集。S5、基于箱号的位置信息，形状特征，如长宽比，宽度，高度及箱号的四位字母，六位数字，一位校验码的位置关系定位箱号位置或通过识别获取文本信息，将获取到的文字信息进行筛选得到准确的集装箱箱号位置。本发明专利技术运用颜色信息做初步定位，利用字符分割模型做精细定位，通过最后的筛选获得箱号精准位置，能够准确、快速、自适应地定位各种集装箱箱号。

A method of container number location based on color location and character segmentation

【技术实现步骤摘要】
一种基于颜色定位和字符分割的集装箱箱号定位方法
本专利技术涉及一种图像处理技术，具体涉及一种基于颜色定位和字符分割的集装箱箱号定位方法，适用于集装箱箱号智能识别系统的箱号定位与提取。
技术介绍
集装箱箱号作为每个集装箱的识别码，能够方便对集装箱的管理和分配。而现阶段多数的码头，港口，海关和仓库都使用操作员去记录这些箱号，然后输入到电脑中，这不仅浪费了大量时间与人力而且也会由于操作员的各种疏忽导致记录错误。集装箱箱号自动识别也越来越受到人们的重视。对于集装箱的箱号识别通常分为集装箱图片的预处理、集装箱箱号区域定位、集装箱箱号字符识别等环节。其中集装箱箱号定位处于中间重要阶段。目前集装箱箱号定位容易受到堆场等地其他集装箱或者自然环境影响，导致箱号定位错误或者定位偏差。而箱号定位一旦出现问题后续步骤识别也难以实现，出现识别失败或者识别错误的情况。在现有技术中，由于深度学习在自然环境下文字检测技术取得重大突破。使用较好的文本检测深度神经网络在全图范围搜索检测文本区域，也能起到对图片中的文字进行提取的作用，其中就包含了箱号文本信息。但这样会严重加长运行时间，使检测效率大大降低，并且在较小文本的定位效果会变差，出现小文本检测不到以及定位不准确的情况。因此有使用用户交互的方式进行手动粗定位的方式，这种方案仍然存在效率低、非全自动化的特点。有人提出基于目标检测的深度神经网络的粗定位，将粗定位文字区域视为目标检测的任务，手动标准粗定位样本，训练一个粗定位网络，再对粗定位结果使用精确文本定位网络进行检测。这样相当于多了一个用于粗定位的深度网络框架，也会影响运行效率。所以有研究指出使用传统图像处理的方法，基于形态学快速粗定位。对采集的集装箱图像进行预处理得到二值化图像，运用数学形态学的方法将集装箱二值图像分割为多个独立的连通区域；根据集装箱箱号区域面积的变化范围，去除较小的区域与较大的区域，标记剩下的区域；根据箱号区域的形状特性对箱号快速定位。这种方法仅通过大小等基本特征，在集装箱尾部多文字，多干扰的情况下无法适用。深度神经网络文字精确定位的效果远优于传统的方法，但基于神经网络模型的算法在全图中的效率和准确度不如在目标文字区域，现有的集装箱箱号文字目标区域初定位算法有使用交互的方式缺乏自动化效果、也有使用把文字识别当做目标检测的神经网络算法，能起到较好的效果，但网络模型会使整体运算量加大，效率降低、还有使用传统图像处理的快速定位算法，有基于形态学的初定位方法，但该算法不适于在箱尾较复杂的文字区域，存在噪声的情况下。
技术实现思路
本专利技术针对以上现有技术的缺点，提出一个快速高精度的基于颜色的集装箱箱号识别系统，来解决深度学习网络在全局定位箱号文字信息低效率，高误检率的问题。使用图像颜色加梯度信息对文字区域进行快速鲁棒的粗定位，得到包含目标文字区域的一个较小的图像感兴趣区域。再将该粗定位的结果送入一个针对集装箱环境和箱号文字优化训练的深度文本检测网络进行文字识别。使用这种由粗到精的文本定位算法框架，加快深度网络对文字区域定位的速度以及提高检测准确率的目标。本专利技术是通过以下技术方案来实现的:首先，本专利技术使用的整体框架是，先提出算法对集装箱号信息进行由粗到精的定位，最后利用文本识别网络检测箱号信息，提高集装箱箱号这种较小文字的识别效率和准确度。(1)本专利技术提出的基于颜色信息的集装箱箱号粗定位方法利用了集装箱号为白色的特点，但并非仅指对于白色字体这一种颜色，对于任意颜色的字体只要是使用基于颜色信息的方法，都受到该专利的保护。同时使用基于密度聚类对候选文字区域进行箱号区域粗定位。所指的基于颜色集装箱号的粗定位方法是指：通过使用不同颜色空间，如RGB、HSV颜色空间模型的信息筛选区域，如筛选出集装箱箱号白色文字区域。随后用边缘检测算子进行与运算得到有白色边缘的区域，用Sobel算子边缘查找算法提取边缘，采用的横向检测因子g1＝[-1-1-1；000；111]和竖向检测因子g2＝[-101；-101；-101]，计算公式如下：对边缘检测后的图像进行二值化。再将边缘二值图与白色区域二值图进行与运算，结果图像为white_edge，有如下计算公式得到结果表示该处存在边缘响应，且边缘的一侧是白色区域，这里面就包含了白色文字区域的边缘。再将该图使用矩形结构元素闭运算用白色边缘填充白色文字候选区域。·分别表示图像中的闭运算，腐蚀和膨胀运算，X为原图，S为结构元素。对白色区域针对文字特征进行预筛选，获取白色候选区域的外接矩形，根据矩形长宽比，过滤掉非文本区域特征的白色文字区域。基于图片中文字信息最为密集的区域为箱号信息这一特征，对筛选后的白色边框区域进行基于密度的聚类，得到最大类簇，以此为依据确定箱号的粗定位结果。实现的方法为闭运算后图中的白色连通域提取其重心代表该区域的位置设定好聚类的密度半径∈和最小包含点数MinPts，进行聚类。所述的对白色文字候选区域聚类算法是指：算法有如下定义：Eps邻域：给定对象半径Eps内的邻域称为该对象的Eps邻域，用表示点p的Eps-半径内的点的集合，即:NEps(p)＝{q|q在数据集D中，distance(p,q)≤Eps}核心对象：如果对象的Eps邻域至少包含最小数目MinPts的对象，则称该对象为核心对象。边界点：边界点不是核心点，但落在某个核心点的邻域内。噪音点：既不是核心点，也不是边界点的任何点算法输入：样本集D＝{(xi，yi)}，邻域参数(∈，MinPts),样本距离度量方式选择为欧式距离算法输出：最大簇，包含集装箱文字信息区域的最大簇。具体步骤1、根据∈邻域和密度阈值MinPts，遍历所有点，判断一个点是核心点、边界点或者离群点。并将离群点删除。2、如果核心点之间的距离小于MinPts，就将两个核心点连接在一起。这样就形成了若干组簇。3、将边界点分配到距离它最近的核心点范围内。4、形成最终的聚类结果。5、最终得到的最大聚类群就是文字候选区域，通过最小外接矩形算法提取包含所有文字块的区域的粗定位结果。选择最大类簇，也就是文字出现密集的区域，现在通过该区域来获取文字粗定位区域。即遍历该区域的所有文字矩形框像素，找到在x,y方向上的最大值、最小值(xmin，ymin，xmax，ymax)；以该顶点为基础，以中心放大1.25倍作为最终集装箱文字粗定位候选框，以确保包含所有文本。(2)本专利技术对粗定位的结果使用基于深度神经网络的精确文本定位所述的精确定位的深度学习框架是指：我们提出了一种用于集装箱箱号定位的创新框架，框架基于全卷积网络(FCN)和非极大值抑制(NMS)，框架流程如图6所示。与之前的研究不同，传统的文本检测方法和一些基于深度学习的文本检测方法，大多是multi-stage(多阶段)，在训练时需要对多个stage(阶段)调优本文档来自技高网...

【技术保护点】
1.一种基于颜色定位和字符分割的集装箱箱号定位方法，其特征在于包括如下步骤：/n步骤(一)获取集装箱彩色图像。/n步骤(二)通过颜色信息对箱号进行粗定位:根据箱号颜色设定色彩空间各分量的阈值，根据阈值设定对图像进行掩模操作，同时结合边缘信息得到候选区域，对候选区域做形态学闭操作，并对其求取轮廓及重心，过滤掉不符合文字区域特征的连通域，对剩下的文字候选区进行按密度聚类得到最大类为集装箱号文字区域集合，对区域集合求小外接矩形，裁剪获得的矩形得到第一批经过粗定位图像集及图像集对应四角坐标。/n步骤(三)将步骤(二)获得的图像集输入进训练好的深度神经网络中，得到含有集装箱文字分割框的图片，取文字框的最小外接矩形框来截取含有集装箱箱号的图片集，并获取对应矩形框坐标。/n步骤(四)获取集装箱箱号精确位置：基于箱号的位置信息，形状特征，如长宽比，宽度，高度及箱号的四位字母，六位数字，一位校验码的位置关系定位箱号位置或通过识别步骤(三)图片集的文本信息，将获取到的文字信息进行筛选得到准确的集装箱箱号位置。/n

【技术特征摘要】
1.一种基于颜色定位和字符分割的集装箱箱号定位方法，其特征在于包括如下步骤：
步骤(一)获取集装箱彩色图像。
步骤(二)通过颜色信息对箱号进行粗定位:根据箱号颜色设定色彩空间各分量的阈值，根据阈值设定对图像进行掩模操作，同时结合边缘信息得到候选区域，对候选区域做形态学闭操作，并对其求取轮廓及重心，过滤掉不符合文字区域特征的连通域，对剩下的文字候选区进行按密度聚类得到最大类为集装箱号文字区域集合，对区域集合求小外接矩形，裁剪获得的矩形得到第一批经过粗定位图像集及图像集对应四角坐标。
步骤(三)将步骤(二)获得的图像集输入进训练好的深度神经网络中，得到含有集装箱文字分割框的图片，取文字框的最小外接矩形框来截取含有集装箱箱号的图片集，并获取对应矩形框坐标。
步骤(四)获取集装箱箱号精确位置：基于箱号的位置信息，形状特征，如长宽比，宽度，高度及箱号的四位字母，六位数字，一位校验码的位置关系定位箱号位置或通过识别步骤(三)图片集的文本信息，将获取到的文字信息进行筛选得到准确的集装箱箱号位置。


2.根据权利要求1所述的一种基于颜色和深度神经网络集装箱箱号检测方法，其...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：上海撬动网络科技有限公司，
类型：发明
国别省市：上海;31