多通道集装箱号识别方法、装置和系统制造方法及图纸

本公开的实施例公开了一种多通道集装箱号识别方法，包括：通过多个通道中的每一个通道向集装箱号检测模型输入待识别箱号图像，以生成与多个建议框相关的信息，所述信息包括所述建议框的位置和所述建议框包含相应字符的概率；对与每个通道相对应的多个建议框进行箱号字符提取，以获得与每个通道相对应的通道识别结果；以及利用最大概率和法分别计算与所述多个通道相对应的多个通道识别结果的概率和，以选择与概率和最大的通道相对应的通道识别结果作为集装箱号识别结果。

【技术实现步骤摘要】
多通道集装箱号识别方法、装置和系统
本公开涉及图像识别领域，具体地，涉及基于目标检测的多通道集装箱号识别方法、装置和系统。
技术介绍
集装箱是一种用于装载货物以进行运输，并便于用机械设备进行装卸搬运的工具。每一个集装箱都拥有其唯一的箱号，箱号可能出现在集装箱的任何一个面上。箱号通常由操作员记录然后输入到电脑中，这不仅浪费了大量时间与人力而且还会由于操作员的各种疏忽而导致记录错误。为了克服上述问题，已经开始研究能够智能地识别集装箱箱号的技术。例如，申请号为201611144568.6的题为“基于层次聚类和深度学习的箱号识别方法”的专利公开了一种基于层次聚类和深度学习的箱号识别方法。在该方法中，首先采用MSER算法进行区域分割，得到候选字符区域；然后通过规则进行字符过滤与合并得到真实的集装箱号字符；接着通过层次聚类算法将箱号字符连接成候选的文本行，对文本行进行过滤得到最终的文本行；最后对文本行中的单个字符采用深度学习CNN网络进行识别，得到箱号的识别结果。该专利公开的识别方法具有如下缺点。首先，该箱号识别方法采用的是传统计算机视觉中的MSER算法进行箱号字元区域的定位，MSER算法容易受光照的影响。特别地，当箱号存在光照不均匀、遮挡、字符缺失、模糊等情况时，利用MSER算法进行箱号字符区域定位往往会遗漏字符，最终无法识别出正确的箱号，导致算法的综合识别率低。其次，该方法在白天的识别率为95％左右，但在夜间的识别率仅有85％左右。最后，该方法只考虑了两种文本行的情况：(1)四位箱号字母与六位箱号数字连在一起，(2)四位箱号字母连在一起，六位箱号数字连在一起，字母与数字之间有较大间隔。而实际的箱号共有11位：四位字母与7位数字，其中最后一位数字为校验位(专利中并未提及)。实际的箱号分布情况要更多，据统计，实际的箱号分布情况有水平与垂直两种。其中水平分布又分为一行、两行、多行等情况；垂直分布有一列、两列两种情况。在题为“Container-coderecognitionsystembasedoncomputervisionanddeepneuralnetworks”(AIPConferenceProceedings1955，040118，2018)的文献中提出了一种基于计算机视觉与深度神经网络的箱号识别系统，该箱号识别系统包含检测模块和识别模块两个部分。在检测模块中，采用了基于计算机视觉技术的MSER算法和深度神经网络CTPN两种检测方法，并对两种方法进行了结合。识别模块同样也采用了两种方法，一种是采用ResNet对分割后的单个字符进行识别，第二种是采用CRNN进行整个箱号文本行的识别，直接输出箱号字符串。然而，该系统具有如下缺点。首先，在检测模块中，可以利用MSER定位准确性来优化CTPN文本检测框的位置，具体是利用MSER定位出的文本高度和文本区域的水平线来确定文本线的位置和箱号的文本高度。该方法(CTPN)适用于箱号是水平排列的情况，但是并未考虑箱号在大幅度倾斜或垂直排列情况下的解决方案，然而箱号垂直排列的情况在实际箱号图像中更加普遍。其次，与检测模块相同，识别模块中的CRNN方法同样不能识别垂直分布的箱号序列。再次，该系统融合了多种算法，因此识别系统的时效性得不到保证，在实际的应用中，识别时效性是很重要的因素。最后，该识别系统的识别率为93％，并不是很高，实际的应用中普遍需要95％的识别率。因此，需要一种能够克服上述问题的新的多通道集装箱号识别方法。公开内容根据本公开的一个方面，提供了一种多通道集装箱号识别方法，包括：通过多个通道中的每一个通道向集装箱号检测模型输入待识别箱号图像，以生成与多个建议框相关的信息，所述信息包括所述建议框的位置和所述建议框包含相应字符的概率；对与每个通道相对应的多个建议框进行箱号字符提取，以获得与每个通道相对应的通道识别结果；以及利用最大概率和法分别计算与所述多个通道相对应的多个通道识别结果的概率和，以选择与概率和最大的通道相对应的通道识别结果作为集装箱号识别结果。在一个实施例中，对与每个通道相对应的多个建议框进行箱号字符提取，以获得与每个通道相对应的通道识别结果包括：选择所述多个建议框中的所述建议框包含相应字符的概率大于概率阈值的建议框作为候选框；确定所述候选框的排列方向；根据所确定的排列方向，确定所述候选框的排序；根据所确定的候选框的排序，确定所述候选框中的满足预定的箱号设计规则的候选框；以及选择所述满足预定的箱号设计规则的候选框中的候选框间距大于最小间距阈值且小于最大间距阈值的候选框，并且将与所选择的候选框相对应的字符作为与所述通道相对应的通道识别结果。在一个实施例中，确定所述候选框的排列方向包括：在水平方向和垂直方向上分别统计所有候选框中像素的数量，计算所述水平方向和所述垂直方向上的候选框中像素的分布均值，以分别确定水平分布方差和垂直分布方差；以及当所述水平分布方差大于所述垂直分布方差时，确定所述候选框的排列方向为水平排列方向；否则确定所述候选框的排列方向为垂直排列方向。在一个实施例中，根据所确定的排列方向，确定所述候选框的排序包括：当所述排列方向是水平排列方向时，将所述多个候选框作为候选框集合，找出所述候选框集合中位于最上端的候选框作为参考候选框，并且将所述参考候选框确定为位于第i行(i＝1)；确定所述候选框集合中的与所述参考候选框的高度差小于高度阈值的候选框与所述参考候选框都位于第i行，对所述高度差小于高度阈值的候选框从左到右进行排序，将所述多个候选框中除了所述第i行的候选框以外的剩余候选框作为候选框集合，找出所述候选框集合中的位于最上端的候选框作为参考候选框，并且将i递增1；以及重复所述确定过程，直到所述多个候选框都被排序为止。在一个实施例中，根据所确定的排列方向，确定所述候选框的排序包括：当所述排列方向是垂直排列方向时，将所述多个候选框作为候选框集合，找出所述候选框集合中位于最左侧的候选框作为参考候选框，并且将所述参考候选框确定为位于第j列(j＝1)；确定所述候选框集合中的与所述参考候选框的宽度差小于宽度阈值的候选框与所述参考候选框都位于第j列，对所述宽度差小于宽度阈值的候选框从上到下进行排序，将所述多个候选框中除了所述第j列的候选框以外的剩余候选框作为候选框集合，找出所述候选框集合中的位于最左侧的候选框作为参考候选框，并且将j递增1；以及重复所述确定过程，直到所述多个候选框都被排序为止。在一个实施例中，当所述排列方向是水平排列方向时，所述箱号设计规则包括四种设计规则，并且当所述排列方向是垂直排列方向时，所述箱号设计规则包括两种设计规则。根据本公开的另一方面，提供了一种多通道集装箱号识别装置，包括：输入模块，被配置为通过多个通道中的每一个通道向集装箱号检测模型输入待识别箱号图像，以生成与多个建议框相关的信息，所述信息包括所述建议框的位置和所述建议框包含相应字符的概率；本文档来自技高网...

【技术保护点】
1.一种多通道集装箱号识别方法，包括：/n通过多个通道中的每一个通道向集装箱号检测模型输入待识别箱号图像，以生成与多个建议框相关的信息，所述信息包括所述建议框的位置和所述建议框包含相应字符的概率；/n对与每个通道相对应的多个建议框进行箱号字符提取，以获得与每个通道相对应的通道识别结果；以及/n利用最大概率和法分别计算与所述多个通道相对应的多个通道识别结果的概率和，以选择与概率和最大的通道相对应的通道识别结果作为集装箱号识别结果。/n

【技术特征摘要】
1.一种多通道集装箱号识别方法，包括：
通过多个通道中的每一个通道向集装箱号检测模型输入待识别箱号图像，以生成与多个建议框相关的信息，所述信息包括所述建议框的位置和所述建议框包含相应字符的概率；
对与每个通道相对应的多个建议框进行箱号字符提取，以获得与每个通道相对应的通道识别结果；以及
利用最大概率和法分别计算与所述多个通道相对应的多个通道识别结果的概率和，以选择与概率和最大的通道相对应的通道识别结果作为集装箱号识别结果。


2.根据权利要求1所述的多通道集装箱号识别方法，其中，对与每个通道相对应的多个建议框进行箱号字符提取，以获得与每个通道相对应的通道识别结果包括：
选择所述多个建议框中的所述建议框包含相应字符的概率大于概率阈值的建议框作为候选框；
确定所述候选框的排列方向；
根据所确定的排列方向，确定所述候选框的排序；
根据所确定的候选框的排序，确定所述候选框中的满足预定的箱号设计规则的候选框；以及
选择所述满足预定的箱号设计规则的候选框中的候选框间距大于最小间距阈值且小于最大间距阈值的候选框，并且将与所选择的候选框相对应的字符作为与所述通道相对应的通道识别结果。


3.根据权利要求2所述的多通道集装箱号识别方法，其中，确定所述候选框的排列方向包括：
在水平方向和垂直方向上分别统计所有候选框中像素的数量，计算所述水平方向和所述垂直方向上的候选框中像素的分布均值，以分别确定水平分布方差和垂直分布方差；以及
当所述水平分布方差大于所述垂直分布方差时，确定所述候选框的排列方向为水平排列方向；否则确定所述候选框的排列方向为垂直排列方向。


4.根据权利要求3所述的多通道集装箱号识别方法，其中，根据所确定的排列方向，确定所述候选框的排序包括：
当所述排列方向是水平排列方向时，将所述多个候选框作为候选框集合，找出所述候选框集合中位于最上端的候选框作为参考候选框，并且将所述参考候选框确定为位于第i行(i＝1)；
确定所述候选框集合中的与所述参考候选框的高度差小于高度阈值的候选框与所述参考候选框都位于第i行，对所述高度差小于高度阈值的候选框从左到右进行排序，将所述多个候选框中除了所述第i行的候选框以外的剩余候选框作为候选框集合，找出所述候选框集合中的位于最上端的候选框作为参考候选框，并且将i递增1；以及
重复所述确定过程，直到所述多个候选框都被排序为止。


5.根据权利要求3所述的多通道集装箱号识别方法，其中，根据所确定的排列方向，确定所述候选框的排序包括：
当所述排列方向是垂直排列方向时，将所述多个候选框作为候选框集合，找出所述候选框集合中位于最左侧的候选框作为参考候选框，并且将所述参考候选框确定为位于第j列(j＝1)；
确定所述候选框集合中的与所述参考候选框的宽度差小于宽度阈值的候选框与所述参考候选框都位于第j列，对所述宽度差小于宽度阈值的候选框从上到下进行排序，将所述多个候选框中除了所述第j列的候选框以外的剩余候选框作为候选框集合，找出所述候选框集合中的位于最左侧的候选框作为参考候选框，并且将j递增1；以及
重复所述确定过程，直到所述多个候选框都被排序为止。


6.根据权利要求1所述的多通道集装箱号识别方法，其中，当所述排列方向是水平排列方向时，所述箱号设计规则包括四种设计规则，并且当所述排列方向是垂直排列方向时，所述箱号设计规则...

【专利技术属性】
技术研发人员：刘永春，姚彦洁，张，王志明，李苇，
申请(专利权)人：同方威视技术股份有限公司，
类型：发明
国别省市：北京;11