商品价签文字精确检测定位系统及定位方法技术方案

本发明专利技术公开了一种商品价签文字精确检测定位系统、方法，其中系统包括：特征提取器，用于提取商品价签图像的图像特征，得到商品价签图像对应的第一特征图；多个感受野调整模块，用于调整感受野，然后以第一特征图为输入，提取第一特征图对应的第二特征图；多个特征融合模块，用于融合感受野调整模块输出的各第二特征图，得到一特征融合图；多个任意四边形预测模块，用于对各特征融合图上的文字区域进行任意四边形预测；至少一个旋转矩形框预测模块，用于对各特征融合图上的文字区域进行旋转矩形框预测；至少一个文字边缘预测模块，用于预测各文字区域的文字边框；预测结果综合模块，用于综合各预测结果，本发明专利技术提高了对商品价签检测的准确率。

The system and method of precise detection and location of commodity price tag

【技术实现步骤摘要】
商品价签文字精确检测定位系统及定位方法
本专利技术涉及视觉识别
，具体涉及一种商品价签文字精确检测定位系统及定位方法。
技术介绍
在零售领域，分销终端价格管控对于品牌厂商具有重要意义。近些年，基于计算机视觉识别技术的商品价格识别方法为品牌厂商对分销终端的价格管控提供了可行的解决方案。但基于计算机视觉识别技术的商品价签文字识别相比传统的ocr识别，场景更加复杂，识别更加困难。现有的商品价签文字识别算法首先需要定位商品价签在场景图像中的位置，然后检测出价签上的文字并进行识别，最后提取出文字区域的价格信息。文字检测作为文字识别的前提，文字检测的定位精度对识别准确率影响很大。当文字检测框定位不够准确时，可能会多框住文字周边区域，从而引入干扰，当然也可能会少框住部分文字区域而导致部分文字信息丢失，这些都会降低文字识别的准确率。在实际场景中，商品价签形式多样，价签上的文字方向、长度、字体类型、大小、文字姿态等可能都不一样，价签上还可能存在污点等干扰信息，文字排布、间距等复杂不一，现有的商品价签文字识别算法无法对文字区域进行精确定位，很容易出现本文档来自技高网...

【技术保护点】
1.一种商品价签文字精确检测定位系统，用于对商品价签上的文字进行检测、识别，其特征在于，包括：/n特征提取器，所述特征提取器中包括多层连接的卷积神经网络模块，每一特征提取层中的所述卷积神经网络模块用于提取待检测的商品价签图像对应的图像特征，得到每一所述特征提取层输出的所述商品价签图像对应的第一特征图；/n多个感受野调整模块，每个所述感受野调整模块对应连接所述特征提取器中的每一层上的所述卷积神经网络模块，所述感受野调整模块用于调整用于提取所述图像特征的感受野，然后以所述第一特征图为输入，提取各所述第一特征图对应的第二特征图；/n多个特征融合模块，每个所述特征融合模块对应连接一所述感受野调整模块，...

【技术特征摘要】
1.一种商品价签文字精确检测定位系统，用于对商品价签上的文字进行检测、识别，其特征在于，包括：
特征提取器，所述特征提取器中包括多层连接的卷积神经网络模块，每一特征提取层中的所述卷积神经网络模块用于提取待检测的商品价签图像对应的图像特征，得到每一所述特征提取层输出的所述商品价签图像对应的第一特征图；
多个感受野调整模块，每个所述感受野调整模块对应连接所述特征提取器中的每一层上的所述卷积神经网络模块，所述感受野调整模块用于调整用于提取所述图像特征的感受野，然后以所述第一特征图为输入，提取各所述第一特征图对应的第二特征图；
多个特征融合模块，每个所述特征融合模块对应连接一所述感受野调整模块，用于融合所述感受野调整模块输出的各所述第二特征图，得到所述第一特征图对应的特征融合图；
多个任意四边形预测模块，每个所述任意四边形预测模块对应连接一所述特征融合模块，用于对所述特征融合图上的文字区域进行任意四边形预测，并输出对所述特征融合图的任意四边形预测结果；
至少一个旋转矩形框预测模块，每个所述旋转矩形框预测模块对应连接一所述特征融合模块，用于对所述特征融合图上的所述文字区域进行旋转矩形框预测，并输出对各所述特征融合图的旋转矩形框预测结果；
至少一个文字边缘预测模块，每个所述文字边缘预测模块对应连接一个所述特征融合模块，用于预测所述特征融合图上的各所述文字区域的文字边框，得到对各所述文字区域的文字边缘预测结果；
预测结果综合模块，分别连接各所述任意四边形预测模块、各所述旋转矩形框预测模块和各所述文字边缘预测模块，用于综合各所述任意四边形预测结果、各所述旋转矩形框预测结果和各所述文字边缘预测结果，最终形成对所述商品价签图像的文字区域预测结果并存储。


2.如权利要求1所述的商品价签文字精确检测定位系统，其特征在于，所述感受野调整模块提取所述第一特征图对应的所述第二特征图采用的卷积核为矩形卷积核。


3.如权利要求1所述的商品价签文字精确检测定位系统，其特征在于，还包括：
模型训练模块，分别连接各所述任意四边形预测模块、各所述旋转矩形框预测模块和各所述文字边缘预测模块，用于以所述任意四边形预测结果、和/或所述旋转矩形框预测结果、和/或所述文字边缘预测结果以及原始输入的所述商品价签图像为训练样本，训练形成一商品价签文字检测模型，所述商品价签文字检测模型用于对待检测的所述商品价签图像进行文字区域检测，并输出对所述商品价签图像的所述文字区域预测结果。


4.如权利要求1所述的商品价签文字精确检测定位系统，其特征在于，所述旋转矩形框预测模块的设置数量为一个，仅用于对经所述特征提取器多层图像特征提取后最终输出的关联于所述商品价签图像的所述第一特征图对应的所述特征融合图上的所述文字区域进行旋转矩形框预测，输出一所述旋转矩形框预测结果。


5.如权利要求1所述的商品价签文字精确检测定位系统，其特征在于，所述文字边缘预测模块的设置数量为一个，仅用于对经所述特征提取器多层图像特征提取后最终输出的关联于所述商品价签图像的所述第一特征图对应的所述特征融合图上的所述文字区域进行文字边框预测，得到一所述文字边缘预测结果。


6.如权利要求1所述的商品价签文字精确检测定位系统，其特征在于，所述文字边缘预测模块中具体包括：
文字边缘预测单元，用于预测所述特征融合图上的各像素点是否为所述文字区域的边缘点，
若是，则保留所述像素点并标注；
若否，则将所述像素点视为非所述边缘点；
边缘点对应边确定单元，连接所述文字边缘预测单元，用于确定各所述边缘点对应为所述文字边框的哪一条边，并得到一边缘点为对应边的确定结果；
文字边框提取单元，连接所述边缘点对应边确定单元，用于根据所述确定结果，提取出围合所述文字区域的所述文字边框；
文字边缘预测结果形成单元，连接所述文字边框提取单元，用于将提取的所述文字边框作为对所述文字区域对应的所述文字边缘预测结果并存储。


7.如权利要求6所述的商品价签文字精确检测定位系统，其特征在于，所述预测结果综合模块中具体包括：
任意四边形文字区域面积计算单元，用于计算所述任意四边形预测模块框选出的任意四边形文字区域的第一区域面积；
旋转矩形框文字区域面积计算单元，用于计算所述旋转矩形框预测模块框选出的旋转矩形框文字区域的第二区域面积；
文字区域面积交并比计算单元，分别连接所述任意四边形文字区域面积计算单元和所述旋转矩形框文字区域面积计算单元，用于计算同一张所述特征融合图上的相同位置处的所述第一区域面积和所述第二区域面积的交并比；
文字区域判定单元，连接所述文字区域面积交并比计算单元，用于判断所述交并比是否大于一预设的阈值，
若是，则判定任意四边形围合的所述文字区域和旋转矩形框围合的所述文字区域为真实的所述文字区域；
若否，则判定所述任意四边形围合的所述文字区域和所述旋转矩形框围合的所述文字区域为非真实的所述文字区域，并过滤掉所述相同位置处的所述任意四边形围合的所述文字区域和所述旋转矩形框围合的所述文字区域；
文字区域融合单元，连接所述文字区域判定单元，用于将判定为真实的处于所述相同位置处的所述任意四边形围合的所述文字区域和所述旋转矩形框围合的...

【专利技术属性】
技术研发人员：徐辉，秦永强，高达辉，
申请(专利权)人：创新奇智重庆科技有限公司，
类型：发明
国别省市：重庆;50