一种指示牌内容识别方法、装置和设备制造方法及图纸

本发明专利技术公开一种指示牌内容识别方法、装置和设备，其中方法包括：识别指示牌图片中的文字和图形符号；将所述指示牌图片进行区块划分；将位于同一区块中的文字确定为文本行；根据所述文本行与所述图形符号的相对位置确定所述文本行对应的行驶方向；将所述文本行与所述行驶方向所对应的地图数据进行路名匹配；根据所述路名匹配的匹配结果及所述图形符号确定所述指示牌的内容。本发明专利技术在进行指示牌识别时根据文本行与图形符号的相对位置关系确定行驶方向，并基于行驶方向所对应的地图数据对文本行进行路名匹配，克服了因指示牌变得模糊不清而无法识别指示牌内容的问题，因此能够提高指示牌内容的识别准确度，从而保证导航精度。

【技术实现步骤摘要】
一种指示牌内容识别方法、装置和设备
本专利技术涉及机器视觉和人工智能领域，特别涉及一种指示牌内容识别方法、装置和设备。
技术介绍
指示牌是指设置在道路两侧用于指示前方道路信息的路标指示牌。随着导航技术的快速发展，具有方向信息的指示牌内容作为电子地图数据的重要组成部分，其作用显得越来越重要，因此，在电子地图数据制作过程中需要获取指示牌的内容信息。现有技术中对指示牌内容进行识别时通常都是对指示牌进行现场拍摄，然后对拍摄得到的指示牌图片进行本文本识别，以得到指示牌内容。然而，由于指示牌都是露天设置的，容易受到外界环境的干扰，比如被树叶、鸟粪等异物遮挡、由光照变化引起反光异常、长年风吹日晒造成腐蚀破损等，都会造成指示牌变得模糊不清，因此在使用现有技术中进行指示牌内容识别时，难以保证识别出的内容的精度。如果识别出的指示牌内容错误，则会影响制作出的电子地图的准确性，进而影响导航信息应用。
技术实现思路
鉴于现有技术中存在的技术缺陷和技术弊端，本专利技术实施例提供一种能够准确识别指示牌内容的指示牌内容识别方法、装置和设备。作为本专利技术实施例的第一方面，涉及一种指示牌内容识别方法，其中包括：识别指示牌图片中的文字和图形符号；将所述指示牌图片进行区块划分；将位于同一区块中的文字确定为文本行；根据所述文本行与所述图形符号的相对位置确定所述文本行对应的行驶方向；将所述文本行与所述行驶方向所对应的地图数据进行路名匹配；根据所述路名匹配的匹配结果及所述图形符号确定所述指示牌的内容。作为本专利技术实施例的第二方面，涉及一种指示牌内容识别装置，其中包括：图形识别模块，用于识别指示牌图片中的图形符号；文字识别模块，用于识别所述指示牌图片中的文字；区块划分模块，用于将所述指示牌图片进行区块划分；文本确定模块，用于将位于同一区块中的文字确定为文本行；方向确定模块，用于根据所述文本行与所述图形符号的相对位置确定所述文本行对应的行驶方向；路名匹配模块，用于将所述文本行与所述行驶方向所对应的地图数据进行路名匹配；内容确定模块，用于根据所述路名匹配的匹配结果及所述图形符号确定所述指示牌的内容。作为本专利技术实施例的第三方面，涉及一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现上述方法。作为本专利技术实施例的第三方面，涉及一种计算机设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如上述方法。本专利技术实施例在进行指示牌识别时根据文本行与图形符号的相对位置关系确定行驶方向，并基于行驶方向所对应的地图数据对文本行进行路名匹配，克服了因指示牌变得模糊不清而无法识别指示牌内容的问题，因此能够提高指示牌内容的识别准确度，从而保证导航精度。本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。下面通过附图和实施例，对本专利技术的技术方案做进一步的详细描述。附图说明附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例一起用于解释本专利技术，并不构成对本专利技术的限制。在附图中：图1为本专利技术实施例1中提供的指示牌内容识别方法的流程图；图2为待识别指示牌的举例图；图3A和图3B分别为对指示牌进行文字识别的举例效果图；图4A和图4B分别为对指示牌进行区块划分的举例效果图；图5为本专利技术实施例2中提供的指示牌内容识别装置的结构示意图。具体实施方式下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。下面分别对本专利技术具体实施方式进行详细的说明。实施例1本实施例提供一种指示牌内容识别方法，如图1所示，该方法可以包括以下步骤：步骤100，识别指示牌图片中的文字和图形符号。其中，所述指示牌图片可以通过对指示牌进行拍摄而获取，例如可以由车辆上自带的摄像头拍摄，也可以通过车载记录仪进行拍摄。所述指示牌图片中可以包括文字和图形符号等多种字符元素，多个文字构成文本行，不同的文本行分布在图形符号的不同位置处。例如，图2所示的指示牌图片中包括如下字符元素：中文的路名文本行：“光华路”、“石杨路”、“军农路”、“友谊河路”和“宁杭高速”等；拼音的路名文本行：“GUANGHUALU”、“SHIYANGLU”、“JUNNONGLU”和“NINGHANGGAOSU”等；距离文本行：“1.0Km”、“1.1Km”、“0.8Km”等；方向文本行：“西”；图形符号：图2中所示的十字箭头图形和指南针方向图形。具体地，在对指示牌图片中的文字进行识别时，可以先使用光学检测算法确定出各个文字的文字区域和图形符号区域，其中的光学检测技术例如为OCR(光学字符识别)技术，通过检测图片中字符元素的大小、明暗程度及排列关系来确定文字区域的范围；然后，使用神经网络分析模型识别出各个所述文字区域中的文字，其中的神经网络分析模型例如为深度卷积神经网络检测模型。例如，可以使用Faster-R-CNN(Faster-Region-ConvolutionalNeuralNetworks，更快速的区域卷积神经网络)或ResNet(deepResidualNetwork，深度残差网络)等卷积神经网络模型识别所述指示牌图片中的文字。具体可以包括如下步骤：1)提取指示牌图片中每个文字区域，所述文字区域可以用[x,y,w,h]表示，其中，x代表文字区域左上角坐标，y代表文字区域右上角坐标，w与h代表文字区域的宽度与高度；2)将所述文字区域作为深度卷积神经网络检测模型的输入，获得所述深度卷积神经网络的输出；所述输出为文字的语义内容。当然，在使用上述深度卷积神经网络检测模型之前，需要预先建立：确定深度卷积神经网络的拓扑结构，所述拓扑结构包括：输入层、卷积层、池化层和输出层，以及各层的神经节点；确定深度卷积神经网络中各层的参数变量；通过对预设的各训练样本分别进行训练，并逆向反馈，调整深度卷积神经网络各层的参数变量直至所述深度卷积神经网络的期望输出值与实际输出值的误差小于预设的阈值时，停止训练，得到稳定的深度卷积神经网络。通过本步骤能够识别出文字的语义内容。例如，在图3A和图3B所示的文字识别效果图中，表示中文路名的“光”、“华”等文字，表示距离的“1.0”、“Km”等文字，表示拼音路名的“G”、“H”等，表示方向的“西”等文字被分别识别出来。本文档来自技高网...

【技术保护点】
1.一种指示牌内容识别方法，其特征在于，包括：/n识别指示牌图片中的文字和图形符号；/n将所述指示牌图片进行区块划分；/n将位于同一区块中的文字确定为文本行；/n根据所述文本行与所述图形符号的相对位置确定所述文本行对应的行驶方向；/n将所述文本行与所述行驶方向所对应的地图数据进行路名匹配；/n根据所述路名匹配的匹配结果及所述图形符号确定所述指示牌的内容。/n

【技术特征摘要】
1.一种指示牌内容识别方法，其特征在于，包括：
识别指示牌图片中的文字和图形符号；
将所述指示牌图片进行区块划分；
将位于同一区块中的文字确定为文本行；
根据所述文本行与所述图形符号的相对位置确定所述文本行对应的行驶方向；
将所述文本行与所述行驶方向所对应的地图数据进行路名匹配；
根据所述路名匹配的匹配结果及所述图形符号确定所述指示牌的内容。


2.根据权利要求1所述的方法，其特征在于，识别所述指示牌图片中的文字包括：
使用光学检测技术确定出各个文字的文字区域；
使用神经网络分析模型识别出各个所述文字区域中的文字。


3.根据权利要求1所述的方法，其特征在于，将所述指示牌图片进行区块划分包括：根据所述指示牌图片中各字符元素的高度、相对位置和/或间距划分所述区块。


4.根据权利要求1所述的方法，其特征在于，将位于同一区块中的文字确定为文本行包括：
根据识别出的所述文字和划分出的所述区块在所述指示牌中的坐标信息确定所述文字与所述区块的对应关系；
根据所述对应关系，将对应于同一区块的文字确定为所述文本行。


5.根据权利要求1所述的方法，其特征在于，将所述文本行与所述行驶方向所对应的地图数据进行路名匹配包括：
使用所述文本行中的路名文本行，在所述地图数据中进行路名检索；
当检索到完全一致的路名数据时，将所述路名文本行作为所述匹配结果；
当未检索到完全一致的路名数据时，使用匹配度最高的路名数据代替所述路名文本行，将代替后的所述路名文本行作为所述匹配结果。
...

【专利技术属性】
技术研发人员：赵锟，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY