本发明专利技术公开了一种复杂场景下的设备标签内容识别方法及系统；其中，所述方法，包括：获取待识别的设备标签图像，对待识别的设备标签图像进行旋转矫正；对矫正后的图像，进行设备标签区域检测和设备标签分类，对设备标签区域进行裁剪，得到设备标签区域图像；对设备标签区域图像，进行边缘检测和透视变换，对设备标签区域图像进行位置修正；对修正后的设备标签区域图像，进行文字区域检测和文字识别；对文字识别结果进行后处理，输出结构化和非结构化文字识别结果。文字识别结果。文字识别结果。
【技术实现步骤摘要】
一种复杂场景下的设备标签内容识别方法及系统
[0001]本专利技术涉及机器视觉
，特别是涉及一种复杂场景下的设备标签内容识别方法及系统。
技术介绍
[0002]本部分的陈述仅仅是提到了与本专利技术相关的
技术介绍
，并不必然构成现有技术。
[0003]各种设备的运维与日常巡检对保障各类业务的正常运行具有重要的意义。各类设备中存在大量资源标签，标签上的设备类型、开通速率等信息，可有效地帮助管理人员在政企业务装维与日常巡检中做反向校验等资源核查工作。传统依赖人工摸排的方式需要人员多、流程环节长、质量管控难且成本高，需引入人工智能算法实现资源标签内容的智能检测用于政企装维智慧验收中的巡检稽核、方案校验等多场景,改变传统维护巡检的生产管理模式，提高审核管理人员工作效率。
[0004]设备标签种类繁多，且存在拍摄图像倾斜、标签区域外干扰文字、标签中不同信息间隔较小等复杂场景，此外，还存在同一条目的信息因多行显示导致无法识别为同一条目的问题。以上标签内容识别的复杂场景导致了标签内容识别精度低、无法去除干扰文字以及无法区分标签中的不同内容等问题。
技术实现思路
[0005]为了解决现有技术的不足，本专利技术提供了一种复杂场景下的设备标签内容识别方法及系统；本专利技术利用目标检测和文字识别技术等人工智能技术，并结合霍夫变换、边缘检测和透视变换等方法来解决复杂场景下的标签内容识别难题，实现了获取图像中的标签区域、准确识别标签中的文字内容并格式化输出，可以对图像进行矫正处理，提高了方法的适用性和文字识别精度。
[0006]第一方面，本专利技术提供了一种复杂场景下的设备标签内容识别方法；
[0007]一种复杂场景下的设备标签内容识别方法，包括：
[0008]获取待识别的设备标签图像，对待识别的设备标签图像进行旋转矫正；
[0009]对矫正后的图像，进行设备标签区域检测和设备标签分类，对设备标签区域进行裁剪，得到设备标签区域图像；
[0010]对设备标签区域图像，进行边缘检测和透视变换，对设备标签区域图像进行位置修正；
[0011]对修正后的设备标签区域图像，进行文字区域检测和文字识别；对文字识别结果进行后处理，输出结构化和非结构化文字识别结果。
[0012]第二方面，本专利技术提供了一种复杂场景下的设备标签内容识别系统；
[0013]一种复杂场景下的设备标签内容识别系统，包括：
[0014]获取模块，其被配置为：获取待识别的设备标签图像，对待识别的设备标签图像进行旋转矫正；
[0015]分类模块，其被配置为：对矫正后的图像，进行设备标签区域检测和设备标签分类，对设备标签区域进行裁剪，得到设备标签区域图像；
[0016]修正模块，其被配置为：对设备标签区域图像，进行边缘检测和透视变换，对设备标签区域图像进行位置修正；
[0017]识别模块，其被配置为：对修正后的设备标签区域图像，进行文字区域检测和文字识别；对文字识别结果进行后处理，输出结构化和非结构化文字识别结果。
[0018]与现有技术相比，本专利技术的有益效果是：
[0019](1)采用霍夫变换实现图像的旋转矫正，调整了图像左右倾斜的角度，解决了识别精度低和输出顺序混乱问题；
[0020](2)基于目标检测算法实现标签区域的获取与分类，根据返回的检测框坐标信息，通过裁剪去掉了无关文字信息的干扰；
[0021](3)进一步使用结合霍夫变换的边缘检测算法对边界明显的标签进行边缘检测并结合透视变换方法实现图像前后左右的图像矫正，准确的得到完全矫正的标签区域，大大提高了标签的文字识别精度；
[0022](4)基于文字检测与识别算法实现了文字区域检测和文字内容识别；采用改进和调整各种训练参数的文字检测及识别模型，解决了会将标签中间隙较小的信息识别为同一信息的问题；
[0023](5)针对标签内容中不同信息间隙较小会识别为同一个信息的问题，设计数据集标注方案，重新标注调整参数训练解决了该问题，大大提高了文字区域检测精度；
[0024](6)通过结合文字检测框的后处理的方式实现了对结构化标签内容的结构化输出和非结构化标签内容的非结构化输出，借助文字检测框的上下边距，解决了结构化标签的格式化输出时同一信息分多行展示但要输出为一行的问题；目前各类资源标签管理稽核工作单一且重复性高、工作量大，正适合使用人工智能代替人工，达到降本增效的目标。
附图说明
[0025]构成本专利技术的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。
[0026]图1为本专利技术的霍夫变换效果图；
[0027]图2为本专利技术的目标检测裁剪效果图；
[0028]图3为本专利技术的目标检测模型结构图；
[0029]图4为本专利技术的结合霍夫变换的边缘检测算法+透视变换效果图；
[0030]图5为本专利技术的文字区域检测及识别效果图；
[0031]图6为本专利技术的结构化输出效果图；
[0032]图7为本专利技术的非结构化输出效果图；
[0033]图8为本专利技术的可视化界面效果图；
[0034]图9为本专利技术的方法流程图。
具体实施方式
[0035]应该指出，以下详细说明都是示例性的，旨在对本专利技术提供进一步的说明。除非另
有指明，本文使用的所有技术和科学术语具有与本专利技术所属
的普通技术人员通常理解的相同含义。
[0036]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本专利技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0037]在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。
[0038]本实施例所有数据的获取都在符合法律法规和用户同意的基础上，对数据的合法应用。
[0039]实施例一
[0040]本实施例提供了一种复杂场景下的设备标签内容识别方法；
[0041]如图9所示，一种复杂场景下的设备标签内容识别方法，包括：
[0042]S101：获取待识别的设备标签图像，对待识别的设备标签图像进行旋转矫正；
[0043]S102：对矫正后的图像，进行设备标签区域检测和设备标签分类，对设备标签区域进行裁剪，得到设备标签区域图像；
[0044]S103：对设备标签区域图像，进行边缘检测和透视变换，对设备标签区域图像进行位置修正；
[0045]S104：对修正后的设备标签区域图像，进行文字区域检测和文字识别；对文字识别结果进行后处理，输出结本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种复杂场景下的设备标签内容识别方法，其特征是，包括：获取待识别的设备标签图像，对待识别的设备标签图像进行旋转矫正；对矫正后的图像，进行设备标签区域检测和设备标签分类，对设备标签区域进行裁剪，得到设备标签区域图像；对设备标签区域图像，进行边缘检测和透视变换，对设备标签区域图像进行位置修正；对修正后的设备标签区域图像，进行文字区域检测和文字识别；对文字识别结果进行后处理，输出结构化和非结构化文字识别结果。2.如权利要求1所述的一种复杂场景下的设备标签内容识别方法，其特征是，获取待识别的设备标签图像，具体是指：获取复杂场景下的待识别的设备标签图像；其中，复杂场景是指：包含多种设备标签、所拍摄的设备标签图像倾斜、标签区域外存在干扰文字、标签区域中不同信息间隔小于设定距离。3.如权利要求1所述的一种复杂场景下的设备标签内容识别方法，其特征是，所述对待识别的设备标签图像进行旋转矫正，具体是采用霍夫变换算法对待识别的设备标签图像进行处理，得到图像中的直线，根据图像中的直线方向，确定图像的矫正角度，并根据矫正角度对图像进行旋转。4.如权利要求1所述的一种复杂场景下的设备标签内容识别方法，其特征是，对矫正后的图像，进行设备标签区域检测和设备标签分类，具体是：采用训练后的目标检测模型，对矫正后的图像，进行设备标签区域检测和设备标签分类；所述训练后的目标检测模型，其网络结构包括：依次连接的二维卷积层d1、批量归一化层BN、激活函数层、卷积层c1、第一C3模块、卷积层c2、第二C3模块、卷积层c3、第三C3模块、卷积层c4、第四C3模块、SFFP模块、卷积层c5、第一连接器concat、第五C3模块、卷积层c6、第二连接器concat、第六C3模块、卷积层c7、第三连接器concat、第七C3模块、卷积层c8、第四连接器concat、第八C3模块和二维卷积层d2；第二C3模块的输出端还与第二连接器concat的输入端连接；第三C3模块的输出端还与第一连接器concat的输入端连接；第六C3模块的输出端还与二维卷积层d3的输入端连接；第七C3模块的输出端还与二维卷积层d4的输入端连接；其中，二维卷积层d1的输入端用于输入矫正后的图像；二维卷积层d2的输出端、二维卷积层d3的输出端和二维卷积层d4的输出端，作为训练后的目标检测模型的输出端。5.如权利要求4所述的一种复杂场景下的设备标签内容识别方法，其特征是，所述训练后的目标检测模型，其训练过程包括：构建第一训练集，所述第一训练集为已知结构化标签或非结构化标签类别和已知每个标签区域位置的设备标签图像；...
【专利技术属性】
技术研发人员：聂秀山，毕研超，吕雪岭，刘新锋，孟庆刚，李道恒，谭智方，
申请(专利权)人：山东建筑大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。