一种巡检场景下数字仪表读数的识别方法与系统技术方案

本发明专利技术公开了一种巡检场景下数字仪表读数的识别方法与系统，其中方法包括：基于巡检路线，采集巡检场景下的设备图片；筛选出设备图片中包含数字仪表的第一图片；基于WEB规则模板对第一图片进行数字仪表板和数字示数的筛选，其中WEB规则模板包括数字仪表外轮廓的空间信息和待识别数字示数的外轮廓空间信息；对上述筛选结果中的数字示数的结果进行方向矫正处理；对矫正后的图片进行数字示数识别；对上述识别的结果进行置信度判断，输出置信度大于预设置信度阈值的结果。本发明专利技术可以提高数字仪表读数的识别速率和准确率。字仪表读数的识别速率和准确率。字仪表读数的识别速率和准确率。

【技术实现步骤摘要】
一种巡检场景下数字仪表读数的识别方法与系统


[0001]本专利技术属于智能机器人领域，尤其涉及一种巡检场景下数字仪表读数的识别方法与系统。

技术介绍

[0002]OCR(Optical Character Recognition，光学字符识别)是指电子设备(例如扫描仪或数码相机)检查纸上打印的字符，通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算机文字的过程，在金融、电力、教育、医疗等多种领域发挥着巨大的作用。
[0003]机房，作为企业的信息中心，其设备状态及内部环境都需要严格监控。为了防止因为供电、温度、湿度等各种环境因素的异常而导致设备的停机或者损坏，进而给企业带来巨额的损失。供电、温度、湿度这些信息是可以通过仪表表盘上进行读取的，但是我们目前获取这些信息的方式还是处于人工读取并记录的状态。这就造成了很大的人力、物力的浪费。但如果将OCR设备安装在智能巡检机器人上，则可以节省大量的人力、物力的投入。
[0004]智能巡检机器人，具有自主性走，自主充电，自主避障等功能，可用来对企业机房实现全自动巡检，达到无人值守，解决安全，效率等隐患及难题。随着科学技术的进一步成熟和社会认可度的提高，将ocr 产品应用于机房的安全管理中，使用部署在机器人上的高清摄像头，通过相机采集目标对象的图像，利用OCR技术识别设备表盘中的数字信息，决策当前设备及环境是否存在异常，在发生异常时，及时预警。基于此可有效解放生产力，节约人力成本。
[0005]目前针对机房数字仪表自动化读数的方案，目前主要有两种，一种是基于传统图像算法的OCR算法，一种是基于深度学习的OCR算法。
[0006]传统图像OCR基于传统图像处理的方式进行目标的定位与读数。目标定位主要使用特征匹配的方法，如sift特征匹配、surf特征匹配算法等。之后通过图像处理的方式进行读数，主要流程为图片二值化、连通区域提取，定位数字位置，像素投影，数字分割，通过SVM支持向量机分类器对每个数字进行识别和整合识别结果。整体方案在稳定且特定的环境具有比较好的效果。但是机器运行环境不可避免受到环境光线、光源方向和光照强弱、视角、背景等不利影响，识别算法效率低下，识别精度很难有进一步的提高。因此，需要设计一种机房特定场景下的一种ocr识别技术，能够对机房自然环境中光线，角度和拍照距离远近变化具有更好的鲁棒性，快速完成对进入机房中电子表盘中的数字信息的确认，实现实时OCR检测，确定设备及环境的状态，及时报警，防止损失出现。
[0007]第二种是使用深度学习所做的OCR。目前基于深度学习的OCR算法在文字识别方面有较好的效果。在不同拍摄距离、不同光照条件、不同视角和不同背景等条件下，都能达到不错的效果。但这种方法无法实现针对特定目标的检测。它是对一张图片上所有可能是文字的区域进行无差别的识别，进而无法对某一特定物体上的特定文字进行针对性的识别。而且当一张图片中的信息较多时，也会对识别结果产生影响，尤其是小区域中的文字。故我
们需要设计一种方案来针对性提取到我们想要的数字图片，然后进行OCR识别。

技术实现思路

[0008]针对目前机房数字仪表读数存在的问题，本专利技术提供一种巡检场景下数字仪表读数的识别方法，可以提高数字仪表读数的识别速率和准确率。
[0009]第一方面，本专利技术提供一种巡检场景下数字仪表读数的识别方法，包括以下步骤：
[0010]步骤S101、基于巡检路线，采集所述巡检场景下的设备图片；
[0011]步骤S103、基于深度学习的识别算法识别设备图片得到对应的数字仪表板和数字示数，筛选出所述设备图片中包含数字仪表的第一图片；其中，数字仪表包括数字仪表板和数字示数；
[0012]步骤S105、基于WEB规则模板对所述第一图片进行数字仪表板和数字示数的筛选，其中所述WEB规则模板包括数字仪表外轮廓的空间信息和待识别数字示数的外轮廓空间信息；
[0013]步骤S107、对上述筛选结果中的数字示数的结果进行方向矫正处理；
[0014]步骤S109、对矫正后的图片进行数字示数识别；
[0015]步骤S111、对上述识别的结果进行置信度判断，输出置信度大于预设置信度阈值的结果。
[0016]其中，所述步骤S103之后还包括：
[0017]判断所述第一图片中数字仪表数量；
[0018]基于所述第一图片中数字仪表的数量，采用相应的处理。
[0019]其中，基于所述第一图片中数字仪表的数量，采用相应的处理具体包括：
[0020]当所述数字仪表数量等于1时，执行步骤S105；
[0021]当所述第一图片中数字仪表的数量大于1，则基于先验数据将数字仪表与相应的数字示数进行关联对应。
[0022]其中，基于计算交并比IoU来筛选所述数字仪表。
[0023]其中，步骤S105之前还包括：
[0024]预先远程对当前图片中某一位置的某一数字仪表设定WEB规则模板，所述WEB规则模板包括第一WEB规则模板和第二WEB规则模板；所述第一WEB规则模板基于所述数字仪表外轮廓的空间信息筛选图片中的数字仪表；所述第二WEB规则模板基于数字示数的外轮廓空间信息筛选待识别数字示数。
[0025]其中，对于某一个数字仪表，所述第一WEB规则模板与所述第二WEB规则模板一一对应。
[0026]其中，所述步骤S107包括：
[0027]使用方向分类器对上述筛选结果进行方向矫正。
[0028]其中，所述基于WEB规则模板对所述第一图片数字示数的筛选，包括：
[0029]获取所述第一图片中的数字仪表板的外轮廓的位置和尺寸信息；
[0030]根据获取的数字仪表板的外轮廓的位置和尺寸信息，以及所述第一WEB规则模板建立仿射变换关系，得到仿射变换矩阵，其中，所述第一WEB规则模板存储有数字仪表板的外轮廓位置和尺寸信息；
[0031]基于仿射变换矩阵和第二WEB规则模板，得到转换后的模板数字框；
[0032]根据转换后的模板数字框筛选所述第一图片中的数字框信息。
[0033]其中，得到仿射变换矩阵具体包括：
[0034]在同一坐标系下，得到矩形R1和矩形R2；矩形R1为第一图片中的数字仪表板的外轮廓位置和尺寸信息，矩形R2为第一WEB规则模板中的数字仪表板的外轮廓位置和尺寸信息；
[0035]根据矩形R1矩形R2，获得矩形R1变换为矩形R2的仿射变换关系，具体为：
[0036]R2＝TR1[0037]式中，T为矩形R1和矩形R2进行仿射变换的矩阵；
[0038]定义矩形R1的左上角坐标和右下角坐标为(a1,b1)和(a2,b2)，矩形R2的左上角坐标和右下角坐标为(m1,n1)和(m2,n2)；
[0039]根据矩形R1的左上角坐标和右下角坐标、矩形R2的左上角坐标和右下角坐标、和仿射变换关系获得矩阵T，具体为：
[0040][0041]其中，进行巡检本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种巡检场景下数字仪表读数的识别方法，其特征在于，包括以下步骤：步骤S101、基于巡检路线，采集所述巡检场景下的设备图片；步骤S103、筛选出所述设备图片中包含数字仪表的第一图片；步骤S105、基于WEB规则模板对所述第一图片进行数字仪表板和数字示数的筛选，其中所述WEB规则模板包括数字仪表外轮廓的空间信息和待识别数字示数的外轮廓空间信息；步骤S107、对上述筛选结果中的数字示数的结果进行方向矫正处理；步骤S109、对矫正后的图片进行数字示数识别；步骤S111、对上述识别的结果进行置信度判断，输出置信度大于预设置信度阈值的结果。2.如权利要求1所述方法，其特征在于，所述步骤S103之后还包括：判断所述第一图片中数字仪表数量；基于所述第一图片中数字仪表的数量，采用相应的处理。3.如权利要求2所述方法，其特征在于，基于所述第一图片中数字仪表的数量，采用相应的处理具体包括：当所述数字仪表数量等于1时，执行步骤S105；当所述第一图片中数字仪表的数量大于1，则基于先验数据将数字仪表与相应的数字示数进行关联对应。4.如权利要求1所述方法，其特征在于，基于计算交并比IoU来筛选所述数字仪表。5.如权利要求1所述方法，其特征在于，所述步骤S105之前还包括：对当前图片中某一位置的某一数字仪表设定WEB规则模板，所述WEB规则模板包括第一WEB规则模板和第二WEB规则模板；所述第一WEB规则模板基于所述数字仪表外轮廓的空间信息筛选图片中的数字仪表；所述第二WEB规则模板基于数字示数的外轮廓空间信息筛选待识别数字示数。6.如权利要求5所述方法，其特征在于，对于某一个数字仪表，所述第一WEB规则模板与所述第二WEB规则模板一一对应。7.如权利要求1所述方法，其特征在于，所述步骤S107包括：使用方向分类器对上述筛选结果进行方向矫正。8.如权利要求5所述方法，其特征在于，所述基于WEB规则模板对所述第一图...

【专利技术属性】
技术研发人员：李斌山，东虎，韩丹，雒厂辉，
申请(专利权)人：北京蒙帕信创科技有限公司，
类型：发明
国别省市：