一种用于表计识别的定位及读数的复查方法技术

本发明专利技术公开了一种用于表计识别的定位及读数的复查方法，解决了现有技术的不足，包括以下步骤：步骤1，系统创建表计识别模板，表计识别模板包括表头图像和表计数值信息，系统读取带有表头图像和表计数值信息的待识别图片，待识别图片通过表计识别模板进行匹配，对待识别图片的表头图像进行识别，完成表头定位；步骤2，对表头定位进行复查，通过冗余定位投票机制，调用若干种定位复查算法，验证表头图像识别是否正确；步骤3，对待识别图片的表计数值信息进行识别，读取表计数值读数；步骤4，对表计数值读数进行复查，通过置信度算法，判断表计数值信息识别是否出现错误。数值信息识别是否出现错误。数值信息识别是否出现错误。

【技术实现步骤摘要】
一种用于表计识别的定位及读数的复查方法


[0001]本专利技术涉及图像识别
，尤其是指一种用于表计识别的定位及读数的复查方法。

技术介绍

[0002]随着智能巡检机器人在各工业领域的普及，定位并识别各种表计(含指针表，数字表油位表等)已是其重要功能之一。现有的程序算法无法从算法方面判断识别结果是否正确，针对表记的巡检结果都由人工逐张复查，以保证巡检结果一切正常。此过程耗费人工成本较大，成为无人化作业的主要障碍。
[0003]现有的产品，专利及厂商的着重点在于识别算法及识别率，即使在特殊的识别环境下(例如模糊，夜间，待测图片中没有应识别的表计等)，也将输出一个识别结果，然而算法的鲁棒性及容错度往往不能满足在各种各样的特殊环境下，输出相对可靠置信度得分。CN110097062A，CN106529537B等专利中所提到的数字表及指针表的识别算法中，并没有相关定位得分和定位置信度，在没有判断定位准确度的情况下进行识别读数，若定位偏移或错位，将导致读数的错误；同时识别读数的置信度没有明确的判断机制，读数结果只能依靠人工进行复查，相对成本较高且耗时。

技术实现思路

[0004]本专利技术的目的是克服现有技术中的缺点，提供一种用于表计识别的定位及读数的复查方法。
[0005]本专利技术的目的是通过下述技术方案予以实现：
[0006]一种用于表计识别的定位及读数的复查方法，包括以下步骤：
[0007]步骤1，系统创建表计识别模板，表计识别模板包括表头图像和表计数值信息，系统读取带有表头图像和表计数值信息的待识别图片，待识别图片通过表计识别模板进行匹配，对待识别图片的表头图像进行识别，完成表头定位；
[0008]步骤2，对表头定位进行复查，通过冗余定位投票机制，调用若干种定位复查算法，验证表头图像识别是否正确，若验证正确，则表头定位复查通过，则跳转至步骤3，若验证不正确，则返回表头定位复查标志位，提示相关工作人员进行人工验证；
[0009]步骤3，对待识别图片的表计数值信息进行识别，读取表计数值读数；
[0010]步骤4，对表计数值读数进行复查，通过置信度算法，判断表计数值信息识别是否出现错误，若出现错误，则返回表计数值读数复查标志位，提醒相关工作人员进行人工验证，若没有出现错误，则表计数值读数复查完成，判断表计识别正确。
[0011]对于在实际表计识别过程中，可能会出现定位和识别读数结果存在错误的情况，若未正确定位到表头或者拍偏导致表头不存在时，现有算法无法无法有效判别表头是否存在，算法会继续识别读数，导致表头定位出错情况下识别结果错误的情况。本方案中，引入冗余定位投票机制，调用多种定位算法，并计算他们的一致性，排除大部分定位和识别读数
结果存在错误的情况。人工验证过程为现场查看、调试摄像头是否偏移或者失焦。对于表计数值读数进行复查的过程中，设置了不同的置信度算法，判断出模糊、有干扰或者读数错误可能性较高的识别结果，为人工复查提供较为可靠的重点复查对象及复查建议，从而可以有效的减少人工成本。
[0012]作为一种优选方案，所述的步骤1中，待识别图片的表头图像进行识别具体方法为通过基于梯度方向特征的模板匹配技术结合多尺度视角快速搜索技术对表头图像进行识别。
[0013]作为一种优选方案，所述的步骤2中，定位复查算法包括孪生追踪网络匹配算法和全图特征点定位配准算法。
[0014]作为一种优选方案，所述的步骤2中，验证表头图像识别是否正确具体包括以下子步骤：
[0015]子步骤1，通过孪生追踪网络匹配算法寻找相似度最高的目标，基于表计识别模板的表头图像，寻找并匹配待识别图片中与表计识别模板的表头图像相似度最高的目标，该目标即为孪生追踪网络匹配算法识别的表头图像，孪生追踪网络匹配算法识别的表头图像和表计识别模板的表头图像进行匹配程度打分，同时对孪生追踪网络匹配算法识别的表头图像和步骤1中进行识别后的表头图像之间进行重叠区域判别，若匹配打分高于设定的第一阈值，且重叠区域大于设定的第二阈值，则表头定位复查通过，跳转至步骤3，若匹配打分不高于设定的第一阈值或重叠区域不大于设定的第二阈值，则跳转至子步骤2；孪生追踪网络速度快，由于是一对一判别，误检率低，但是抗干扰能力较弱，在模糊及光照等因素影响下存在无法定位物体的情况，且没有尺度变化的检测能力，故适用于定位复查算法。
[0016]子步骤2，通过全图特征点定位配准算法对待识别图片与表计识别模板进行配准，对待识别图片进行特征点的提取，提取的特征点与表计识别模板进行配准，得出定位区域，定位区域即为全图特征点定位配准算法识别的表头图像，对定位区域、孪生追踪网络匹配算法识别的表头图像和步骤1中进行识别后的表头图像三者之间进行两两验证重叠区域，若所有的重叠区域大于等于设定的第三阈值，则表头定位复查通过，跳转至步骤3，若有重叠区域小于设定的第三阈值，则返回表头定位复查标志位，提示相关工作人员进行人工验证。全图特征点定位配准算法在特征点提取充分的情况下准确率较高，但是在特征点提取不足的情况下会失效，所以在复查算法中应用全图特征点定位配准算法，若配准失败，则证明该图模糊。
[0017]作为一种优选方案，所述的步骤3中，所述的表计数值为指针表计指示数值、液位类表计液位指示数值、数字表计指示数值或其他基于神经网络识别的表计数值。基于神经网络识别的表计数值还可以为压板，空开，刀闸，指示灯的数值，神经网络包括分类神经网络，孪生神经网络，目标识别网络等。
[0018]作为一种优选方案，所述的步骤3中，指针表计指示数值信息进行识别的具体方法具体包括以下子步骤：
[0019]子步骤a，针对表计识别模板区域，提取canny图像并提取线性边缘，得出指针边缘图像位置；提取线性边缘的方法包括霍夫直线检测、LSD直线检测或梯度角度特征的直线拟合算法等，基于对表计识别模板信息已建模给出的指针角度及指针中心线，根据对称性补线，并根据与中心线的角度关系过滤噪声线段，可以得到较为完整且噪声较少的指针边缘
图像位置。
[0020]子步骤b，针对待识别图片的指针搜索区域，提取canny图像并提取线性边缘，并根据边缘线段与锚点之间的角度约束过滤噪声线段；
[0021]子步骤c，计算表计识别模板区域和待识别图片的指针搜索区域的梯度幅值及梯度方向角度，并根据指针边缘图像及自适应的梯度幅值阈值，筛选表计识别模板区域指针和待识别图片的指针搜索区域的特征点；
[0022]子步骤d，以锚点为中心，在待识别图片的指针搜索区域内旋转模板指针的特征点，并与相应的表计识别模板区域计算梯度角度相似度得分，即根据表计识别模板区域特征点的梯度角度和其对应的待识别图片的指针搜索区域像素点的角度相差的余弦值判断特征点的一致性与相似性；
[0023]子步骤e，最高得分的区域为待识别图片的指针区域，指针区域对应的数值即为指针表计指示数值。
[0024]作为一种优选方案，所述的步骤4具体为：设置区域边缘复杂度及指针长度两个权重参本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于表计识别的定位及读数的复查方法，其特征是，包括以下步骤：步骤1，系统创建表计识别模板，表计识别模板包括表头图像和表计数值信息，系统读取带有表头图像和表计数值信息的待识别图片，待识别图片通过表计识别模板进行匹配，对待识别图片的表头图像进行识别，完成表头定位；步骤2，对表头定位进行复查，通过冗余定位投票机制，调用若干种定位复查算法，验证表头图像识别是否正确，若验证正确，则表头定位复查通过，则跳转至步骤3，若验证不正确，则返回表头定位复查标志位，提示相关工作人员进行人工验证；步骤3，对待识别图片的表计数值信息进行识别，读取表计数值读数；步骤4，对表计数值读数进行复查，通过置信度算法，判断表计数值信息识别是否出现错误，若出现错误，则返回表计数值读数复查标志位，提醒相关工作人员进行人工验证，若没有出现错误，则表计数值读数复查完成，判断表计识别正确。2.根据权利1所述的一种用于表计识别的定位及读数的复查方法，其特征是，所述的步骤1中，待识别图片的表头图像进行识别具体方法为通过基于梯度方向特征的模板匹配技术结合多尺度视角快速搜索技术对表头图像进行识别。3.根据权利要求1所述的一种用于表计识别的定位及读数的复查方法，其特征是，所述的步骤2中，定位复查算法包括孪生追踪网络匹配算法和全图特征点定位配准算法。4.根据权利要求3所述的一种用于表计识别的定位及读数的复查方法，其特征是，所述的步骤2中，验证表头图像识别是否正确具体包括以下子步骤：子步骤1，通过孪生追踪网络匹配算法寻找相似度最高的目标，基于表计识别模板的表头图像，寻找并匹配待识别图片中与表计识别模板的表头图像相似度最高的目标，该目标即为孪生追踪网络匹配算法识别的表头图像，孪生追踪网络匹配算法识别的表头图像和表计识别模板的表头图像进行匹配程度打分，同时对孪生追踪网络匹配算法识别的表头图像和步骤1中进行识别后的表头图像之间进行重叠区域判别，若匹配打分高于设定的第一阈值，且重叠区域大于设定的第二阈值，则表头定位复查通过，跳转至步骤3，若匹配打分不高于设定的第一阈值或重叠区域不大于设定的第二阈值，则跳转至子步骤2；子步骤2，通过全图特征点定位配准算法对待识别图片与表计识别模板进行配准，对待识别图片进行特征点的提取，提取的特征点与表计识别模板进行配准，得出定位区域，定位区域即为全图特征点定位配准算法识别的表头图像，对定位区域、孪生追踪网络匹配算法识别的表头图像和步骤1中进行识别后的表头图像三者之间进行两两验证重叠区域，若所有的重叠区域大于等于设定的第三阈值，则表头定位复查通过，跳转至步骤3，若有重叠区域小于设定的第三阈值，则返回表头定位复查标志位，提示相关工作人员进行人工验证。5.根据权利要求1所述的一种用于表计识别的定位及读数的复查方法，其特征是，所述的步骤3中，所述的表计数值为指针表计指示数值、液位类表计液位指示数值、数字表计指示数值或其他基于神经网络识别的表计数值。6.根据权利要求5所述的一种用于表...

【专利技术属性】
技术研发人员：武诗洋，林文益，李修亮，余宗杰，姚谦，兰骏，
申请(专利权)人：浙江国自机器人技术股份有限公司，
类型：发明
国别省市：