一种基于机器视觉的表计自动建模方法技术

本发明专利技术公开了一种基于机器视觉的表计自动建模方法，解决了现有技术的不足，包括以下步骤：步骤1，建立表计母模库；步骤2，通过reid分类网络将待建模表计图片的表头图像和母模库的特征表计图片进行匹配；步骤3，选择置信度排名前若干位的母模库的特征表计图片作为候选母模；步骤4，待建模表计图片的表头图像与候选母模通过表计指示关键区域的模板进行匹配，匹配完成后和步骤3中的置信度结合确定最终置信度，最终置信度最高的候选母模即为待建模表计图片匹配的最佳母模；步骤5，计算最佳母模和待建模表计图片的单应矩阵，根据单应矩阵换算待建模表计图片的表计指示关键区域，完成待建模表计的建模。模表计的建模。模表计的建模。

【技术实现步骤摘要】
一种基于机器视觉的表计自动建模方法


[0001]本专利技术涉及自动建模
，尤其是指一种基于机器视觉的表计自动建模方法。

技术介绍

[0002]在一些传统工业行业中，如变电站、化工厂、炼油厂等领域，需要使用各种类型的仪表来随时监测数据，以保障每个设备的正常运行。但是现有的表计，需要人工读数，绝大多数工业场所因占地面积大，设备分散，人工读数时，很难及时发现某个区域仪表数值的异常；加之人工作业不但成本高、效率低还存在很大的安全隐患。
[0003]随着智能电网概念的提出，变电站操作和运维技术都朝着无人化、智能化的方向发展。因此，目前依靠巡检人员去读指针表读数并记录的传统方式，也逐渐将被基于机器视觉的指针表自动识别所取代。
[0004]目前这些表计检测和识别及方法，主流方法都是基于预先按照标记点拍照的大图，选取一张该标记点的高清图片，将该标记点的表类型及用于表头读数识别的各种先验信息记录入模板；巡检时，在该标记点按照与模板一致的拍照尺度、角度、焦距进行拍照，保证测试图和模板图尽量一致，然后通过算法实现测试图和模板图的配准进而实现表头的检测定位，然后利用模板中先验信息通过算进行读数识别。
[0005]专利CN 111598109 A提出使用滤波，边缘检测，膨胀腐蚀，Hough圆检测表盘与刻度圆型，Hough直线变换检测指针的方法来自动识别指针表读数。该方法存在以下几个问题：
[0006]1.使用的方法均为图像处理的常规方法，对光照、表盘污染(灰层、雨水、标签)等情况无法处理；
[0007]2.无法准确获取细小指针与细小刻度位置。
[0008]3.无法准确获取表计的量程与刻度起点终点位置，其自动识别方法需要人工干预。
[0009]专利CN 110909738 A采集指针表的正面RGB图像，使用关键点检测网络获取定位位置和表盘上刻度线和指针的关键点。根据关键点拟合刻度线及指针线，最后根据指针线与刻度线构成的圆弧角度计算指针表读数。改方法存在以下几个问题：
[0010]1.该方法对表计的角度要求高，需要正面高清图，变电站机器人巡检由于线路与高度的原因，拍摄的表计往往存在上下左右各个倾斜角度，因而不能大范围推广至机器人巡检中；
[0011]2.该方法的关键点涉及指针位置，刻度位置等，因而只能处理刻度，指针特征明显的表计，变电站中存在许多指针与刻度非常细小的雷击表，该方法并不适用。
[0012]3.该方法扩展性弱，针对新表需要重新大量标注关键信息，重新训练模型。

技术实现思路

[0013]本专利技术的目的是克服现有技术中指针表自动识别技术费事费力，且误差较高、扩展性较差的缺点，提供一种基于机器视觉的表计自动建模方法。
[0014]本专利技术的目的是通过下述技术方案予以实现：
[0015]一种基于机器视觉的表计自动建模方法，包括以下步骤：
[0016]步骤1，建立表计母模库，母模库包括特征表计图片，建立使用faster
‑
rcnn的表头检测网络并进行训练，建立reid分类网络并进行训练；
[0017]步骤2，输入待建模表计图片，根据表头检测网络寻找待建模表计图片的表头图像，然后通过reid分类网络将待建模表计图片的表头图像和母模库的特征表计图片进行匹配；
[0018]步骤3，匹配完成后，根据置信度由高到低将母模库的特征表计图片按顺序排列，选择置信度排名前若干位的母模库的特征表计图片作为候选母模；
[0019]步骤4，待建模表计图片的表头图像与候选母模通过表计指示关键区域的模板进行匹配，匹配完成后和步骤3中的置信度结合确定最终置信度，最终置信度最高的候选母模即为待建模表计图片匹配的最佳母模；
[0020]步骤5，计算最佳母模和待建模表计图片的单应矩阵，根据单应矩阵换算待建模表计图片的表计指示关键区域，完成待建模表计的建模。
[0021]Reid：Person Re
‑
identification(行人重识别)，是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术，广泛被认为是一个图像检索的子问题，此处应用于同类表头检索。在待建模表计图片预测时，去掉reid模型最后的全连接层，使用网络提取特征，最后算出待分类图和表计母模库中所有图片特征之间的距离，根据距离排序选择需要的结果。
[0022]reid技术能够尽量把外观相近的表认为是同一id，但由于光照、外观新旧、标牌等干扰影响，算法还是时常发生将不同量程、但外观相近的表id混淆。因此提出了表计指示关键区域模板匹配技术，来排除许多外观相似表但量程不一致的候选母模，这是基于母模先验知识，有效降低表头检测分类误报的一种技术手段。
[0023]作为一种优选方案，所述的步骤1中，表计母模库建立的方法为人工输入若干个特征表计图片，每个特征表计图片代表一类表计，表计母模库为动态更新的表计母模库，对于一个新输入的特征表计图片，若此特征表计图片与表计母模库内现有的特征表计图片的相似度小于设定的阈值，则判断为新类别的特征表计图片，表计母模库收入此特征表计图片代表新一类表计。
[0024]作为一种优选方案，所述的步骤1中，表头检测网络训练的具体方法为：标注特征表计图片中的表头位置进行faster
‑
rcnn模型训练，Faster
‑
rcnn训练将整张图片输入cnn网络进行特征提取，然后使用候选框提取网络生成一对锚框，对锚框进行裁剪后通过softmax判断锚点属于前景或后景，即是物体或非物体，同时另一只分支边框回归修正锚框，形成较精确的候选框，然后将建议窗口映射到cnn的最后一层卷积特征图上，通过ROI pooling层使每个ROI生成固定尺寸的特征图片，最后通过softmax Loss和Smooth L1 Loss对分类概率和边框回归进行联合训练。
[0025]作为一种优选方案，所述的步骤1中，reid分类网络训练的具体方法为：首先使用
一个残差网络作为主干网络来提取目标物体特征，然后通过特征之间的距离去衡量特征的相似度，并优化这些距离，优化方法为使用三元组损失方法，即同时输入3张图片，包含一对正样本和一对负样本，不断拉近正样本间距离，推远负样本间距离，提高reid效果。
[0026]作为一种优选方案，所述的表计为指针表，所述的步骤4中，表计指示关键区域为刻度关键区域，匹配包括以下步骤：
[0027]步骤4
‑
1，提取待建模表计图片的表头图像的梯度幅值；
[0028]步骤4
‑
2，保留梯度幅值前30％的像素点计算梯度方向；
[0029]步骤4
‑
3，使用上下左右平移的方法按角度余弦平方值进行模板匹配；
[0030]步骤4
‑
4，匹配值加步骤3中的置信度即为最终置信度，最终置信度最高的为最佳母模。
[0031]匹配的原理为：根据候选母模模板上的表头，选取指针表上本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于机器视觉的表计自动建模方法，其特征是，包括以下步骤：步骤1，建立表计母模库，母模库包括特征表计图片，建立使用faster
‑
rcnn的表头检测网络并进行训练，建立reid分类网络并进行训练；步骤2，输入待建模表计图片，根据表头检测网络寻找待建模表计图片的表头图像，然后通过reid分类网络将待建模表计图片的表头图像和母模库的特征表计图片进行匹配；步骤3，匹配完成后，根据置信度由高到低将母模库的特征表计图片按顺序排列，选择置信度排名前若干位的母模库的特征表计图片作为候选母模；步骤4，待建模表计图片的表头图像与候选母模通过表计指示关键区域的模板进行匹配，匹配完成后和步骤3中的置信度结合确定最终置信度，最终置信度最高的候选母模即为待建模表计图片匹配的最佳母模；步骤5，计算最佳母模和待建模表计图片的单应矩阵，根据单应矩阵换算待建模表计图片的表计指示关键区域，完成待建模表计的建模。2.根据权利要求1所述的一种基于机器视觉的表计自动建模方法，其特征是，所述的步骤1中，表计母模库建立的方法为人工输入若干个特征表计图片，每个特征表计图片代表一类表计，表计母模库为动态更新的表计母模库，对于一个新输入的特征表计图片，若此特征表计图片与表计母模库内现有的特征表计图片的相似度小于设定的阈值，则判断为新类别的特征表计图片，表计母模库收入此特征表计图片代表新一类表计。3.根据权利要求1所述的一种基于机器视觉的表计自动建模方法，其特征是，所述的步骤1中，表头检测网络训练的具体方法为：标注特征表计图片中的表头位置进行faster
‑
rcnn模型训练，Faster
‑
rcnn训练将整张图片输入cnn网络进行特征提取，然后使用候选框提取网络生成一对锚框，对锚框进行裁剪后通过softmax判断锚点属于前景或后景，即是物体或非物体，同时另一只分支边框回归修正锚框，形成较精确的候选框，然后将建议窗口映射到cnn的最后一层卷积特征图上，通过ROIpooling层使每个ROI生成固定尺寸的特征图片，最后通过softmax Loss和Smooth L1 Loss对分类概率和边框回归进行联合训练。4.根据权利要求1所述的一种基于机器视觉的表计自动建模方法，其特征是，所述的步骤1中，reid分类网络训练的具体方法为：首先使用一个残差网络作为主干网络来提取目标物体特征，然后通过特征之间的距离去衡量特征的相似度，并优化这些距离，优化方法为使用三元组损失方法，即同时输入3张图片，包含一对正样本和一对负样本，不断拉近正样本间距离，推远负样本间距离，提高reid效果。5.根据权利要求1所述的一种基于机器视觉的表计自动建模方法，其特征是，所述的表计为指针表，所述的步骤4中，表计指示关键区域为刻度关键区域，匹配包括以下步骤：步骤4
‑
1，提取待建模表计图片的表头图像的梯度幅值；步骤4
‑
2，保留梯度幅值前30％的像素点计算梯度方向；步骤4
‑
3，使用上下左右平移的方法...

【专利技术属性】
技术研发人员：林文益，武诗洋，李修亮，余宗杰，姚谦，兰骏，
申请(专利权)人：浙江国自机器人技术股份有限公司，
类型：发明
国别省市：