一种基于旋转目标检测的指针式仪表自动读数方法技术

本发明专利技术涉及视觉测量技术领域，具体涉及一种基于旋转目标检测的指针式仪表自动读数方法，其主要步骤包括：表盘区域提取与透视变换；指针检测与细化；刻度值识别；读数计算。本方法利用Fast SCNN网络提取表盘区域并进行透视校正，为后续识别工作提供高质量的表盘图像；构建基于R3Det的改进型旋转目标检测网络，获取指针检测框，具有精度高的特点；获得指针骨架、表盘刻度后，采用角度法计算读数，实现自动读数。本发明专利技术提出的基于旋转目标检测的指针式仪表自动读数方法，能精确地定位指针区域，并在该区域内进行带方向的腐蚀去除干扰、拟合指针所在直线，极大地提高了指针提取的精度，尤其对狭细指针具有良好的检测效果。对狭细指针具有良好的检测效果。对狭细指针具有良好的检测效果。

【技术实现步骤摘要】
一种基于旋转目标检测的指针式仪表自动读数方法


[0001]本专利技术属于视觉测量技术研究领域，尤其涉及一种基于旋转目标检测的指针式仪表自动读数方法。

技术介绍

[0002]针对指针式仪表的读数，人工判读的方法易受外界因素和人的主观因素影响，使读数结果存在较大误差。此外，在某些需要频繁读数的重工业现场，如化工、冶金等，人工读数的工作量巨大且内容单一，不仅费时费力，而且无法保证读数的准确性和快速性。同时，有些仪表可能处在高温、高电压或高辐射区域，人工读数会给安生生产带来一系列的隐患。因此，进行指针式仪表的自动读数识别，具有重要的实际意义。
[0003]仪表指针的提取是影响读数准确率的关键步骤之一。提取指针的方法大致可以分为两种，一种是传统的图像处理算法，即去除干扰后利用直线检测、模板匹配等方法确定指针所在的直线，这类方法的适应能力往往比较差，当表盘内背景图案比较复杂时，检测准确率会因干扰过多而剧烈下降；另一种是深度学习技术，主要是利用语义分割算法获取指针区域，但当指针比较狭细时，无法取得良好的分割效果，易将指针像素归类为背景。

技术实现思路

[0004]针对上述现有技术的不足，本专利技术研究了一种基于旋转目标检测的指针式仪表自动读数方法，利用改进的旋转目标检测精确定位指针区域，并在该区域内进行带方向的腐蚀去除干扰、拟合指针所在直线，极大地提高了指针提取的精度。
[0005]为实现上述目的，本专利技术采用的技术方案如下。
[0006]一种基于旋转目标检测的指针式仪表自动读数方法，包括以下步骤：
[0007]步骤(1)，表盘区域提取与透视校正，获得表盘区域校正图像；
[0008]步骤(2)，指针检测与细化，具体步骤如下：
[0009]步骤2.1)构建并训练基于R3Det的改进型旋转目标检测网络，通过旋转目标检测网络获得指针旋转边界框；
[0010]步骤2.2)根据指针旋转边界框构建指针区域的蒙版，叠加到表盘区域校正图像上，并进行阈值分割，获得只包含指针区域的二值图像；
[0011]步骤2.3)对步骤2.2)得到的只包含指针区域的二值图像进行带方向的腐蚀、连通域标记，并对最大的连通域作最小二乘直线拟合，获得指针骨架；
[0012]步骤(3)，刻度值识别；
[0013]步骤(4)，读数计算。
[0014]进一步地，所述步骤(1)的具体步骤如下：
[0015]步骤1.1)，将原始图像输入训练好的Fast SCNN网络，生成表盘区域掩膜图像，所述表盘区域掩膜图像为二值图像，掩膜图像中白色为网络预测出的表盘区域，黑色为背景；
[0016]步骤1.2)，对表盘区域掩膜图像进行椭圆检测，获得表盘轮廓的拟合椭圆，表盘椭
圆的中心坐标、长半轴、短半轴以及倾角分别记为(x
c
,y
c
)、a、b、θ；
[0017]步骤1.3)，利用中心为(x
c
,y
c
)、边长为2a的方形框截取表盘区域图像；
[0018]步骤1.4)，利用表盘椭圆的中心坐标(x
c
,y
c
)、长半轴a、短半轴b以及倾角θ，计算透视变换前后的表盘椭圆四个顶点A、B、C、D和A'、B'、C'、D'的坐标：
[0019][0020]式中，点A、点B为表盘椭圆长半轴顶点，点C、点D为表盘椭圆短半轴顶点；
[0021]步骤1.5)，利用上一步中变换前后的四组顶点坐标得到透视变换矩阵M，透视变换是把空间坐标系中的的三维物体转变为二维图像表示的过程，其完整形式为：
[0022][0023]其中，u和v是原始图像的某点坐标，右侧的三阶矩阵即为透视变换矩阵，经透视变换后得到的对应图像坐标为x和y。将上式变换为等式形式，即：
[0024][0025]将四组顶点的坐标代入以上等式得到八个方程组，联立方程组可得八个参数，即可获得透视变换矩阵M，其中，a
33
＝1。最后将表盘区域图像和透视变换矩阵M点乘获得表盘区域校正图像。
[0026]进一步地，所述步骤2.1)具体步骤如下：
[0027]步骤2.1.1)，对MobileNetv2模型的每个卷积层都进行Batch Norm归一化处理；分别将MobileNetv2模型的第3、4、6个bottleneck结构的输出特征图引出，作为原网络中FPN结构的输入；将定义好的MobileNetv2模型类实例化为R3Det模型骨干网络，完成骨干网络的替换，实现模型轻量化；对MobileNetv2网络的倒残差块进行改进，在Depth
‑
wise卷积模块之后加入高效的注意力模块ECA
‑
net，再令ECA
‑
net输出的权重向量与Depth
‑
wise卷积结果在通道维度上相乘，最后将此结果输入到后续的Point
‑
wise卷积模块；构建得到包含改进的MobileNetv2骨干网络、FPN特征金字塔结构、特征精炼模块和旋转目标检测器的旋转目标检测网络；其中，改进的MobileNetv2骨干网络用以替换原来的ResNet骨干网络，用于提取表盘区域图像特征；FPN特征金字塔结构逐层获取骨干网络提取的特征，并对不同尺度特征进行融合，融合后的特征作为特征精炼模块的输入；特征精炼模块对指针边界框的位置信息重新编码，重建整个特征图来实现特征对齐，使检测的指针边界框更加精准；旋转目标检测器实现带方向的边界框的检测和目标的分类。
[0028]步骤2.1.2)，从采集的仪表图像中裁剪出表盘图像，去除背景，并通过缩放、旋转、
翻转的方式进行数据集的扩充，获得第二数据集；采用图像标注工具Labelme标注第二数据集，获得指针区域的位置标签文件，将表盘图像和对应的位置标签文件按4:1划分为训练集和测试集，将训练集输入到上述步骤2.1.1)中构建的旋转目标检测网络进行训练，利用测试集对本网络进行测试；再将步骤1.3)中获得的表盘区域校正图像输入到训练好的网络中，获得指针旋转边界框。
[0029]进一步地，所述步骤2.2)的具体步骤如下：
[0030]步骤2.2.1)，利用指针旋转边界框的顶点坐标计算旋转角度θ
r
，四个顶点坐标依次记为(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)，取最长的一条边计算角度，设顶点(x1,y1)、(x2,y2)所在边最长，则旋转角度θ
r
的计算公式为：
[0031][0032]通过旋转角度θ
r
获得旋转矩阵R1，然后利用旋转矩阵R1对表盘区域校正图像进行旋转变换，将指针旋转至水平位置，使用图像切片方法截取指针区域图像，再对指针区域图像单独进行Otsu阈值分割，获得最佳的分割阈值T；
[0033]步骤2.2.2)，创建一张大小与表盘区域校正图像一致、像素值全为0的空白图像，利用指针旋转边界框的顶点坐本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于旋转目标检测的指针式仪表自动读数方法，其特征在于，包括以下步骤：步骤(1)，表盘区域提取与透视校正，获得表盘区域校正图像；步骤(2)，指针检测与细化，具体步骤如下：步骤2.1)构建并训练基于R3Det的改进型旋转目标检测网络，通过旋转目标检测网络获得指针旋转边界框；步骤2.2)根据指针旋转边界框构建指针区域的蒙版，叠加到表盘区域校正图像上，并进行阈值分割，获得只包含指针区域的二值图像；步骤2.3)对步骤2.2)得到的只包含指针区域的二值图像进行带方向的腐蚀、连通域标记，并对最大的连通域作最小二乘直线拟合，获得指针骨架；步骤(3)，刻度值识别；步骤(4)，读数计算。2.根据权利要求1所述的基于旋转目标检测的指针式仪表自动读数方法，其特征在于，所述步骤(1)的具体步骤如下：步骤1.1)，将原始图像输入训练好的Fast SCNN网络，生成表盘区域掩膜图像，所述表盘区域掩膜图像为二值图像，掩膜图像中白色为网络预测出的表盘区域，黑色为背景；步骤1.2)，对表盘区域掩膜图像进行椭圆检测，获得表盘轮廓的拟合椭圆，表盘椭圆的中心坐标、长半轴、短半轴以及倾角分别记为(x
c
,y
c
)、a、b、θ；步骤1.3)，利用中心为(x
c
,y
c
)、边长为2a的方形框截取表盘区域图像；步骤1.4)，利用表盘椭圆的中心坐标(x
c
,y
c
)、长半轴a、短半轴b以及倾角θ，计算透视变换前后的表盘椭圆四个顶点A、B、C、D和A'、B'、C'、D'的坐标：式中，点A、点B为表盘椭圆长半轴顶点，点C、点D为表盘椭圆短半轴顶点，利用变换前后的顶点坐标得到透视变换矩阵M，再将表盘区域图像和透视变换矩阵M点乘获得表盘区域校正图像。3.根据权利要求1所述的基于旋转目标检测的指针式仪表自动读数方法，其特征在于，所述步骤2.1)的具体步骤如下：步骤2.1.1)，构建得到包含改进的MobileNetv2骨干网络、FPN特征金字塔结构、特征精炼模块和旋转目标检测器的旋转目标检测网络；所述改进的MobileNetv2骨干网络包括对MobileNetv2模型的每个卷积层都进行Batch Norm归一化处理；分别将MobileNetv2模型的第3、4、6个bottleneck结构的输出特征图引出，作为原网络中FPN结构的输入；对MobileNetv2网络的倒残差块进行改进，在Depth
‑
wise卷积模块之后加入高效的注意力模块ECA
‑
net，再令ECA
‑
net输出的权重向量与Depth
‑
wise卷积结果在通道维度上相乘，最后将此结果输入到后续的Point
‑
wise卷积模块；其中，所述改进的MobileNetv2骨干网络用以替换原来的ResNet骨干网络，用于提取表
盘区域图像特征；FPN特征金字塔结构逐层获取骨干网络提取的特征，并对不同尺度特征进行融合，融合后的特征作为特征精炼模块的输入；特征精炼模块对指针的边界框的位置信息重新编码，重建整个特征图来实现特征对齐，使检测的指针的边界框更加精准；旋转目标检测器实现带方向的边界框的检测和目标的分类；步骤2.1.2)，从采集的仪表图像中裁剪出表盘图像，去除背景，并通过缩放、旋转、翻转的方式进行数据集的扩充，获得第二数据集；采用图像标注工具Labelme标注第二数据集...

【专利技术属性】
技术研发人员：熊邦书，谭澄圭，章照中，欧巧凤，余磊，饶智博，
申请(专利权)人：南昌航空大学，
类型：发明
国别省市：