一种多视角的指针式仪表识别方法技术

本发明专利技术涉及图像识别技术领域。一种多视角的指针式仪表识别方法，包括：采集图像，并上传至计算机；利用SSD算法进行仪表区域定位；利用ResNet34深度残差神经网络对仪表区域进行分类训练，根据分类结果进行样本图像的初步矫正；利用SSD算法对矫正后的图像进行仪表区域的二次定位；利用所述网络对二次定位后的仪表区域进行回归训练，识别表盘上的指针位置；利用HED边缘检测算法对定位的仪表区域进行表盘边缘检测；根据RANSAC算法进行随机采样，计算仪表表盘的边缘模型；利用缩放比对仪表指针进行矫正，并计算仪表指针与起始针的夹角；根据夹角查阅数据库表，获得仪表盘的刻度。本发明专利技术可以对不同角度拍摄的指针式仪表进行识别。

A multi view recognition method for pointer instrument

The invention relates to the field of image recognition technology. A multi-view pointer instrument recognition method includes: collecting image and uploading it to computer; locating instrument area using SSD algorithm; classifying instrument area using ResNet34 depth residual neural network, preliminary correction of sample image based on classification results; and correcting corrected image using SSD algorithm. For example, the secondary positioning of the instrument area, the regression training of the instrument area after the secondary positioning using the network to identify the position of the pointer on the dial, the HED edge detection algorithm to detect the dial edge of the positioned instrument area, and random sampling based on RANSAC algorithm to calculate the edge model of the dial; The instrument pointer is corrected by scaling ratio, and the angle between the instrument pointer and the starting needle is calculated. The calibration of the instrument panel is obtained by referring to the database table according to the angle. The invention can identify the pointer type instruments which are photographed at different angles.

【技术实现步骤摘要】
一种多视角的指针式仪表识别方法
本专利技术涉及图像识别
，尤其涉及一种多视角的指针式仪表识别方法。
技术介绍
目前，指针式仪表的读取大多数采用人工进行。而人工读取存在以下缺点：1、仪表放置在人难以进入的地方，读取困难；2、人工读取不能保证长时间监测；3、操作人员视觉疲劳易产生读取误差；4、人工读取速度慢。虽然采用机器视觉技术代替人眼进行指针式仪表的识别，能最大限度的减少人为因素的影响，能够提高仪表读取的速度，降低工人的劳动强度。但是现有的少数基于机器视觉的仪表读取方法，在理想状态下可以取得较好的读取效果，但是在实际应用中，由于光照不均匀或者指针式仪表无法与摄像机保持平行等因素，易导致视觉误差，影响读数的精度。专利申请号为201710279811.3，名称为《一种基于机器视觉的指针式仪表识别方法》的中国专利，公开了一种利用机器视觉技术代替人工读取指针式仪表的示数读取方法，通过对仪表图像进行二值化图像处理、图像轮廓提取、刻度轮廓聚类、刻度拟合圆、指针识别、指针细化、求解刻度圆的圆心坐标和刻度展开等一系列的图像处理和计算，读取仪表示数。专利申请号为201710532391.5，名称为《基于机器视觉系统的指针式仪表读数识别》的中国专利，采用机器视觉成像的方法，综合使用摄像机标定和图像识别技术实现测量。这种方法利用CCD摄像机检测指针式仪表表盘的刻度线，计算指针式仪表表盘在该位置下的外部参数，取代传统的光学标定板。通过旋转指针式仪表图像到平行于指针式仪表表盘的位置，消除透视投影畸变，最后同时计算多个指针式仪表的读数。测量过程中，不要求被测指针式仪表与测量系统有特定的位置关系，放松了对测量系统的摆放要求，更有利于实际应用。上述方法多是针对表盘占据面积大、表盘图像清晰、拍摄距离近或正面拍摄的仪表，有较好的识别效果，针对存在侧视、仰视等不同角度的多视角问题，不能准确的读取仪表示数。
技术实现思路
本专利技术的目的在于克服现有的指针式仪表识别方法的不足，提出一种多视角的指针式仪表识别方法。本专利技术可以对不同角度拍摄的指针式仪表进行识别，对侧视、仰视等不同角度拍摄的仪表具有较强的适应能力。为了实现上述目的，本专利技术采用以下技术方案：一种多视角的指针式仪表识别方法，包括以下步骤：步骤1：采集图像，利用摄像机对指针式仪表进行图像采集，并上传至计算机；步骤2：利用SSD算法进行仪表区域定位；步骤3：利用ResNet34深度残差神经网络对仪表区域进行分类训练，根据分类结果进行样本图像的初步矫正；利用SSD算法对矫正后的图像进行仪表区域的二次定位；步骤4：利用ResNet34深度残差神经网络对二次定位后的仪表区域进行回归训练，识别表盘上的指针位置；步骤5：利用HED边缘检测算法对定位的仪表区域进行表盘边缘检测；根据RANSAC算法进行随机采样，计算仪表表盘的边缘模型；步骤6：利用缩放比对仪表指针进行矫正，并计算仪表指针与起始针的夹角；步骤7：根据所述夹角查阅数据库表，获得仪表盘的刻度。进一步地，所述步骤2包括：步骤2.1：对样本数据进行预处理，获得预处理后的样本数据；步骤2.2：构建SSD网络模型，在VGG16的基础网络结构上，将第6层和第7层的全连接层转化成卷积层；增加3个卷积层和一个平均池化层；步骤2.3：对卷积后的每张特征图，采用3×3卷积生成默认框的回归后的坐标和类别概率；每个所述默认框的大小的计算公式为：其中m为特征图数目，smin为最底层默认框大小，smax为最顶层默认框大小；步骤2.4：定义事先标注好的指针式仪表区域为groundtruthbox，通过groundtruthbox对SSD网络模型进行训练；利用训练好的SSD网络进行多角度指针式仪表的精确定位；训练过程如下所示：将实际选取的默认框priorbox和groundtruthbox按照IOU进行匹配，IOUT1的priorbox为正样本，其余为负样本，所述T1为0.7；将priorbox的回归损失由高到低进行排序，选择回归损失最高的M个priorbox作为集合D，匹配成功后的正样本作为集合P，则正样本集为P-D∩P，负样本集为D-D∩P；所述正样本集和负样本集中正样本和负样本的数量比为1:4，即M为priorbox数量的1/4；通过损失函数调整网络参数，完成指针式仪表的定位；所述损失函数为：其中，c为类别概率，l为预测框，N为与groundtruthbox相匹配的priorbox个数；如果N＝0，损失函数为0；Lconf为分类损失部分；Lloc(x,l,g)为预测框l和第g个groundtruthbox的回归损失部分；λ为回归损失的权重，代表了回归损失对整个损失函数的贡献，λ取值为0.5；步骤2.5：利用NMS算法删去重复框体，选取仪表区域。进一步地，所述步骤3包括：步骤3.1：采用ResNet34深度残差神经网络对SSD算法检测出的仪表区域进行分类训练，以仪表区域中指针下方的文字或图案与水平方向所成的夹角a为分类标准，进行训练；步骤3.2：根据分类训练的结果，确定仪表区域相对于水平方向的倾斜角度，通过矩阵变换算法对样本图像原图进行矫正；步骤3.3：利用SSD算法重新对矫正后的样本数据图进行仪表区域定位。进一步地，所述步骤4具体为：利用ResNet34深度残差神经网络对步骤3处理后的仪表盘区域进行回归训练，以水平方向向左为0度起始针，以(0,360]为回归区间，利用事先标注的仪表角度，采用ResNet34深度残差神经网络对仪表盘上指针与起始针角度进行回归训练，利用训练好的网络获得指针与起始针的夹角。进一步地，所述步骤5包括：步骤5.1：以HED边缘检测算法检测后的数据为采样点，根据RANSAC算法随机选取若干个样本点，每个样本点之间的像素间隔必须大于20个像素；步骤5.2：认为仪表表盘边缘为椭圆形，根据所述样本点的坐标和椭圆基本公式计算椭圆方程中的参数，如无解则重新根据RANSAC算法随机选取相同个数的样本点继续进行计算，如果有解，则判断求解的模型是否为椭圆，如不满足条件则舍弃该模型，如满足条件，则统计采样点中满足如下条件的采样点个数：|dis(x,y,c_minus_x,c_minus_y)+dis(x,y,c_plus_x,c_plus_y)-2a|<5(7)其中，(x,y)是采样点的坐标，(c_minus_x,c_minus_y)和(c_plus_x,c_plus_y)是椭圆的焦点坐标，dis(x,y,c_minus_x,c_minus_y)为采样点(x,y)和椭圆的焦点(c_minus_x,c_minus_y)的距离，dis(x,y,c_plus_x,c_plus_y)为采样点(x,y)和椭圆的焦点(c_plus_x,c_plus_y)的距离，a为椭圆方程中x2的参数；步骤5.3：重复步骤5.1、步骤5.2，直至遍历完所有的采样点；步骤5.4：选取包含采样点最多的椭圆方程为最优的边缘模型，根据最优的边缘模型的椭圆方程，获得椭圆方程对应的椭圆的中心和焦点的坐标及长轴的长度。进一步地，所述步骤6包括：步骤6.1：以椭圆的中心为坐标轴中心，以水平方向为X轴、竖直方向为Y轴建立坐标系；步骤6.2：以椭圆中心为圆心，以椭圆的长轴的一半为半径画正本文档来自技高网...

【技术保护点】
1.一种多视角的指针式仪表识别方法，其特征在于，包括以下步骤：步骤1：采集图像，利用摄像机对指针式仪表进行图像采集，并上传至计算机；步骤2：利用SSD算法进行仪表区域定位；步骤3：利用ResNet34深度残差神经网络对仪表区域进行分类训练，根据分类结果进行样本图像的初步矫正；利用SSD算法对矫正后的图像进行仪表区域的二次定位；步骤4：利用ResNet34深度残差神经网络对二次定位后的仪表区域进行回归训练，识别表盘上的指针位置；步骤5：利用HED边缘检测算法对定位的仪表区域进行表盘边缘检测；根据RANSAC算法进行随机采样，计算仪表表盘的边缘模型；步骤6：利用缩放比对仪表指针进行矫正，并计算仪表指针与起始针的夹角；步骤7：根据所述夹角查阅数据库表，获得仪表盘的刻度。

【技术特征摘要】
1.一种多视角的指针式仪表识别方法，其特征在于，包括以下步骤：步骤1：采集图像，利用摄像机对指针式仪表进行图像采集，并上传至计算机；步骤2：利用SSD算法进行仪表区域定位；步骤3：利用ResNet34深度残差神经网络对仪表区域进行分类训练，根据分类结果进行样本图像的初步矫正；利用SSD算法对矫正后的图像进行仪表区域的二次定位；步骤4：利用ResNet34深度残差神经网络对二次定位后的仪表区域进行回归训练，识别表盘上的指针位置；步骤5：利用HED边缘检测算法对定位的仪表区域进行表盘边缘检测；根据RANSAC算法进行随机采样，计算仪表表盘的边缘模型；步骤6：利用缩放比对仪表指针进行矫正，并计算仪表指针与起始针的夹角；步骤7：根据所述夹角查阅数据库表，获得仪表盘的刻度。2.根据权利要求1所述的一种多视角的指针式仪表识别方法，其特征在于，所述步骤2包括：步骤2.1：对样本数据进行预处理，获得预处理后的样本数据；步骤2.2：构建SSD网络模型，在VGG16的基础网络结构上，将第6层和第7层的全连接层转化成卷积层；增加3个卷积层和一个平均池化层；步骤2.3：对卷积后的每张特征图，采用3×3卷积生成默认框的回归后的坐标和类别概率；每个所述默认框的大小的计算公式为：其中m为特征图数目，smin为最底层默认框大小，smax为最顶层默认框大小；步骤2.4：定义事先标注好的指针式仪表区域为groundtruthbox，通过groundtruthbox对SSD网络模型进行训练；利用训练好的SSD网络进行多角度指针式仪表的精确定位；训练过程如下所示：将实际选取的默认框priorbox和groundtruthbox按照IOU进行匹配，IOUT1的priorbox为正样本，其余为负样本，所述T1为0.7；将priorbox的回归损失由高到低进行排序，选择回归损失最高的M个priorbox作为集合D，匹配成功后的正样本作为集合P，则正样本集为P-D∩P，负样本集为D-D∩P；所述正样本集和负样本集中正样本和负样本的数量比为1:4，即M为priorbox数量的1/4；通过损失函数调整网络参数，完成指针式仪表的定位；所述损失函数为：其中，c为类别概率，l为预测框，N为与groundtruthbox相匹配的priorbox个数；如果N＝0，损失函数为0；Lconf为分类损失部分；Lloc(x,l,g)为预测框l和第g个groundtruthbox的回归损失部分；λ为回归损失的权重，代表了回归损失对整个损失函数的贡献，λ取值为0.5；步骤2.5：利用NMS算法删去重复框体，选取仪表区域。3.根据权利要求1所述的一种多视角的指针式仪表识别方法，其特征在于，所述步骤3包括：步骤3.1：采用ResNet34深度残差神经网络对SSD算法检测出的仪表区域进行分类训练，以仪表区域中指针下方的文字或图案与水平方向所成的夹角a为分类标准，进行训练；步骤3.2：根据分类训练的结果，确定仪表区域相对于水平方向的倾斜角度，通过矩阵变换算法对样本图像原图进行矫正；步骤3....

【专利技术属性】
技术研发人员：张晨民，彭天强，李丙涛，
申请(专利权)人：郑州金惠计算机系统工程有限公司，
类型：发明
国别省市：河南,41