一种自动读取指针式仪表读数的方法技术

本发明专利技术公开了一种自动读取指针式仪表读数的方法，包括：图像采集，利用拍照设备拍摄含有仪表正面的图像作为训练样本；样本制作，将采集的图像通过人为标定制作出仪表部分的图像作为正样本，并随机生成背景部分的图像作为负样本；图像特征提取，从正负样本中提取出数字特征作为训练集；训练分类器，基于训练集得到训练后的分类器，对于新输入的图像，利用分类器SVM预测仪表最可能的位置并提取出仪表图像；图像预处理，将提取到的仪表图像通过图像处理的方法去除掉阴影等干扰；识别仪表的指针和表盘，获取指针的角度和位置信息；利用指针的信息获取读数值。

A method for automatically reading the reading of pointer meters

The invention discloses a method for automatically reading the reading of a pointer-type instrument, which comprises image acquisition, shooting an image containing the front of the instrument with a photographing device as a training sample, sample making, taking the collected image as a positive sample customized by an artificial standard, and randomly generating a picture of the background part. Image is taken as negative sample; image feature is extracted from positive and negative samples as training set; training classifier is trained based on training set to get the classifier. For the new input image, the classifier SVM is used to predict the most possible position of the instrument and extract the instrument image; image preprocessing will extract the mentioned. The instrument image is processed by image processing to remove shadows and other interferences; the pointer and dial of the instrument are identified, and the angle and position information of the pointer are obtained; the reading value is obtained by the pointer information.

【技术实现步骤摘要】
一种自动读取指针式仪表读数的方法
本专利技术属于机器学习和计算机视觉
，尤其涉及一种自动读取指针式仪表读数的方法。
技术介绍
随着机器学习和机器视觉的快速发展，如今计算机理解图像内容变得越来越重要。2016年，图像数据占据了整个互联网的85％。而庞大的信息量依靠人力去处理无疑是一项花费大而收益小的工作，让计算机自己能够识别图像内容才是合理的处理方式。在电力设备中，对仪表读数的监控很重要，仪器如果处于非正常状态会产生严重后果。但是如果单单靠人员去巡检、读数则在效率上和人力消耗上都很成问题。如果能找到一种方法能够通过计算机直接识别含有仪表的照片中仪表的读数，那么巡检人员只需要拍摄到含有仪表的照片就可以自动获取读数，而不需要走到近处再人工去读数。指针仪表的结构简单，方便维修，精度较高，且可抗电磁等干扰，在如今的测试和控制系统中广泛应用，因为其没有数据接口功能，所以一般都使用人工读数的方法，但是这样无疑是一种劳神费力的工作，人工读数的方式效率低下，而且长时间读数会产生视觉疲劳，容易产生误判，所以对于指针式仪表的自动读数识别一直是一个被长期研究的问题。目前很多方法方法都逃脱不了对仪表图像要求的严格，首先是要求图像清晰度高，而且没有要有合适的光照以及很少的背景干扰，可以很容易将指针和表盘分开，并且可以获取刻度，但是实际应用中很难达到这种条件。但是目前很多研究都是基于精心准备的实验数据，而很少有研究在真实现场的指针式仪表读数识别问题。所以为了实用性，减轻指针式仪表读数的人力消耗，急需一种能够应用在现实场景中的自动读取指针式仪表读数的方法。
技术实现思路
专利技术目的：针对现有技术中存在的问题，本专利技术提供一种自动读取指针式仪表读数的方法。通过本专利技术方法构建的指针式仪表读数方法，旨在通过一种自动化的手段，将传统的人工读取指针式仪表读数转化为采集包含仪表的图像，并基于特征提取、SVM(支持向量机)分类和图像处理的方法进行自动读数的问题。技术方案：一种自动读取指针式仪表读数的方法，提出了一种在采集到包含仪表正面部分的图像的情况下通过机器学习和机器视觉方法自动化读数的解决方案，具体包括以下步骤：步骤1，图像采集及预处理：采集含有仪表正面的图像作为输入图像，读取图像中仪表的示数，并对图像进行颜色空间转换和尺寸变化；步骤2，分类器的训练：通过预先采集的含有仪表正面部分的图像，人工选取正好含有完整仪表的窗口为正样本，再随机生成若干不含仪表部分的背景窗口作为负样本，由于图像是由庞大的像素点信息构成，为了利用图像进行训练和对图像分类，需要对图像提取数字特征。将正负样本尺寸归一化并提取梯度方向直方图HOG(HistogramofGradient)特征，作为输入向量，使用线性支持向量机C-SVM(SupportVectorMachine，支持向量机)进行训练获得分类器；步骤3，获取仪表部分图像：对步骤1中采集的图像使用滑动窗口，提取每个窗口的梯度方向直方图HOG特征，并使用训练完成的分类器评估每个窗口的得分，选择最优的窗口作为仪表部分的窗口输出，从而得到仪表部分图像；步骤4，图像的预处理：从步骤3获取的仪表部分的图受到光照、阴影等干扰因素影响，增加了读数的困难，对步骤3得到的仪表部分图像进行直方图均衡化和滤波等操作，得到灰度图，获取更加容易读数的图像；步骤5，仪表指针和表盘的识别：将步骤4得到的灰度图通过canny边缘检测得到边缘图，检测其中的最大圆形即为表盘边缘，获取圆心坐标。再以圆心坐标为基准点检测步骤4得到的灰度图中最有可能的指针点，作为指针所在的直线，得到指针角度；步骤6，获取指针的读数：根据步骤5得到的指针角度，结合表盘数值信息，计算读数。本专利技术步骤1包括：载入采集到的含有仪表正面的图像作为原图像，将原图像按照颜色值转换为灰度图减少通道数可以显著减少检测的耗时，将原图像RGB(RGB即红绿蓝)三通道图像转换为单通道的灰度图。由于原图像尺寸过大，会产生很多待选窗口，而这对检测仪表窗口的帮助不大，所以再进行尺寸等比例缩小，转换比col_pre和row_pre分别表示变换尺寸前的图像的列尺寸和行尺寸，col_cur和row_cur分别表示变换尺寸后的图像的列尺寸和行尺寸，这样可以显著增加检测效率。在进行颜色空间转换和尺寸变换之后，得到了易于操作的含有指针仪表部分的真实场景图像。由于图像是有庞大的像素点信息组成，要进行分类处理，首先是要用更为简短的特征来表示，一般选用dim维特征向量来表示图像信息，表示第n个样本的dim维特征向量的1到dim个分量，并利用分类器加以识别分类，因此步骤2包括：步骤2-1，样本制作：过预先采集含有仪表正面部分的图像，人工选取正好含有完整仪表的窗口为正样本，再随机生成若干不含仪表部分的背景窗口作为负样本；步骤2-2，将正负样本归一到相同行尺寸row_win和列尺寸col_win，提取改变尺寸后的图像的梯度方向直方图HOG特征，将图像像素组织成块结构block，每个块结构由细胞单元cell组成，cell也由若干像素点组成，设定梯度方向直方图HOG特征的参数，包括block块的步长winstride，组成block块的cell数cells，统计方向数nbins，block块的列尺寸col_block和行尺寸row_block，每个样本会得到一个维数为的特征向量；步骤2-3，将正负样本的标签label分别设定为1和-1，利用步骤2-2所述的每个样本对应的n维梯度方向直方图HOG特征向量和标签label作为训练样本，表示第n个样本的dim维特征向量的1到dim个分量，通过解约束条件yn(wTxn+b)≥1-ξn,ξn≥0,＝1,…,|D|下的最优化问题其中|D|是训练数据集的大小，yn是第n个样本的标记，如果样本图像包含仪表则为1，否则为-1；w是权重参数，b是偏置参数，w和b是优化问题求解的目标；ξn是第n个样本的松弛变量，表示样本不满足约束条件yn(wTxn+b)≥1的程度；C是惩罚参数，表示对不满足约束的样本的惩罚值；求解上述的最优化问题即是训练线性支持向量机C-SVM，最终得到一个最优超平面作为分类平面：wTx+b＝0，w和b是求解出的参数，x是样本的HOG特征向量。得到了分类器之后，要利用训练好的分类器对图像中存在的仪表进行识别并提取相应部分的图像，因为仪表只占用图像中的小部分，所以采用滑动窗口进行检测仪表所在的窗口位置，并且由于仪表的尺寸不一，而分类器的特征向量维数是固定的，所以要改变图像的尺寸来进行窗口滑动，因此步骤3包括：步骤3-1，用拍照设备获取待检测图像，通过步骤1所述的方法，将待检测的图像进行尺寸变换和颜色空间转换；步骤3-2，建立行尺寸为row_win、列尺寸为col_win的滑动窗口，利用滑动窗口，根据步长stride改变窗口位置，从左至右从上至下遍历步骤3-1中得到的图像，根据步长和大小在每一步的位置生成一个窗口，并对步骤3-1中得到的图像进行放大和缩小的尺度变换，在放大缩小后不同大小的多张图像用相同的步长和窗口大小在每一步的位置生成一个窗口，从而在滑动窗口大小不变的情况下检测不同大小的仪表，记每次的缩小或放大比例为scale，记每次的缩小或放大比例为scale(比如1.1)，如进本文档来自技高网...

【技术保护点】
1.一种自动读取指针式仪表读数的方法，其特征在于，包括以下步骤：步骤1，图像采集及预处理：采集含有仪表正面的图像作为输入图像，读取图像中仪表的示数，并对图像进行颜色空间转换和尺寸变化；步骤2，分类器的训练：通过预先采集的含有仪表正面的图像，选取含有完整仪表的窗口为正样本，再随机生成不含仪表部分的背景窗口作为负样本，将正负样本尺寸归一化并提取梯度方向直方图HOG特征，作为输入向量，使用线性支持向量机C‑SVM进行训练获得分类器；步骤3，获取仪表部分图像：对步骤1中采集的图像使用滑动窗口，提取每个窗口的梯度方向直方图HOG特征，并使用训练完成的分类器评估每个窗口的得分，选择最优的窗口作为仪表部分的窗口输出，从而得到仪表部分图像；步骤4，图像的预处理：对步骤3得到的仪表部分图像进行直方图均衡化和滤波操作，得到灰度图；步骤5，仪表指针和表盘的识别：将步骤4得到的灰度图边缘检测得到边缘图，检测其中的最大圆形即为表盘边缘，获取圆心坐标，再以圆心坐标为基准点检测步骤4得到的灰度图中最有可能的指针点，作为指针所在的直线，得到指针角度；步骤6，获取指针的读数：根据步骤5得到的指针角度，结合表盘数值信息，计算读数。...

【技术特征摘要】
1.一种自动读取指针式仪表读数的方法，其特征在于，包括以下步骤：步骤1，图像采集及预处理：采集含有仪表正面的图像作为输入图像，读取图像中仪表的示数，并对图像进行颜色空间转换和尺寸变化；步骤2，分类器的训练：通过预先采集的含有仪表正面的图像，选取含有完整仪表的窗口为正样本，再随机生成不含仪表部分的背景窗口作为负样本，将正负样本尺寸归一化并提取梯度方向直方图HOG特征，作为输入向量，使用线性支持向量机C-SVM进行训练获得分类器；步骤3，获取仪表部分图像：对步骤1中采集的图像使用滑动窗口，提取每个窗口的梯度方向直方图HOG特征，并使用训练完成的分类器评估每个窗口的得分，选择最优的窗口作为仪表部分的窗口输出，从而得到仪表部分图像；步骤4，图像的预处理：对步骤3得到的仪表部分图像进行直方图均衡化和滤波操作，得到灰度图；步骤5，仪表指针和表盘的识别：将步骤4得到的灰度图边缘检测得到边缘图，检测其中的最大圆形即为表盘边缘，获取圆心坐标，再以圆心坐标为基准点检测步骤4得到的灰度图中最有可能的指针点，作为指针所在的直线，得到指针角度；步骤6，获取指针的读数：根据步骤5得到的指针角度，结合表盘数值信息，计算读数。2.根据权利要求1所述的方法，其特征在于，步骤1包括：载入采集到的含有仪表正面的图像作为原图像，将原图像RGB红绿蓝三通道图像转换为单通道的灰度图，并进行尺寸等比例缩小，转换比col_pre和row_pre分别表示变换尺寸前的图像的列尺寸和行尺寸，col_cur和row_cur分别表示变换尺寸后的图像的列尺寸和行尺寸。3.根据权利要求2所述的方法，其特征在于，步骤2包括如下步骤：步骤2-1，样本制作：预先采集含有仪表正面部分的图像，选取正好含有完整仪表的窗口为正样本，再随机生成不含仪表部分的背景窗口作为负样本；步骤2-2，将正负样本归一到相同行尺寸row_win和列尺寸col_win，提取改变尺寸后的图像的梯度方向直方图HOG特征，将图像像素组织成块结构block，每个块结构由细胞单元cell组成，设定梯度方向直方图HOG特征的参数，包括block块的步长winstride，组成block块的cell数cells，统计方向数nbins，block块的列尺寸col_block和行尺寸row_block，每个样本会得到一个维数为的特征向量；步骤2-3，将正负样本的标签label分别设定为1和-1，利用步骤2-2所述的每个样本对应的n维梯度方向直方图HOG特征向量和标签label作为训练样本，表示第n个样本的dim维特征向量的1到dim个分量，通过解约束条件yn(wTxn+b)≥1-ξn,ξn≥0,n＝1,…,|D|下的最优化问题其中|D|是训练数据集的大小，yn是第n个样本的标记，如果样本图像包含仪表则为1，否则为-1；w是权重参数，b是偏置参数，w和b是优化问题求解的目标；ξn是第n个样本的松弛变量，表示样本不满足约束条件yn(wTxn+b)≥1的程度；C是惩罚参数，表示对不满足约束的样本的惩罚值，常选取一个固定的小常数如1.0；求解上述的最优化问题即是训练线性支持向量机C-SVM，最终得到一个最优超平面作为分类平面：wTx+b＝0，w和b是求解出的参数，x是样本的HOG特征向量。4.根据权利要求3所述的方法，其特征在于，步骤3包括如下步骤：步骤3-1，获取待检测图像，将待检测的图像进行尺寸变换和颜色空间转换；步骤3-2，建立行尺寸为row_win、列尺寸为col_win的滑动窗口，利用滑动窗口，根据步长stride改变窗口位置，从左至右从上至下遍历步骤3-1中得到的图像，根据步长和大小在每一步的位置生成一个窗口，并对步骤3-1中得到的图像进行放大和缩小的尺度变换，在放大缩小后不同大小的图像用相同的步长和窗口大小在每一步长移动后的位置生成一个窗口，从而在滑动窗口大小不变的情况下检测不同大小的仪表，记每次的缩小或放大比例为scale，进行一次放大变换后的图像行数和列数的大小分别为row_cur*scale和col_cur*scale，进行一次缩小变换后的图像行数和列数的大小分别为row_cur/scale和col_cur/scale；步骤3-3，对步骤3-2生成的每个窗口提取梯度方向直方图HOG特征向量，并送入训练好的分类器根据y＝wTx+b进行分类，w和b即步骤2-3中求解的参数，x是窗口图像的特征向量，y是预测值，其值越大，该窗口包含仪表的概率越大，选择其中最大y值的窗口作为仪表所在的窗口，在第一次的尺度下得到最优的窗口位置之后，后续改变尺度的图像上检测窗口不再遍历全图，而只在第一次得到的位置的上下左右30个像素的范围内进行窗口滑动与检测，最终得到所有放缩后尺度的图像上最优窗口的左上角坐标(col_retbest，row_retbest)，以横纵坐标顺序；步骤3-4，获取最优窗口位置之后，窗口对应步骤3-1得到的未缩放的输入的待检测图像图像中的位置为和行列尺寸为scalebest表示最优窗口对应...

【专利技术属性】
技术研发人员：杨育彬，周杨浩，李瑮，刘一帆，
申请(专利权)人：南京大学，
类型：发明
国别省市：江苏,32