一种指示灯状态的巡检方法、装置、设备和介质制造方法及图纸

本发明专利技术提供一种指示灯状态的巡检方法、装置、设备和介质，方法包括建模过程和巡检过程；建模过程是：获得不同时刻针对巡检点处采集的图像n张并叠加得到叠加图像，完成整张图像的指示灯识别，将叠加图像、有效识别区域和每个指示灯信息作为该巡检点的模板信息进行保存，得到模板图像；巡检过程是：获得不同时刻针对巡检点处采集的图像n张并叠加后得到巡检图像；对模板图像和巡检图像进行匹配，完成巡检图像中有效区域的定位，并计算出每个指示灯的位置；将巡检图像转换到HSV颜色空间，利用颜色范围表识别巡检图像中指示灯状态，并与模板图像指示灯的状态进行对比，得到巡检结果。不仅提高了自动化程度，且有效保证了巡检结果的准确率。

Inspection method, device, equipment and medium of indicator light status

【技术实现步骤摘要】
一种指示灯状态的巡检方法、装置、设备和介质
本专利技术涉及计算机
，特别涉及一种指示灯状态识别的方法、装置、设备和介质。
技术介绍
随着网络技术和云技术的快速发展，越来越多的机构都成立了自己的互联网数据中心机房。为保障机房内各项设备安全稳定的运行，需要定期对机房进行巡检。目前，机房设备是否正常运行是通过指示灯的亮灯状态来指示，指示灯状态巡检的主要目标是找出机房内的异常设备进行检修，也就是对指示灯存在异常状态时进行位置和状态记录，然后及时进行相应的设备维修，继而保障整个机房的正常运行。通常指示灯的正常状态是绿色或者蓝色的，异常主要有以下几种情况：一是指示灯灭掉，也就是指示灯正常是亮起的，但是巡检发现它灭掉了，说明此时设备存在故障；二是指示灯亮红色灯或橙色灯，也就是指示灯之前是绿色或者蓝色，但是巡检发现它此时为红色或者橙色，说明此时设备存在异常。传统的巡检方式是专业的巡检人员定期去执行巡检任务，填写巡检报告。这种方式存在明显的缺点：1.需要专业的巡检人员才能完成，成本高；2.长期巡检会出现视觉疲劳，不可避免的出现漏检、误检，准确率无法保证；3.巡检的周期较长，一旦出现问题，无法及时给出告警，及时性无法保证。为改善人工巡检的这些缺点，有很多智能化的巡检方法被提出。如于20191001公开的，申请号为201910551179.2的中国专利技术揭示了一种基于机房巡检机器人的机房巡检系统，其利用机房巡检机器人上安装的VR全景摄像头，结合opengles技术在便携式终端设备上展示机房的实时画面。该系统虽然采用巡检机器人替代人工行走，但是最终还是需要人工进行状态判断，没有从根本上解决问题，视觉疲劳导致的准确率下降的问题依然存在。再如于20181221公开的，申请号为201810999703.8的中国专利技术提出了一种基于智能巡检机器人的指示灯状态识别方法，其是先构建指示灯模板库，然后利用智能巡检机器人的摄像头采集指示灯的视频流数据，再从视频流中提取单帧图像，结合检测算法对指示灯定位，最后计算该指示灯的颜色直方图和模板库中的颜色直方图相似度，相似度高的则为该指示灯的颜色。该方法除了利用巡检机器人视觉代替人眼，还结合了算法进行指示灯识别，提高了巡检的通用性和效率，但是它仍存在一个问题，它无法巡检闪烁状态的指示灯，因为它只是提取了单帧图像进行判断，若刚好采集到指示灯闪烁到灯暗状态时的图像，就会误认为异常，这样也就无法保障巡检的准确率。
技术实现思路
本专利技术要解决的技术问题，在于提供一种指示灯状态的巡检方法、装置、设备和介质，极大地提高了识别的准确率，且自动化程度高。第一方面，本专利技术提供了一种指示灯状态的巡检方法，包括建模过程和巡检过程；所述建模过程是：获得不同时刻针对巡检点处采集的图像n张，n的取值至少要保证指示灯的亮灯状态被捕捉到，利用叠加算法完成n张图像的叠加，得到叠加图像，利用识别算法完成整张图像的指示灯识别，将叠加图像、有效识别区域和每个指示灯信息作为该巡检点的模板信息进行保存，得到模板图像，完成建模；所述巡检过程，进一步包括：(1)有效区域的定位过程，即获得不同时刻针对巡检点处采集的图像n张，并且利用叠加算法完成叠加后，得到该巡检点处的巡检图像；利用模板匹配算法对模板图像和巡检图像进行匹配，完成巡检图像中有效区域的定位；(2)指示灯位置的计算过程，在巡检图像中有效区域中计算出待每个识别指示灯的位置；(3)指示灯状态识别过程，即将巡检图像转换到HSV颜色空间，取出当前待识别的指示灯的HSV图像，利用颜色范围表获取常见指示灯颜色对应的像素点个数，取像素点个数最多对应的颜色即为当前指示灯的颜色，从而识别巡检图像中指示灯状态，并与模板图像指示灯的状态进行对比，得到巡检结果。第二方面，本专利技术提供了一种指示灯状态的巡检装置，包括：建模模块，用于获得不同时刻针对巡检点处采集的图像n张，n的取值至少要保证指示灯的亮灯状态被捕捉到，利用叠加算法完成n张图像的叠加，得到叠加图像，利用识别算法完成整张图像的指示灯识别，将叠加图像、有效识别区域和每个指示灯信息作为该巡检点的模板信息进行保存，得到模板图像，完成建模；巡检模块，进一步包括：(1)有效区域的定位模块，用于获得不同时刻针对巡检点处采集的图像n张，并且利用叠加算法完成叠加后，得到该巡检点处的巡检图像；利用模板匹配算法对模板图像和巡检图像进行匹配，完成巡检图像中有效区域的定位；(2)指示灯位置的计算模块，用于在巡检图像中有效区域中计算出待每个识别指示灯的位置；(3)指示灯状态识别模块，用于将巡检图像转换到HSV颜色空间，取出当前待识别的指示灯的HSV图像，利用颜色范围表获取常见指示灯颜色对应的像素点个数，取像素点个数最多对应的颜色即为当前指示灯的颜色，从而识别巡检图像中指示灯状态，并与模板图像指示灯的状态进行对比，得到巡检结果。第三方面，本专利技术提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述的方法。第四方面，本专利技术提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的方法。本专利技术实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：本申请实施例提供的方法、装置、设备和介质，其建模过程和巡检过程中均是针对巡检点采集多张图像利用叠加算法进行叠加后，作为后续的识别基础，。结合有效区域定位算法完成有效区域的定位，进一步完成指示灯状态识别后，进行建模数据和巡检数据的对比，得到巡检结果，极大地提高了识别的准确率。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。附图说明下面参照附图结合实施例对本专利技术作进一步的说明。图1为本专利技术应用场景示意图；图2为本专利技术实施例一中方法中建模过程的流程图；图2a为本专利技术实施例一中方法中巡检过程的流程图；图3为本专利技术叠加计算过程的流程图；图4为本专利技术巡检图像中有效区域的定位过程的流程图；图5为本专利技术实施例二中装置的结构示意图；图6为本专利技术实施例三中电子设备的结构示意图；图7为本专利技术实施例四中介质的结构示意图。具体实施方式本申请实施例通过提供一种指示灯状态的巡检方法、装置、设备及介质，以提高识别的准确率，并提高自动化程度。本申请实施例中的技术方案，总体思路如下：分为建模过程和巡检过程，建模过程和巡检过程中均是针对巡检点内采集多张图像，再利用叠加算法进行叠加后，作为后续的识别基础，由于采集多张图像必然针对不同的时刻，无论指示灯如何闪烁，多张图像中只要有一张的指示灯是亮的状态，即可说明机房设备的相应功能处于正常工作状态，均能大大提高采集到指示灯亮灯状态图像的概率，本文档来自技高网...

【技术保护点】
1.一种指示灯状态的巡检方法，其特征在于：包括建模过程和巡检过程；/n所述建模过程是：获得不同时刻针对巡检点处采集的图像n张，n的取值至少要保证指示灯的亮灯状态被捕捉到，利用叠加算法完成n张图像的叠加，得到叠加图像，利用识别算法完成整张图像的指示灯识别，将叠加图像、有效识别区域和每个指示灯信息作为该巡检点的模板信息进行保存，得到模板图像，完成建模；/n所述巡检过程，进一步包括：/n(1)有效区域的定位过程，即获得不同时刻针对巡检点处采集的图像n张，并且利用叠加算法完成叠加后，得到该巡检点处的巡检图像；利用模板匹配算法对模板图像和巡检图像进行匹配，完成巡检图像中有效区域的定位；/n(2)指示灯位置的计算过程，在巡检图像中有效区域中计算出待每个识别指示灯的位置；/n(3)指示灯状态识别过程，即将巡检图像转换到HSV颜色空间，取出当前待识别的指示灯的HSV图像，利用颜色范围表获取常见指示灯颜色对应的像素点个数，取像素点个数最多对应的颜色即为当前指示灯的颜色，从而识别巡检图像中指示灯状态，并与模板图像指示灯的状态进行对比，得到巡检结果。/n

【技术特征摘要】
1.一种指示灯状态的巡检方法，其特征在于：包括建模过程和巡检过程；
所述建模过程是：获得不同时刻针对巡检点处采集的图像n张，n的取值至少要保证指示灯的亮灯状态被捕捉到，利用叠加算法完成n张图像的叠加，得到叠加图像，利用识别算法完成整张图像的指示灯识别，将叠加图像、有效识别区域和每个指示灯信息作为该巡检点的模板信息进行保存，得到模板图像，完成建模；
所述巡检过程，进一步包括：
(1)有效区域的定位过程，即获得不同时刻针对巡检点处采集的图像n张，并且利用叠加算法完成叠加后，得到该巡检点处的巡检图像；利用模板匹配算法对模板图像和巡检图像进行匹配，完成巡检图像中有效区域的定位；
(2)指示灯位置的计算过程，在巡检图像中有效区域中计算出待每个识别指示灯的位置；
(3)指示灯状态识别过程，即将巡检图像转换到HSV颜色空间，取出当前待识别的指示灯的HSV图像，利用颜色范围表获取常见指示灯颜色对应的像素点个数，取像素点个数最多对应的颜色即为当前指示灯的颜色，从而识别巡检图像中指示灯状态，并与模板图像指示灯的状态进行对比，得到巡检结果。


2.根据权利要求1所述的一种指示灯状态巡检的方法，其特征在于：
所述建模过程和所述有效区域的定位过程中，采集巡检点处的图像的规则由一配置文件中配置，所述配置文件的配置项包括采集频率和n的取值。


3.根据权利要求1所述的一种指示灯状态巡检的方法，其特征在于：所述建模过程和所述有效区域的定位过程中，所述叠加算法是：

S11、输入n张采集的图像；
S12、将每张图像，从RGB颜色空间转换到HSV颜色空间；
S13、在HSV颜色空间，计算每张图像的掩码图，对于每个像素点，HSV范围位于指示灯颜色HSV范围内的掩码图上的值为1，否则为0；
S14、计算HSV颜色空间叠加后的图像，如公式(1)所示：



其中Ihsvi表示第i张HSV图像，且i＝0,1,...N-1，Mi表示第i张掩码图，Ihsv表示叠加后的HSV图像；
S15、将叠加后的HSV图像转换回BGR颜色空间；
S16、输出最终的叠加图像。


4.根据权利要求1所述的一种指示灯状态巡检的方法，其特征在于：所述建模过程中，利用识别算法完成整张图像的指示灯识别的具体过程是：
S21、将叠加图像转换到HSV颜色空间，利用颜色范围判断获取相应的掩码图；
S22、在掩码图中，利用轮廓查找算法找出指示灯的轮廓，并筛选去除误判的轮廓，完成指示灯的定位和状态判断；
S23、利用连通域标记算法完成指示灯的定位位置去重，结合HSV图像进行颜色复判。


5.根据权利要求1所述的一种指示灯状态巡检的方法，其特征在于：所述有效区域的定位过程中，利用模板匹配算法对模板图像和巡检图像进行匹配，完成巡检图像中有效区域的定位的过程是：
S31、利用Scharr算子计算模板图中的有效区域的梯度图像，然后根据图像金字塔，得到多尺度模板梯度图像；
S32、利用Scharr算子计算巡检图像整幅图像的梯度图像，得到巡检梯度图像；
S33、在巡检梯度图像中按顺序依次在有效区域大小的矩形窗口M×N内计算巡检梯度与多尺度模板梯度图像之间的标准相关性系数，取得分最高者对应的位置为最佳匹配位置，得分最高者对应的尺度为最佳匹配尺度；
其中，计算标准相关性系数的公式如(2)所示：



R(u,v)表示标准相关性系数图像在像素点(u,v)处的取值；
M为矩形窗口的宽度，N为矩形窗口的高度，单位均为像素；
g表示模板梯度图；

是模板梯度图的平均值：
f表示巡检梯度图，宽度至少为M，高度至少为N；

是巡检梯度图在矩形窗口内的平均值：
j表示水平方向控制变量，取值范围是j＝0～M-1；
k表示竖直方向控制变量，取值范围是k＝0～N-1。


6.一种指示灯状态的巡检装置，其特征在于：包括：
建模模块，用于获得不同时刻针对巡检点处采集的图像n张，n的取值至少要保证...

【专利技术属性】
技术研发人员：申心兰，林志伟，蓝立强，张登峰，郑淼，
申请(专利权)人：福建升腾资讯有限公司，
类型：发明
国别省市：福建;35