一种机房设备显示面板数据的智能采集方法技术

本发明专利技术公开了一种机房设备显示面板数据的智能采集方法，包括：S1、机器人采集若干张显示面板的图像，作为训练数据集；S2、将训练数据集输入到改进的faster‑rcnn算法中，训练得到文本检测模型；S3、机器人实时采集显示面板的图像并将其输入到步骤S2训练得到的文本检测模型中，自动标注出所有文本从而得到检测框，输出图像中所有检测框在显示面板中的位置坐标和尺寸信息；S4、提取检测框中的Roi图像，对Roi图像进行图像预处理，保留提取后的数字骨架图像并作为训练样本集；S5、根据训练样本集训练svm分类器，通过svm分类器对单个数字进行分类识别；S6、将数字拼接成字符串输出到客户端显示。本发明专利技术自动化采集数据，降低人工成本，提高数据中心运维效率。

【技术实现步骤摘要】
一种机房设备显示面板数据的智能采集方法
本专利技术涉及图像识别
，具体涉及一种机房设备显示面板数据的智能采集方法。
技术介绍
当今时代人工智能迅速发展，传统行业逐渐寻求从人工密集型向自动化的转型。数据中心机房安装有数量众多的IT设备，包括服务器、网络设备等，这些设备装有各种各样的显示面板，需要人工全天候记录面板读数以检查设备当前的运行状况，不仅会耗费大量的人工成本，而且无法保证数据采集的准确性，容易出现读数或抄录错误的情况，人工全天候抄录数据及其枯燥且效率低下。而现代化测量要求尽可能实现自动化，节省人力同时减少人为因素对测量结果的影响。针对上述情况，虽然一些机房已经采用机器人进行面板数据采集，但从工业界已有的采集方法来看，是基于传统的图像处理，对机器人采集的图片，通过人工标注数字区域，并提取数字区域进行图像预处理，然后用投影法分割单个数字，最后对分割后的数字用穿线法识别。该方法存在以下缺点：（1）由于机房显示面板的种类繁多，数字在面板中的相对位置也各不相同，通过人工标注数字区域的方法确定数字位置，操作复杂不能实现真正的智能化、自动化，且标注的准确性易受主观因素的影响，从而影响最终的识别结果。（2）由于现有技术所使用的图像预处理、投影法等传统方法依赖图像二值化的效果，而二值化等预处理操作对光照适应性较差，光照变化对最终识别结果的影响较大。（3）考虑使用主流的OCR识别库等其他文本识别方法，但往往针对印刷体面板效果较好，而七段数码管数字本身由七小段数码管组成，数码管之间并不粘连，现有的OCR库识别容易将小段数码管单独识别，无法识别整体数字含义，识别精度较低。因此，现有方法的智能化程度低，仍不可避免的需要人工辅助识别，难以达到自动化要求，针对数据中心机房中大量存在的七段数码管类型的数字显示面板，本专利技术提出一种机房设备显示面板数据的智能采集方法。
技术实现思路
本专利技术为了克服以上技术的不足，提供了一种机房设备显示面板数据的智能采集方法，尤其是一种针对机房设备上七段数码管类型的数字显示面板的智能采集方法。本专利技术克服其技术问题所采用的技术方案是：一种机房设备显示面板数据的智能采集方法，包括如下步骤：S1、机器人采集若干张显示面板的图像，作为训练数据集；S2、将训练数据集输入到改进的faster-rcnn算法中，训练得到文本检测模型；S3、机器人实时采集显示面板的图像并将其输入到步骤S2训练得到的文本检测模型中，自动标注出所有文本从而得到检测框，输出图像中所有检测框在显示面板中的位置坐标和尺寸信息；S4、提取检测框中的Roi图像，对Roi图像进行图像预处理，保留提取后的数字骨架图像并作为训练样本集；S5、根据训练样本集训练svm分类器，通过svm分类器对单个数字进行分类识别；S6、将数字拼接成字符串输出到客户端显示。进一步地，步骤S1具体包括：机器人自主导航至待检测设备显示面板的正前方，调用提前设定好的摄像头预置点，自动调整拍摄角度，拍摄至少1000张显示面板的图像，将其作为训练数据集。进一步地，步骤S2中，所述改进的faster-rcnn算法至少包括：特征提取模块、rpn模块以及用于衔接特征提取模块与rpn模块的嵌套LSTM模块。进一步地，所述特征提取模块采用改进的vgg16作为卷积特征提取模块，用于提取训练样本中文本图像像素的空间特征；所述特征提取模块至少包括四个卷积块Conv1、Conv2、Conv3和Conv4，池化层pool以及目标检测特殊层Roipooling，其中，每个卷积块均连接一个最大池化层maxpool，第一个卷积块的第二个卷积层Conv1_2包括两个不同尺寸的卷积核和c个1*1的卷积核，其中，c的取值为2~5，第三个卷积块的第三个卷积层Conv3_3包括两对不同尺寸的非规则交叉卷积核和一个1*1的卷积核。进一步地，所述特征提取模块提取卷积特征的过程包括如下：步骤一、将面板图像输入到特征提取模块，在第一个卷积块的第二个卷积层Conv1_2采用两个不同尺寸的卷积核；步骤二、经步骤一中两个不同尺寸的卷积核继续卷积，然后加入c个1*1的卷积核；步骤三、经第一个卷积块Conv1卷积后，进入第二个卷积块Conv2，经第二个卷积块Conv2卷积后分为两部分，一部分进入池化层pool，另一部分进入第三个卷积块Conv3进行卷积；步骤四、第三个卷积块的第三个卷积层Conv3_3采用两对不同尺寸的非规则交叉卷积核进行卷积以提取不同尺度的特征；步骤五、经第三个卷积块Conv3卷积后，进入第四个卷积块Conv4进行卷积；步骤六、将步骤三中经池化层pool下采样和经步骤五中第四个卷积块Conv4进行卷积后得到的各个卷积块生成的卷积特征图通过目标检测特殊层Roipooling融合，得到最终的卷积特征图。进一步地，所述特征提取模块提取的空间特征输入到嵌套LSTM模块，所述嵌套LSTM模块用于提取空间特征中特征向量之间的关系，把空间特征当作逐帧的特征序列，使得某一帧像素的特征与前一帧或后一帧具备特征上的连续性，生成带有空间特征和时序特征的特征序列。进一步地，所述rpn模块用于将嵌套LSTM模块生成的特征序列按照固定参考框anchor返回到原始输入图像，在原始图像中生成符合待检测文本实际尺寸的检测框，检测框表示文本检测模型的检测结果。进一步地，所述rpn模块生成检测框的过程包括如下：步骤一、经过1024维的全连接层，得到N*1024*H*W的输出，全连接层的输出包括两部分，分别为rpn_bbox_pred和rpn_cls_score两个分支，其中，rpn_cls_score的后方依次连接rpn_cls_score_reshape、rpn_cls_prob和rpn_cls_prob_reshape，所述rpn_bbox_pred用于输出检测框的位置坐标，所述rpn_cls_score用于输出前景和背景分类的得分，所述rpn_cls_prob用于计算固定参考框anchor为前景的概率和为背景的概率；步骤二、所述rpn_bbox_pred输出N*20*H*W，返回预测固定参考框anchor的坐标，坐标包含固定参考框anchor的中心y坐标和高度值，针对它在全连接层特征图上的每个像素点，预测一组不同尺寸不同位置的固定参考框anchor；步骤三、所述rpn_cls_score的输出维度为N*20*H*W，生成背景或前景为2×anchor的二分类输出，rpn_cls_score_reshape将二分类输出的维度转换为N*2*10H*W，rpn_cls_prob输出固定参考框anchor为前景的概率和为背景的概率，rpn_cls_prob_reshape将前景的概率和背景的概率的维度转换为N*20*H*W；步骤四、最终Proposal模块综合检测框的位置坐标以及前景和背景的得分获取检测框，同时剔除超出边界的检测框和小于预设值的检测本文档来自技高网...

【技术保护点】
1.一种机房设备显示面板数据的智能采集方法，其特征在于，包括如下步骤：/nS1、机器人采集若干张显示面板的图像，作为训练数据集；/nS2、将训练数据集输入到改进的faster-rcnn算法中，训练得到文本检测模型；/nS3、机器人实时采集显示面板的图像并将其输入到步骤S2训练得到的文本检测模型中，自动标注出所有文本从而得到检测框，输出图像中所有检测框在显示面板中的位置坐标和尺寸信息；/nS4、提取检测框中的Roi图像，对Roi图像进行图像预处理，保留提取后的数字骨架图像并作为训练样本集；/nS5、根据训练样本集训练svm分类器，通过svm分类器对单个数字进行分类识别；/nS6、将数字拼接成字符串输出到客户端显示。/n

【技术特征摘要】
1.一种机房设备显示面板数据的智能采集方法，其特征在于，包括如下步骤：
S1、机器人采集若干张显示面板的图像，作为训练数据集；
S2、将训练数据集输入到改进的faster-rcnn算法中，训练得到文本检测模型；
S3、机器人实时采集显示面板的图像并将其输入到步骤S2训练得到的文本检测模型中，自动标注出所有文本从而得到检测框，输出图像中所有检测框在显示面板中的位置坐标和尺寸信息；
S4、提取检测框中的Roi图像，对Roi图像进行图像预处理，保留提取后的数字骨架图像并作为训练样本集；
S5、根据训练样本集训练svm分类器，通过svm分类器对单个数字进行分类识别；
S6、将数字拼接成字符串输出到客户端显示。


2.根据权利要求1所述的机房设备显示面板数据的智能采集方法，其特征在于，步骤S1具体包括：机器人自主导航至待检测设备显示面板的正前方，调用提前设定好的摄像头预置点，自动调整拍摄角度，拍摄至少1000张显示面板的图像，将其作为训练数据集。


3.根据权利要求1所述的机房设备显示面板数据的智能采集方法，其特征在于，步骤S2中，所述改进的faster-rcnn算法至少包括：特征提取模块、rpn模块以及用于衔接特征提取模块与rpn模块的嵌套LSTM模块。


4.根据权利要求3所述的机房设备显示面板数据的智能采集方法，其特征在于，所述特征提取模块采用改进的vgg16作为卷积特征提取模块，用于提取训练样本中文本图像像素的空间特征；所述特征提取模块至少包括四个卷积块Conv1、Conv2、Conv3和Conv4，池化层pool以及目标检测特殊层Roipooling，其中，每个卷积块均连接一个最大池化层maxpool，第一个卷积块的第二个卷积层Conv1_2包括两个不同尺寸的卷积核和c个1*1的卷积核，其中，c的取值为2~5，第三个卷积块的第三个卷积层Conv3_3包括两对不同尺寸的非规则交叉卷积核和一个1*1的卷积核。


5.根据权利要求4所述的机房设备显示面板数据的智能采集方法，其特征在于，所述特征提取模块提取卷积特征的过程包括如下：
步骤一、将面板图像输入到特征提取模块，在第一个卷积块的第二个卷积层Conv1_2采用两个不同尺寸的卷积核；
步骤二、经步骤一中两个不同尺寸的卷积核继续卷积，然后加入c个1*1的卷积核；
步骤三、经第一个卷积块Conv1卷积后，进入第二个卷积块Conv2，经第二个卷积块Conv2卷积后分为两部分，一部分进入池化层pool，另一部分进入第三个卷积块Conv3进行卷积；
步骤四、第三个卷积块的第三个卷积层Conv3_3采用两对不同尺寸的非规则交叉卷积核进行卷积以提取不同尺度的特征；
步骤五、经第三个卷积块Conv3卷积后，进入第四个卷积块Conv4进行卷积；
步骤六、将步骤三中经池化层pool下采样和经步骤五中第四个卷积块Conv4进行卷积后得到的各个卷积块生成的卷积特征图通过目标检测特殊层Roipooling融合，得到最终的卷积特征...

【专利技术属性】
技术研发人员：胡金磊，何永林，
申请(专利权)人：上海允登信息科技有限公司，
类型：发明
国别省市：上海;31