一种低成本多通道实时数字仪表盘视觉识别方法及系统技术方案

本发明专利技术提供了一种低成本多通道实时数字仪表盘视觉识别方法及系统，包括：S1、数字区域配置；包括数码管区域配置和数码管小数点信息配置S2：子区域ROI预处理；S3：子区域识别；S4：子区域后处理；S5：对数字识别模型进行训练、更新、测试；S6：发布完成模型。本发明专利技术针对仪表盘的识别难点逐一解决，从而更好的应用于工业生产监控中。

【技术实现步骤摘要】
一种低成本多通道实时数字仪表盘视觉识别方法及系统
本专利技术属于工业生产监控领域，特别是涉及到一种低成本多通道实时数字仪表盘视觉识别方法及系统。
技术介绍
识别各种仪器仪表示数任务不同于传统的光学字符识别(OCR)问题，更接近于自然场景的文本识别问题，这方面的研究从整体上可以分为检测(Detection)和识别(Recognition)两个部分；与文档类的OCR问题不同的是，各种仪器仪表示数中的数字检测本身是一件十分困难的事情，许多学者进行了很多的尝试。在深度学习方法出现之前，基于传统的手工设计特征(HandcraftFeatures)，包括基于连通区域，以及基于HOG的检测框描述的方法是比较主流的；如通过最大稳定极值区域(MSER-MaximallyStableExtremalRegions)得到字符的候选，并将这些字符候选看作连通图(graph)的顶点，此时就可以将文本行的寻找过程视为聚类(clustering)的过程，因为来自相同文本行的文本通常具有相同的方向、颜色、字体以及形状。在OPENCV中实现了MSER的场景文字检测和识别的算法。在基于深度学习的办法中，目前看到的大多数解决办法还是检测和识别分开来研究，并没有真正的看检测和识别的端到端完成识别的成果。Detection部分大多数也是基于备选框(proposal)的，一般先借助FasterR-CNN算法或者SSD算法得到许多个proposal，然后训练分类器对proposal进行分类，最后再做细致处理得到精细的文本区域；这个过程中学者们也解决了文字的方向，大小等的问题。同时，也有基于图像分割来做的，但不是很多，具体可见参考文献。如果已经检测到了稳定的文本区域，Recognition部分可以采用比较通用的做法：对字符进行分割后单独识别，也可以进行序列识别。CNN+RNN+CTC算法是常用在验证码的自动识别上面。在Detection方面，比较常用的算法是ConnectionistTextProposalNetwork(CPTN)。将CPTN作为Detection算法和将CRNN作为Recognition算法想结合应用于文字识别中，也是常用的一种方式，但该种方法需要大量的训练数据来提高准确率，且算法计算量过大导致文字无法快速的被识别，同样不适用于前期缺乏数据样本的仪器仪表示数任务。这些算法总结下来有如下问题需要解决：1.仪器仪表示数任务大多以数码二极管的形式展示，数码二极管有固定的刷新频率，这会导致在连续拍摄一段视频的时候存在较多的图片中显示原本应该被点亮的二极管应为刷新到该频率而变暗，增加了识别稳定性的难度；2.仪器仪表在实际拍摄中的噪声很大，每一帧图像的前后差异非常高，如图1所示，尽管人的肉眼无法察觉但计算机需要保证在噪声较大的环境中稳定识别仪表盘中的数值依然有很大的难度；3.实时数据更新有速度要求，在实际生产数据记录中，数字变化的频率较快，如何保证高速实时的识别出拍摄数据对于目前较为综合的OCR算法依然有难度；4.成本限制下分辨率要求，对于工业上数字仪表盘的监控有大量的需求，但如果采用过高分辨率的相机尽管可以提升准确率，但是速度下降，成本上升对于实际应用也不可接受，因此如何在低分辨率下识别数字也是本算法较其他OCR算法的一个创新之处；5.在实际生产线上需要同时监控多个仪表盘，因此必然导致拍摄中大多仪表盘并非完全正对，存在各种扭曲情况，如何保证对于各种扭曲情况下仪表盘数字的识别是该项任务的难点之一。综上所述，如何实现数字仪表视频识别为到正确有意义的输出还有许多的工作要做。
技术实现思路
有鉴于此，本专利技术提供一种低成本多通道实时数字仪表盘视觉识别方法及系统，针对仪表盘的识别难点逐一解决，从而更好的应用于工业生产监控中。为达到上述目的，本专利技术的技术方案是这样实现的：一种低成本多通道实时数字仪表盘视觉识别方法，包括：S1、数字区域配置：其中包括数码管区域配置和数码管小数点信息配置；数码管区域配置：假设有N个数字仪表盘，相机拍摄的分辨率为W×H，每个仪表盘占据的像素点为Wn×Hn，n＝1，2，...，N，针对每个仪表盘，设置4个点分别表示仪表盘读数的四个角，P1n＝(w1n，h1n)，P2n＝(w2n，h2n)，P3n＝(w3n，h3n)，P4n＝(w4n，h4n)，其中四个角因为拍摄角度不一定为矩形，因此：数码管小数点信息配置：针对每个数字仪表盘预先设置小数点位置信息，得到位置信息数据dotn，n＝1，2，...，N，其中dign为每个数码管最大位数；S2：子区域ROI预处理，分割为长宽相等的数字图片Rni；所述预处理为并行运算，对每一个ROIn，通过多核处理器并行运行；S3：子区域识别，得到数字标签rni，将rni组合成ROIn的数字字符串l′n；所述子区域识别为并行运算，对每一个ROIn中的每个数字图片Rni，通过多核处理器并行运行；S4：子区域后处理，ROI子串识别、ROI中值滤波、ROI数字截取保存；所述子区域后处理为并行运算，对每一个ROIn，通过多核处理器并行运行；S5：对数字识别模型进行训练、更新、测试；S6：发布完成模型。进一步的，步骤S2所述预处理的方法为：S2.1：ROI透视算法转换；包括：数码管区域点排序：根据P1n＝(w1n，h1n)，P2n＝(w2n，h2n)，P3n＝(w3n，h3n)，P4n＝(w4n，h4n)给出的信息，找到和两个点，截取这两个点对应的矩形图片并对坐标点进行排序，确保每次获取的坐标信息在顺序上保持一致；其中si＝win+hin，di＝|win-hin|，ROI透视转换：根据排序后的坐标进行透视转换，转换后的图像为S2.2：ROI对比度亮度调整：对每一个像素点执行的操作，扩大亮度对比度，其中γ通常取值为[4，8]之间；转换后的图像为S2.3：ROI灰度图转化，转化后的ROI标注为S2.4：ROI二值化，对每一个像素点执行的操作，扩大亮度对比度，其中α通常取值为[20，50]之间；转换后的图像为S2.5：ROI数字分割：根据每一个dign将ROIn分割为长宽相等的数字图片Rni。进一步的，步骤S3所述子区域识别的方法包括：S3.1：模型识别特征：判断是否存在已训练好的数字识别模型，如果是，则通过数字识别模型对数码管数字进行识别，得到数字标签rni，将rni组合成ROIn的数字字符串ln，如果否，则跳到3.2；S3.2：ROI二极管截取法识别特征，得到数字标签rni，将rni组合成ROIn的数字字符串l′n。进一步的，步骤S4所述子区域后处理的具体方法包括：S4.1：ROI子串识别算法，判断当前ROIn所识别出的数字dn(t)，t-1＞0与前一帧的数字dn(t-1)进行对比，如当前帧t显示的数字为前一帧t-1的数字的子字符串，则说明数字识别变化为二极管刷新变暗导致，设置dn(t)＝dn(t-1)；否则，说明数字识别变化为数字真实变化，dn(t)保持不变；S4.2：ROI中值滤波算法，针对给定时间点t和时间段Δt，给定区域ROIn，保留所有该时间段的数字对取中位数得到有效过滤掉视频噪声对数码管数字识别的影响；S4.3：ROI数字截取保存，每个ROIn所获得的数字图片Rni和其对应的标签rni，即(Rni本文档来自技高网...

【技术保护点】
1.一种低成本多通道实时数字仪表盘视觉识别方法，其特征在于，包括：S1、数字区域配置：其中包括数码管区域配置和数码管小数点信息配置；数码管区域配置：假设有N个数字仪表盘，相机拍摄的分辨率为W×H，每个仪表盘占据的像素点为Wn×Hn，n＝1，2，...，N，针对每个仪表盘，设置4个点分别表示仪表盘读数的四个角，P1n＝(w1n，h1n)，P2n＝(w2n，h2n)，P3n＝(w3n，h3n)，P4n＝(w4n，h4n)，其中四个角因为拍摄角度不一定为矩形，因此：

【技术特征摘要】
1.一种低成本多通道实时数字仪表盘视觉识别方法，其特征在于，包括：S1、数字区域配置：其中包括数码管区域配置和数码管小数点信息配置；数码管区域配置：假设有N个数字仪表盘，相机拍摄的分辨率为W×H，每个仪表盘占据的像素点为Wn×Hn，n＝1，2，...，N，针对每个仪表盘，设置4个点分别表示仪表盘读数的四个角，P1n＝(w1n，h1n)，P2n＝(w2n，h2n)，P3n＝(w3n，h3n)，P4n＝(w4n，h4n)，其中四个角因为拍摄角度不一定为矩形，因此：数码管小数点信息配置：针对每个数字仪表盘预先设置小数点位置信息，得到位置信息数据dotn，n＝1，2，...，N，其中dotn∈[0，dign)，dign为每个数码管最大位数；S2：子区域ROI预处理，分割为长宽相等的数字图片Rni；所述预处理为并行运算，对每一个ROIn，通过多核处理器并行运行；S3：子区域识别，得到数字标签rni，将rni组合成ROIn的数字字符串l′n；所述子区域识别为并行运算，对每一个ROIn中的每个数字图片Rni，通过多核处理器并行运行；S4：子区域后处理，ROI子串识别、ROI中值滤波、ROI数字截取保存；所述子区域后处理为并行运算，对每一个ROIn，通过多核处理器并行运行；S5：对数字识别模型进行训练、更新、测试；S6：发布完成模型。2.根据权利要求1所述的方法，其特征在于，步骤S2所述预处理的方法为：S2.1：ROI透视算法转换；包括：数码管区域点排序：根据P1n＝(w1n，h1n)，P2n＝(w2n，h2n)，P3n＝(w3n，h3n)，P4n＝(w4n，h4n)给出的信息，找到和两个点，截取这两个点对应的矩形图片并对坐标点进行排序，确保每次获取的坐标信息在顺序上保持一致；其中si＝win+hin，di＝|win-hin|，ROI透视转换：根据排序后的坐标进行透视转换，转换后的图像为S2.2：ROI对比度亮度调整：对每一个像素点执行的操作，扩大亮度对比度，其中γ通常取值为[4，8]之间；转换后的图像为S2.3：ROI灰度图转化，转化后的ROI标注为S2.4：ROI二值化，对每一个像素点执行的操作，扩大亮度对比度，其中α通常取值为[20，50]之间；转换后的图像为S2.5：ROI数字分割：根据每一个dign将ROIn分割为长宽相等的数字图片Rni。3.根据权利要求1所述的方法，其特征在于，步骤S3所述子区域识别的方法包括：S3.1：模型识别特征：判断是否存在已训练好的数字识别模型，如果是，则通过数字识别模型对数码管数字进行识别，得到数字标签rni，将rni组合成ROIn的数字字符串ln，如果否，则跳到3.2；S3.2：ROI二极管截取法识别特征，得到数字标签rni，将rni组合成ROIn的数字字符串l′n。4.根据权利要求1所述的方法，其特征在于，步骤S4所述子区域后处理的具体方法包括：S4.1：ROI子串识别算法，判断当前ROIn所识别出的数字dn(t)，t-1＞0与前一帧的数字dn(t-1)进行对比，如当前帧t显示的数字为前一帧t-1的数字的子字符串，则说明数字识别变化为二极管刷新变暗导致，设置dn(t)＝dn(t-1)；否则，说明数字识别变化为数字真实变化，dn(t)保持不变；S4.2：ROI中值滤波算法，针对给定时间点t和时间段Δt，给定区域ROIn，保留所有该时间段的数字对取中位数得到有效过滤掉视频噪声对数码管数字识别的影响；S4.3：ROI数字截取保存，每个ROIn所获得的数字图片Rni和其对应的标签rni，即(Rni，rni)，与数据匹配保存；S4.4：数字结果展示。5.根据权利要求1所述的方法，其特征在于，步骤S5所述数字识别模型的训练、更新、测试的方法包括：S5.1：CNN模型数字训练：将所有带标签的数据(Rni，rni)输入数字识别CNN模型中进行训练，得到数字识别模型DiodeNetCNN：S5.2：DiodeNetCNN模型更新：如已存在DiodeNetCNN模型，则通过迁移学习进行再训练，发布最新的DiodeNetCNN模型；S5.3：DiodeNetCNN模型测试：将从步骤S3获取得到的最新还未进行训练的数据用于测试模型的精度，如果测试精度超过99.9％，则进入步骤S6，否则不发布模...

【专利技术属性】
技术研发人员：罗晓忠，毛子靖，蒋晟龙，林清华，
申请(专利权)人：广州市心鉴智控科技有限公司，
类型：发明
国别省市：广东,44