基于机器视觉的多表字符识别系统及方法技术方案

本发明专利技术涉及基于机器视觉的多表字符识别系统及方法，系统包括图像采集模块、网络存储模块以及软件处理模块；其中，软件处理模块包括电表组分割单元、图像预处理单元、图像倾斜校正单元、图像增强单元、字符区域定位单元、字符分割单元、图像归一化单元、字符特征提取单元以及BP神经网络识别单元；图像预处理单元包括灰度化处理单元、二值化处理单元以及形态学处理单元；本发明专利技术能同时识别多个电表图像，大大节省人力资源和工作时间，通过使用FTP云端用以存储电表图像和电表识别数据，实现资源共享，并且解决生产现场摄像头实时采集的大量图像和大量电表数据的存储问题，释放PC内存，提高电表识别效率。

Multi table character recognition system and method based on machine vision

The present invention relates to a table of character recognition system and method based on machine vision system, including image acquisition module, network storage module and software module; the software processing module includes meter group segmentation unit, image processing unit, image tilt correction unit, image enhancement unit, character region location unit, character segmentation, image unit normalized unit, character feature extraction unit and BP neural network recognition unit; image preprocessing unit including gray processing unit, binarization processing unit and morphological processing unit; the invention can identify multiple meter images at the same time, save the human resources and time, through the use of FTP cloud to store image and meter meter recognition data, realize the sharing of resources, and to solve a large number of real-time image acquisition camera production site And a large number of meter data storage problems, the release of PC memory, improve the efficiency of meter recognition.

【技术实现步骤摘要】
基于机器视觉的多表字符识别系统及方法
本专利技术涉及数字图像处理和仪表示数识别领域，尤其涉及到基于机器视觉的多表字符识别系统及方法。
技术介绍
数显仪表由于其精度高、稳定性好、安装使用方便、体积小等特点，目前被广泛地应用于机械制造、石油、化工等各个行业中，尤其在工业控制领域应用广泛。一般工业领域使用数显仪表时会采用多个数显仪表集中显示需要监测的数据，这样既节约空间资源又利于工作人员对生产数据进行实时的监测。经走访调研发现珠三角地区多数陶瓷工厂的窑炉温度监测和控制虽然安装大量的现场指示仪表，但这些仪表不具有远传功能，需要现场读数，用来监控工业现场运行状况。虽然有数字温控仪表，但是还是需要人工进行抄表工作，定期以报告的形式将数据递交给生产主管进行分析。监控室仪表众多，人工抄表费时费力低效，而且容易引起误判；而且，常见的字符识别都是一图一表的单表识别，一台摄像机只拍摄一个电表，既占用空间，又浪费资源，不利于企业的长远发展。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种节省人力、工作效率高、能同时识别多个电表、电表识别率高、有效解决生产现场摄像头实时采集的大量图像和大量电表数据的存储问题、释放PC内存、节约资源的基于机器视觉的多表字符识别系统。为实现上述目的，本专利技术所提供的技术方案为：基于机器视觉的多表字符识别系统，包括图像采集模块、网络存储模块以及软件处理模块；图像采集模块为带有网络模块的摄像头，摄像头实时捕捉多电表图像；网络存储模块为FTP服务器，摄像头网络模块将捕捉到的多电表图像上传至FTP服务器；软件处理模块，对从网络存储模块下载到的多电表图像进行处理和识别；其中，软件处理模块包括电表组分割单元、图像预处理单元、图像倾斜校正单元、图像增强单元、字符区域定位单元、字符分割单元、图像归一化单元、字符特征提取单元以及BP神经网络识别单元；电表组分割单元，采集电表组中每个电表工作状态的图像并保存，作为后续匹配的模板，采用基于NCC模板匹配方法在电表组目标图像中进行全局搜索，找到与模板匹配的电表并分割出来；图像倾斜校正单元，对数显式仪表进行Canny边缘检测，采用霍夫变换法求出图中最长直线及其斜率，计算出图像倾斜角度，对其进行旋转倾斜校正；图像增强单元，对电表前20％像素进行增强而对其他的像素进行抑制；字符区域定位单元，选用区域的最大梯度差MGD大于阈值的次数统计确定字符区域；字符分割单元，对电表进行双向投影，从左向右定位出每个字符的起始和结束位置，并切割出来，通过垂直切割和水平切割得到字符的精确位置；字符特征提取单元，采用局部统计特征的粗网格描述字符进行特征提取；BP神经网络识别单元，采用具有在线训练功能的基于BP神经网络的识别方法识别字符。进一步地，所述图像预处理单元包括灰度化处理单元、二值化处理单元以及形态学处理单元；其中，灰度化处理单元，采用对RGB三分量进行加权平均得到较合理的灰度图像；形态学处理单元，处理图像中目标区域的边缘，消除字符之间的黏连和椒盐噪声,使得前景图像区域变小，前景图像内部的背景区域被放大；二值化处理单元，采用最大类间方差法Otsu实现二值化，将要识别的目标和图像的背景区分开来。为实现上述目的，本专利技术还提供一种用于基于机器视觉的多表字符识别系统的方法，该方法包括以下步骤：(1)图像采集；将带有网络模块的摄像头安置在待测电表组前适当范围，进行多电表图像的实时捕捉；(2)图像上传；摄像头网络模块将捕捉到的多电表图像上传至FTP服务器；(3)软件处理；对从网络存储模块下载到的多电表图像进行处理和识别，最后将电表识别结果以.txt文本格式保存到本地PC指定盘，并以Excel表格形式导出。进一步地，步骤(3)中对图像处理和识别包括以下步骤：1)电表组分割；现场电表安装无规律，摄像机一次拍摄的电表数量多且位置不统一，所以需要将每块电表快速分割定位并进行实时识别；电表组通过模板匹配进行分割；先采集电表组中每个电表工作状态的图像并保存，作为后续匹配的模板，采用基于NCC模板匹配方法在电表组目标图像中进行全局搜索，找到与模板匹配的电表并分割出来；而基于NCC模板匹配方法，其步骤如下：(1获取模板像素并计算均值与标准方差、像素与均值diff数据样本；(2根据模板大小，在目标图像上从左到右，从上到下移动窗口，计算每移动一个像素之后窗口内像素与模板像素的NCC值，与阈值比较，大于阈值则记录位置；(3根据得到位置信息，使用红色矩形标记出模板匹配识别结果；(4系统显示分割结果。NCC计算公式为：其中，表示像素点p的灰度值，μ表示窗口所有像素平均值，σ表示标准方差，g表示模板像素值，m表示模板的像素总数，m－1表示自由度。2)图像预处理；预处理过程包括灰度化、二值化和形态学处理；灰度化采用对RGB三分量进行加权平均得到较合理的灰度图像；采用腐蚀等形态学处理图像中目标区域的边缘，消除字符之间的黏连和椒盐噪声，使得前景图像区域变小，前景图像内部的背景区域被放大，利于字符的识别；采用最大类间方差法Otsu实现二值化，将要识别的目标和图像的背景区分开来；3)图像倾斜校正；对数显式仪表进行Canny边缘检测后，图像中有明显的直线信息，采用霍夫变换法求出图中最长直线及其斜率，设直线公式为:y＝kx+b，式中：k为直线斜率，b为直线在y轴上的截距，其中直线的斜率定义为：直线与直角坐标系正半轴方向夹角θ的正切值，其表达式为：k＝arctanθ，计算出图像倾斜角度，对其进行旋转倾斜校正；4)图像增强；对电表前20％像素进行增强而对其他的像素进行抑制，到达增强目标字符抑制背景的目的，便于后续操作。5)字符区域定位；由于字符区域和背景对比度强烈，其梯度值较大，选用区域的最大梯度差MGD大于阈值的次数统计确定字符区域；6)字符分割；字符区域通常由多个字符组成，因此需要把字符串分割为单个字符才能识别，本方案采用投影法对电表进行双向投影，从左向右定位出每个字符的起始和结束位置，并切割出来，通过垂直切割和水平切割得到字符的精确位置；7)图像归一化；为了方便特征提取，把分割好的图像归一化到大小为15×21的图像。8)字符特征提取；采用局部统计特征的粗网格描述字符进行特征提取；9)BP神经网络识别；采用具有在线训练功能的基于BP神经网络的识别方法识别字符。本方案原理如下：摄像头实时捕捉电表组图像，并通过装在摄像头上的网络模块将图像上传至FTP服务器；当需要识别时，将多电表图像从FTP云端下载至本地PC,接着应用程序对图像进行电表组分割、图像预处理、图像倾斜校正、图像增强、字符区域定位、字符分割、图像归一化、字符特征提取、BP神经网络识别一系列的识别处理，最后将电表识别结果以.txt文本格式保存到本地PC指定盘，并以Excel表格形式导出。与现有技术相比，本方案具有以下优点及有益效果：能同时识别多个电表图像，大大节省人力资源和工作时间，通过使用FTP云端用以存储电表图像和电表识别数据，实现资源共享，并且解决了生产现场摄像头实时采集的大量图像和大量电表数据的存储问题，释放了PC内存，提高了电表识别效率。附图说明图1为本专利技术系统的结构示意图；图2为本专利技术的多电表字符识别流程图；图3为本专利技术中字符分割过程投影示意图；图4为本专利技术中网格本文档来自技高网...

【技术保护点】
基于机器视觉的多表字符识别系统，包括图像采集模块(1)、网络存储模块(2)以及软件处理模块(3)；图像采集模块(1)，实时捕捉多电表图像；网络存储模块(2)，存储捕捉到的多电表图像；软件处理模块(3)，对从网络存储模块(2)下载到的多电表图像进行处理和识别；其中，软件处理模块(3)包括电表组分割单元(3‑1)、图像预处理单元(3‑2)、图像倾斜校正单元(3‑3)、图像增强单元(3‑4)、字符区域定位单元(3‑5)、字符分割单元(3‑6)、图像归一化单元(3‑7)、字符特征提取单元(3‑8)以及BP神经网络识别单元(3‑9)；电表组分割单元(3‑1)，采集电表组中每个电表工作状态的图像并保存，作为后续匹配的模板，采用基于NCC模板匹配方法在电表组目标图像中进行全局搜索，找到与模板匹配的电表并分割出来；图像倾斜校正单元(3‑3)，对数显式仪表进行Canny边缘检测，采用霍夫变换法求出图中最长直线及其斜率，计算出图像倾斜角度，对其进行旋转倾斜校正；图像增强单元(3‑4)，对电表前20％像素进行增强而对其他的像素进行抑制；字符区域定位单元(3‑5)，选用区域的最大梯度差MGD大于阈值的次数统计确定字符区域；字符分割单元(3‑6)，对电表进行双向投影，从左向右定位出每个字符的起始和结束位置，并切割出来，通过垂直切割和水平切割得到字符的精确位置；字符特征提取单元(3‑8)，采用局部统计特征的粗网格描述字符进行特征提取；BP神经网络识别单元(3‑9)，采用具有在线训练功能的基于BP神经网络的识别方法识别字符。...

【技术特征摘要】
1.基于机器视觉的多表字符识别系统，包括图像采集模块(1)、网络存储模块(2)以及软件处理模块(3)；图像采集模块(1)，实时捕捉多电表图像；网络存储模块(2)，存储捕捉到的多电表图像；软件处理模块(3)，对从网络存储模块(2)下载到的多电表图像进行处理和识别；其中，软件处理模块(3)包括电表组分割单元(3-1)、图像预处理单元(3-2)、图像倾斜校正单元(3-3)、图像增强单元(3-4)、字符区域定位单元(3-5)、字符分割单元(3-6)、图像归一化单元(3-7)、字符特征提取单元(3-8)以及BP神经网络识别单元(3-9)；电表组分割单元(3-1)，采集电表组中每个电表工作状态的图像并保存，作为后续匹配的模板，采用基于NCC模板匹配方法在电表组目标图像中进行全局搜索，找到与模板匹配的电表并分割出来；图像倾斜校正单元(3-3)，对数显式仪表进行Canny边缘检测，采用霍夫变换法求出图中最长直线及其斜率，计算出图像倾斜角度，对其进行旋转倾斜校正；图像增强单元(3-4)，对电表前20％像素进行增强而对其他的像素进行抑制；字符区域定位单元(3-5)，选用区域的最大梯度差MGD大于阈值的次数统计确定字符区域；字符分割单元(3-6)，对电表进行双向投影，从左向右定位出每个字符的起始和结束位置，并切割出来，通过垂直切割和水平切割得到字符的精确位置；字符特征提取单元(3-8)，采用局部统计特征的粗网格描述字符进行特征提取；BP神经网络识别单元(3-9)，采用具有在线训练功能的基于BP神经网络的识别方法识别字符。2.根据权利要求1所述的基于机器视觉的多表字符识别系统，其特征在于：所述图像预处理单元(3-2)包括灰度化处理单元(3-2-1)、二值化处理单元(3-2-2)以及形态学处理单元(3-2-3)；其中，灰度化处理单元(3-2-1)，采用对RGB三分量进行加权平均得到较合理的灰度图像；形态学处理单元(3-2-3)，处理图像中目标区域的边缘，消除字符之间的黏连和椒盐噪声,使得前景图像区域变小，前景图像内部的背景区域被放大；二值化处理单元(3-2-2)，采用最大类间方差法Otsu实现二值化，将要识别的目标和图像的背景区分开来。3.一种用于权利要求1所述基于机器视觉的多表字符识别系统的方法，其特征在于：包括以下步骤：(1)图像采集；将带有网络模块的摄像头安置在待测电表组前适当范围，进行多电表图像的实时捕捉；(2)图像上传；摄像头网络模块将捕捉到的多电表图像上传至FTP服务器；(3)软件处理；对从网络存储模块下载到的多电表图像进行处理和识别，最后将电表识别结果以.txt文本格式保存到本地PC指定盘，并以Excel表格形式导出。4.根据权利要求3...

【专利技术属性】
技术研发人员：张美杰，张平，黄坤山，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东,44