一种基于计算机视觉的智能数据采集方式制造技术

一种基于计算机视觉的智能数据采集方式，包括以下步骤：①、图像预采集、②、图像特征匹配、③、字符识别、④、数据采集软件介入和⑤、系统调试。本方法利用图像特征匹配算法定位出图像中需要采集的字符区域，然后利用crnn算法进行字符的识别，从而实现对试验台数据的采集。该方法不需要对原试验台做改动，并且不会对生产过程产生影响，只需要在试验台前方架设摄像头用于采集试验台图像信息，增加一台图像处理服务器和摄像头组成局域网用于图像处理，开发软件可以根据工艺流程控制生产现场的数据采集。

【技术实现步骤摘要】
一种基于计算机视觉的智能数据采集方式
本专利技术涉及一种基于计算机视觉的智能数据采集方式。
技术介绍
在工业生产现场，存在大量的试验台承担着各种各样的实验任务，很多试验台的信息化程度不高，无法进行试验数据的导出，试验数据的记录都是由操作工人手动填写记录，整个试验台设备的升级改造成本高昂，并且现有设备都能正常使用，直接进行设备的升级会造成资源的极大浪费，且现场的施工改造还会影响生产进度。
技术实现思路
本专利技术目的是为了解决以上现有技术的不足，提出了一种基于计算机视觉的智能数据采集方式，一种基于计算机视觉的智能数据采集方式，包括以下步骤：①、图像预采集：在工业现场安装若干个网络摄像头，并将网络摄像头、图像处理服务器以及客户端电脑连接在同一网络内；②、图像特征匹配：进行试验台所显示区域字符的定位，将采集的图像通过配准的方法变换、并保存到模板图像，根据模板图像上已知的字符区域坐标信息将采集图像的字符区域提取出来，并获得字符图像块；③、字符识别：将采集到的大量的字符图像块，进行标注后，训练基于crnn的字符识别；④、数据采集软件介入：通过专用的数据采集软件，以实现自动化的采集过程；⑤、系统调试：对系统进行反复调试，直至满足需求。优选的，所述的步骤②：图像特征匹配中具体包括：(2-1)创建模板图像；(2-2)记录模板图像上各个字符区域位置的坐标信息；(2-3)将采集的图像通过特征匹配的方法变换到模板图像；(2-4)按照记录的坐标信息将变换后的图像中字符的位置区域切割出来即可得到各个区域位置的字符图像块。优选的，所述的步骤③：字符识别中具体包括：(3-1)人工进行数据标注；(3-2)将标注完成的数据划分为训练集和测试集，其中训练集用于系统训练，测试集用于系统测试；(3-3)构建crnn网络模型并进行训练。优选的，图像特征匹配采用AKAZE算法，通过各向异性的非线性滤波构建尺度空间，并通过改进局部差分二进制描述符(M-LDB)，结合FED构建的尺度空间梯度信息增加独特性。优选的，构建crnn网络模型包括以下步骤：(5-1)首先通过卷积神经网络(CNN)进行图片特征提取；(5-2)利用循环神经网络(RNN)对序列进行预测；(5-3)通过转录翻译层(CTC)的得到最终结果。优选的，步骤(5-1)中构建的卷积神经网络采用的是VGG的结构。优选的，步骤(5-2)构建的循环神经网络采用的是LSTM(longshorttermmemory)设计。优选的，步骤(5-3)的转录翻译层(CTC)让RNN直接对序列数据进行学习。有益效果：本方法利用图像特征匹配算法定位出图像中需要采集的字符区域，然后利用crnn算法进行字符的识别，从而实现对试验台数据的采集。该方法不需要对原试验台做改动，并且不会对生产过程产生影响，只需要在试验台前方架设摄像头用于采集试验台图像信息，增加一台图像处理服务器和摄像头组成局域网用于图像处理，开发软件可以根据工艺流程控制生产现场的数据采集。在室内光照条件变化不大的条件下，本数据采集方式的匹配准确率高达100％，其中CRNN字符识别模型的识别准确率高达99.3％。附图说明：图1是一种基于计算机视觉的智能数据采集方式的硬件组网方案图。具体实施方式为了加深对本专利技术的理解，下面将结合实施例对本专利技术作进一步详述，该实施例仅用于解释本专利技术，并不构成对本专利技术保护范围的限定。如图1所示，经硬件组网后，通过一种基于计算机视觉的智能数据采集方式的改造，使得原有的数显试验台具有智能数据采集功能，其中，智能数据采集主要包括以下步骤：(1)试验台图像数据采集，在工业现场部署安装网络摄像头，将用于采集试验台图像的摄像头、图像处理服务器以及客户端电脑连接在一个局域网内，通过客户端电脑上的软件调用摄像头进行试验台图像采集；(2)制作模板图，进行图像特征匹配，可以分为以下5个步骤：(2-1)选取一张采集的试验台图像作为模版图，记录模版图中每个字符区域的中心点坐标和区域的宽度Width与高度Height，并记录为该场景的场景信息，写入内存数据库中；(2-2)利用AKAZE算法对模板图像进行特征提取；(2-3)利用AKAZE算法对采集的试验台图像进行特征提取；(2-4)对两幅图像进行相似性度量找到匹配的特征点对；(2-5)通过匹配的特征点对得到图像空间坐标变换参数，将采集的图像变换到模板图像，并根据模版图上的字符区域坐标将字符区域从采集的试验台图像上截取出来。(3)字符识别模型训练，可以分为以下3个步骤：(3-1)数据标注，将采集到的每张图像的名称与字符数值，保存在txt文档中；(3-2)按照8:1:1的比例将标注完成的图像分为三份，分别作为训练集、验证集和测试集，用于训练crnn网络；(3-3)训练CRNN字符识别网络。(4)数据采集软件的开发，根据试验的工艺要求设计数据采集软件，实现自动化的采集过程，并具备试验数据的导出、打印等功能；(5)系统测试及部署，主要包括以下两方面的测试：(5-1)对软件系统各项功能进行测试；(5-2)对图像处理算法进行测试，并计算识别准确率。以上所述仅为本专利技术的较佳实施例而已，并不用以限制本专利技术，凡在本专利技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本专利技术的保护范围之内。本文档来自技高网...

【技术保护点】
1.一种基于计算机视觉的智能数据采集方式，其特征在于，包括以下步骤：/n①、图像预采集：在工业现场安装若干个网络摄像头，并将网络摄像头、图像处理服务器以及客户端电脑连接在同一网络内；/n②、图像特征匹配：进行试验台所显示区域字符的定位，将采集的图像通过配准的方法变换、并保存到模板图像，根据模板图像上已知的字符区域坐标信息将采集图像的字符区域提取出来，并获得字符图像块；/n③、字符识别：将采集到的大量的字符图像块，进行标注后，训练基于crnn的字符识别；/n④、数据采集软件介入：通过专用的数据采集软件，以实现自动化的采集过程；/n⑤、系统调试：对系统进行反复调试，直至满足需求。/n

【技术特征摘要】
1.一种基于计算机视觉的智能数据采集方式，其特征在于，包括以下步骤：
①、图像预采集：在工业现场安装若干个网络摄像头，并将网络摄像头、图像处理服务器以及客户端电脑连接在同一网络内；
②、图像特征匹配：进行试验台所显示区域字符的定位，将采集的图像通过配准的方法变换、并保存到模板图像，根据模板图像上已知的字符区域坐标信息将采集图像的字符区域提取出来，并获得字符图像块；
③、字符识别：将采集到的大量的字符图像块，进行标注后，训练基于crnn的字符识别；
④、数据采集软件介入：通过专用的数据采集软件，以实现自动化的采集过程；
⑤、系统调试：对系统进行反复调试，直至满足需求。


2.根据权利要求1所述的一种基于计算机视觉的智能数据采集方式，其特征在于，所述的步骤②：图像特征匹配中具体包括：
(2-1)创建模板图像；
(2-2)记录模板图像上各个字符区域位置的坐标信息；
(2-3)将采集的图像通过特征匹配的方法变换到模板图像；
(2-4)按照记录的坐标信息将变换后的图像中字符的位置区域切割出来即可得到各个区域位置的字符图像块。


3.根据权利要求1所述的一种基于计算机视觉的智能数据采集方式，其特征在于，所述的步骤③：字符识别中具体包括：
(3-1)人工进行数据标注；
(3-2)将标注完成的数据...

【专利技术属性】
技术研发人员：郑会龙，
申请(专利权)人：杭州测质成科技有限公司，
类型：发明
国别省市：浙江;33