一种自动视觉检测与智能识别系统及方法技术方案

本发明专利技术公开了一种自动视觉检测与智能识别系统及方法，利用工业相机、光源和测距传感器，结合工业相机的像素，采用测距传感器的反馈数据，建立相机与被测物体的最佳距离，精确移到被测物体，自动获取清晰照片，传输到边缘计算设备，运用卷积递归神经网络方法实现信息提取与识别，导入到管理平台模板中，最终实现视觉检测识别系统自主移动、信息精准获取识别和企业信息管理等。本发明专利技术在不同工厂环境下自主调节相机运动位置，获取不同类型物品的标签信息，运用人工智能方法提取与识别图片文字信息，自动准确对应模板中，形成产品信息存储管理，为企业数字化管理提供重要方案。为企业数字化管理提供重要方案。为企业数字化管理提供重要方案。

【技术实现步骤摘要】
一种自动视觉检测与智能识别系统及方法


[0001]本专利技术属于机器视觉自动检测与识别领域，尤其涉及一种自动视觉检测与智能识别系统及方法。

技术介绍

[0002]传统工业相机、光源位置固定，只能获得一个角度下的二维物品信息，只能被动的在固定区域识别，如果物品角度发生变化，难以精确地对物品信息的获取、提取与识别。基于现有设备技术所存在的自动性差、质量重、生产成本高、精度低、可靠性差，严重影响生产效率和经济效益等。

技术实现思路

[0003]为了解决现有技术所存在的问题，本专利技术提出的一种自动视觉检测与智能识别系统及方法,能够将非结构化的芯片二进制数据，以高效率、批量化方式实现结构化处理，从而实现硬件电路编程点信息获取过程自动化，在集成电路设计中，用于提升硬件在线调试验证效率。
[0004]为实现上述目的，本专利技术提供如下技术方案：
[0005]一方面，本专利技术提供了一种自动视觉检测与智能识别系统,所述系统包括机械及检测组件和控制组件；所述机械、检测和信息提取组件包括依次连接的底盘机构、机械臂、线型执行器、无刷电机、支撑板、工业相机、测距传感器和边缘计算设备，所述底盘机构与所述机械臂通过连接结构相互连接，底盘结构用于支撑，所述机械臂与所述线型执行器通过连接结构相互连接，所述无刷电机固定在所述线型执行器上，所述支撑板固定在所述线型执行器上，所述工业相机与测距传感器通过螺栓连接安装在支撑板上，使工业相机和测距传感器等距平移。
[0006]可选地，所述线型执行器由齿轮传动和齿轮齿条传动组成。
[0007]可选地，所述无刷电机通过螺栓连接固定在线型执行器上，通过齿轮传动，控制线型执行器的姿态进而控制工业相机的位置。
[0008]可选地，齿条和支撑板组成支撑结构。
[0009]另一方面，本专利技术提供了一种自动视觉检测与智能识别方法,包括以下步骤：
[0010]S1、在检测物体开始时，按下启动开关，机械臂移动到检测物体的检测面,启动测距传感器和工业相机，测距传感器数据传输入到系统中，并与设定参考值进行比较，当测距传感器数据大于设定值时，说明工业相机位置离被测物体较远，需靠近物体，输出控制信号并实现无刷电机正转，线型执行器靠向被测物体运动；当传感器数据小于设定值时，说明相机位置离被测物体近，需远离物体，输出控制信号并实现无数电机反转，线型执行器远离被测物体运动；当传感器数据等于设定值时，说明相机在最佳位置处，无需运动；
[0011]S2、当线型执行器稳定不运行时，控制器发出指令启动工业相机，利用数据线将工业相机与树莓派控制器相连，工业相机图片存储到控制器进行处理；
[0012]S3、根据设定拍照时间结束后，通过设定控制指令将工业相机升起，机械臂转动远离物体，实现相机离开被测物体，完成物体自动调焦检测过程。
[0013]可选地，所述步骤S2中，控制器对工业相机的照片处理方法如下：
[0014]S21、文本检测，具体包括：
[0015]S211、用特征金字塔结构对图像进行追踪，用升降等尺寸级联法对特征金字塔的输出进行转换，生成特征图F；
[0016]S212、从特征图F中预测出概率图P和阈值图T；
[0017]S213、使P、T结合生成近似的二值化图像B。
[0018]S22、检测框矫正，当工业相机的图片倾斜时，检测框矫正通过以下方法实现：
[0019]S221、在图像中识别直线，在平面直角坐标系(x，y)中，一条直线可以用公式(1)表示
[0020]y＝m0x+b0ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0021]b0是直线的截距，m0是直线的斜率，而(m0，b0)视为参数空间(m，b)中的一点，当直线垂直于x轴时，斜率为无限大，若用电脑数值计算时会很不方便，将公式(1)变换为公式(2)
[0022]r＝xcosθ+ysinθ
ꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0023]R是从原点到直线的距离，θ是和x轴的夹角，利用参数空间(r,θ)解决了原本参数空间(m,b)发散的问题，进而能够比较每一个线段的参数；
[0024]S222、给定一个点(x0,y0)，通过该点的所有直线的参数(r,θ)的集合，会在(r,θ)平面上形成一个三角函数，给定多个点，判断这些点是否共线，经由霍夫变换之后，每一个点在(r,θ)平面上代表一条曲线，判断一堆曲线，是否在(r,θ)平面上相交于一点，得出纠正后的图片；
[0025]S23、文本识别，构建CRNN模型，即将CNN与RNN网络结合，共同训练，基于图像的序列识别，将文本识别转化为依赖时序的序列学习，CRNN的网络结构包括三个组成部分：卷积层、循环层和转录层，其中，
[0026]CNN(卷积层)：使用深度CNN，对输入图像提取特征，得到特征图；
[0027]RNN(循环层)：使用双向RNN(BLSTM)对特征序列进行预测，对序列中的每个特征向量进行学习，并输出预测标签(真实值)分布；
[0028]CTC loss(转录层)：使用CTC损失，把从循环层获取的一系列标签分布转换成最终的标签序列。
[0029]可选地，所述S23、文本识别的具体步骤：
[0030]S231、假设在系统中输入一个图像，为了将这个图像的特征传输到RNN循环层，需要做以下处理：
[0031]a)将该图像放大或缩小到高度统一为32，宽度为任意的W，通道数仅为1；
[0032]b)进入CNN卷积层，图像的高度变为1，宽度变成通道数增加为512；
[0033]c)针对LSTM(Long Short
‑
Term Memory)长短期记忆网络，设置T是时间序数，D是该序数向量的长度，将特征输入到LSTM，经过LSTM的256个隐藏节点后转换成
数量为T的nclass向量，在经过softmax处理，得到的列向量(nclass长度)的每个元素代表相应的字符预测概率，最后再将这个T的预测结果去除冗余使之合并成一个完整的识别结果。
[0034]S232、步骤S231中一共获得40个长度为512的特征向量，特征向量相当于原图中某个字符的小矩形区域，LSTM中一个单位时间就传入一个特征向量进行分类，所以共有40个时间单位，循环层中预测这些特征向量对应字符，然后预测所有字符完整的softmax概率分布，并将该概率分布作为CTC转录层的输入；
[0035]S233、步骤S232中，对每个特征向量所做预测转换成标签序列，根据每帧预测找到具有最高概率组合的标签序列。
[0036]与现有技术相比，本专利技术具备以下有益效果：本专利技术设计机械机构能够实现工业相机自动移动，利用工业相机、光源和测距传感器，结合工业相机的像素，采用测距传感器的反馈数据，建立相机与被测物体的最佳距离，精确移到被测物体，自动获取清晰照片，传输到边缘计算设备，运用卷积递归神经网络方法实现信息提取与识别，导入到管理平台模板中，最终实现视觉检测识本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自动视觉检测与智能识别系统，其特征在于，所述系统包括机械及检测组件和控制组件；所述机械、检测和信息提取组件包括依次连接的底盘机构、机械臂、线型执行器、无刷电机、支撑板、工业相机、测距传感器和边缘计算设备，所述底盘机构与所述机械臂通过连接结构相互连接，底盘结构用于支撑，所述机械臂与所述线型执行器通过连接结构相互连接，所述无刷电机固定在所述线型执行器上，所述支撑板固定在所述线型执行器上，所述工业相机与测距传感器通过螺栓连接安装在支撑板上，使工业相机和测距传感器等距平移。2.根据权利要求1所述的一种自动视觉检测与智能识别系统，其特征在于，所述线型执行器由齿轮传动和齿轮齿条传动组成。3.根据权利要求1所述的一种自动视觉检测与智能识别系统，其特征在于，所述无刷电机通过螺栓连接固定在线型执行器上，通过齿轮传动，控制线型执行器的姿态进而控制工业相机的位置。4.根据权利要求1所述的一种自动视觉检测与智能识别系统，其特征在于，齿条和支撑板组成支撑结构。5.一种自动视觉检测与智能识别方法，其特征在于，包括以下步骤：S1、在检测物体开始时，按下启动开关，机械臂移动到检测物体的检测面,启动测距传感器和工业相机，测距传感器数据传输到系统中，并与设定参考值进行比较，当测距传感器数据大于设定值时，表明工业相机位置离被测物体较远，输出控制信号并实现无刷电机正转，线型执行器靠向被测物体运动；当传感器数据小于设定值时，表明相机位置离被测物体过近，输出控制信号并实现无数电机反转，线型执行器远离被测物体运动；当传感器数据等于设定值时，表明相机在最佳位置处，无需运动；S2、当线型执行器稳定不运行时，控制器发出指令启动工业相机，利用数据线将工业相机与树莓派控制器相连，工业相机图片存储到控制器并进行处理；S3、根据设定拍照时间结束后，通过设定控制指令将工业相机升起，机械臂转动远离物体，实现相机离开被测物体，完成物体自动调焦检测过程。6.根据权利要求5所述的一种自动视觉检测与智能识别方法，其特征在于，所述步骤S2中，控制器对工业相机的图片处理方法如下：S21、文本检测，具体包括：S211、用特征金字塔结构对图像进行追踪，用升降等尺寸级联法对特征金字塔的输出进行转换，生成特征图F；S212、从特征图F中预测出概率图P和阈值图T；S213、使P、T结合生成近似的二值化图像B；S22、检测框矫正，当工业相机的照片倾斜时，检测框矫正通过以下方法实现：S221、在图像中识别直线，在平面直角坐标系(x，y)中，一条直线可以用公式(1)表示y＝m0x+b0ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)b0是直线的截距，m0是直线的斜...

【专利技术属性】
技术研发人员：范圣斌，霍胜军，胡世华，秦军，官源林，
申请(专利权)人：青岛檬豆网络科技有限公司，
类型：发明
国别省市：