一种基于卷积神经网络的零部件喷码检测方法技术

本发明专利技术公开了本发明专利技术提供了一种基于卷积神经网络的零部件喷码检测方法，包括以下步骤：S1：采集图像；S2：提取喷码区域二值图像；S3：分割喷码区域；S4：训练卷积神经网络；S5：喷码检测。本发明专利技术使用形态学方法对喷码区域进行提取，通过仿射变换完成喷码区域的倾斜矫正，能有效地提取喷码区域并完成正畸，排除喷码区域周围的噪音以及喷码倾斜造成的干扰，有较好的鲁棒性；且通过对投影算法进行改进，根据目标图像自有的信息完成单个字符分割，无需字符数量、字符宽度等先验信息，有效地解决了传统算法需要事先给定字符数量等先验知识的局限性。

A Method of Component Spray Code Detection Based on Convolutional Neural Network

The invention discloses a component spray code detection method based on convolution neural network, which includes the following steps: S1: acquisition image; S2: extraction of binary image of spray code region; S3: segmentation of spray code region; S4: training convolution neural network; S5: spray code detection. The present invention uses morphological method to extract the jet code area, completes the skew correction of the jet code area by affine transformation, effectively extracts the jet code area and completes the orthodontics, eliminates the noise around the jet code area and the interference caused by the skew of the jet code, and has better robustness; moreover, by improving the projection algorithm, the single character is divided according to the information of the target image. Cut, without the prior information of character number and character width, effectively solves the limitation of prior knowledge such as the number of characters needed to be given beforehand in traditional algorithms.

【技术实现步骤摘要】
一种基于卷积神经网络的零部件喷码检测方法
本专利技术涉及机器学习和计算机视觉
，特别是涉及一种基于卷积神经网络的零部件喷码检测方法。
技术介绍
计算机视觉和机器学习都是最近几年飞速发展的热门技术，给人们的生产生活带来了巨大的变化。在计算机视觉和机器学习逐渐融入人们的日常生活的过程中，人们也开始思考其在工业领域的应用。工业生产中零部件的喷码检测问题就是一个重要的应用方向。喷码检测与识别是在生产过程中对产品进行分类、跟踪的重要手段，是生产线后续加工方案的确定依据。在过去几十年中，计算机视觉技术取得了很大的突破，但是在工厂特定的工况下取得工业级高质量的检测效果和准确度仍然存在很多问题，如：喷码图像背景嘈杂、字符粘连会导致喷码检测结果错误，由于零件不平整、喷码断断续续导致喷码无法检测等等问题，从而人工识别喷码效率低、错误率高、成本高，目前计算机视觉技术在处理字符粘连、喷码离散问题时效果不好且需要依赖先验知识才能完成检测识别。因此本领域技术人员致力于开发一种能有效地解决目前计算机视觉技术在处理字符粘连、喷码离散问题时效果不好或需要依赖先验知识才能完成检测识别的问题，能有效地去除噪声干扰、完成文字正畸，达到高精度识别喷码字符的效果。
技术实现思路
有鉴于现有技术的上述缺陷，本专利技术所要解决的技术问题是提供一种能有效地解决目前计算机视觉技术在处理字符粘连、喷码离散问题时效果不好或需要依赖先验知识才能完成检测识别的问题，能有效地去除噪声干扰、完成文字正畸，达到高精度识别喷码字符的效果。为实现上述目的，本专利技术提供了一种基于卷积神经网络的零部件喷码检测方法，包括以下步骤：S1：采集图像；S2：提取喷码区域二值图像；S3：分割喷码区域；S4：训练卷积神经网络；S5：喷码检测；其中，所述步骤S3分割喷码区域包括：S301：行分割，将字符按行分开，先通过以下公式将每行的白色像素点个数进行统计：其中，其中，white[i]为第i行的白色像素点个数；g(i,j)为i行j列的灰度值；COL为图像的像素矩阵的列数；再找出white[0.4ROW,0.6ROW]区域内的最小值，其对应的i值即是分割行，从i行将两行字符分隔开；其中ROW为步骤S2所得图像的像素矩阵的行数；S302：字符分割，图像进行行分割后，再对每行的每个字符进行分割，对于每行字符图像的像素矩阵，首先统计每列的白色像素点个数B[j]，其中，此处，row,col分别为该行字符图像的像素矩阵的行和列；再设置阈值k＝0.1×maxB[j]，从而得到粗分割的分割列的集合C[i]，C[i]＝{j|B[j]＜k,j＝1,...col}(3)，计算阈值分割相邻两列之间的距离得到数组D[i]，D[i]为粗分割后各个字符区域宽度的集合；D[i]＝C[i+1]-C[i],i＝1,2,3...(4)；然后，根据图像像素矩阵行数row，得到图像中的字符高度h，根据标准喷码字符的高宽比，设置单个喷码字符宽度范围为W＝[0.4h,h]，选取D[i]中属于W的值得到E[i]＝{e|e∈D[i],e∈W,i＝1,2,3...}；其中，E[i]为该行图像所有字符区域中，无粘连的单个字符宽度的集合；对E[i]中的元素取平均值得wstd；根据wstd计算各个字符区域单个字符宽度F[i]，最后将各个区域字符按照F[i]进行平均分割即可，若round(D[i]/Wstd)＝0，则该区域舍弃。较佳的，所述步骤S2：提取喷码区域包括：S201：图像预处理，将工业相机采集的图像进行灰度处理转换为灰度图像；采用大小为(3,3)的高斯矩阵进行滤波；采用threshold函数进行固定阈值二值化，将灰度值大于阈值150部分设为白色，低于阈值部分设为黑色，得到黑底白字的图像；再采用55*35的椭圆形结构元素对图像进行闭运算，使喷码区域和背景噪音产生灰度差异后，再使用threshold函数进行二值化，去除噪音；再进行膨胀腐蚀处理，其中膨胀运算为：腐蚀运算为：f(x)为输入图像，g(x)为结构元素，闭运算为先进行膨胀运算再进行腐蚀运算，最后使用findContours函数提取字符区域轮廓；S202：图像倾斜矫正，用minAreaRect函数计算喷码区域与水平线的偏转角度，根据旋转角度确定正畸参数，通过仿射变换对倾斜图像进行正畸，获得矫正后的喷码区域二值图像。较佳的，所述步骤S4：训练卷积神经网络包括：S401：搭建卷积神经网络，构建7层结构的卷积神经网络，分别是输入层、两个卷积层、两个池化层、全连接层以及输出层；S402：神经网络前向传播，对输入层输入的图像进行二维卷积计算：其中，A为被卷积矩阵，K为卷积核，B为卷积结果，(m,n)为(3,3)；然后对卷积结果使用ReLu激活函数进行运算：f(x)＝max(0,x)(9)；其中，x为所述公式(8)得到的值。再采用最大池化的采样方法，以2*2的采样窗口进行采样，完成两个卷积层、两个池化层运算后，通过linear函数对神经网络进行全连接并输出对应的预测值；S403：神经网络反向传播，采用交叉熵损失函数对预测值与真值的偏差进行评估：其中，y为真值，为所述步骤S402所得预测值，L为预测值与真值的偏差；以交叉熵损失函数值最小为优化目标，采用Adam优化器对神经网络参数进行优化：mt＝μ*mt-1+(1-μ)*gt(11)；nt＝ν*nt-1+(1-ν)*gt2(12)；其中，gt为梯度，η为学习率，μ，ν为动量因子，ε用来保证分母不为0，mt，nt分别为梯度的一阶矩和二阶矩估计，为mt，nt的矫正；S404：利用分割好的单个字符图像对神经网络进行训练，优化神经网络参数，优化完成后保存训练好的神经网络。较佳的，所述步骤S5：喷码检测的方法为利用训练好的神经网络模型进行单个字符识别，最后将识别结果按照识别顺序排列，完成零部件喷码的检测识别。本专利技术的有益效果是：本专利技术使用形态学方法对喷码区域进行提取，通过仿射变换完成喷码区域的倾斜矫正，能有效地提取喷码区域并完成正畸，排除喷码区域周围的噪音以及喷码倾斜造成的干扰，有较好的鲁棒性；且通过对投影算法进行改进，根据目标图像自有的信息完成单个字符分割，无需字符数量、字符宽度等先验信息，有效地解决了传统算法需要事先给定字符数量等先验知识的局限性，解决了传统连通域算法和滴水算法无法有效分割离散断点喷码的问题，解决了传统投影算法无法有效分割粘连字符的问题；在应对喷码字符粘连、模糊、断续等问题时，有很好的适应性；本专利技术使用卷积神经网络实现字符识别，所需训练样本数量少，识别精度高，检测速度快。附图说明图1是本专利技术一具体实施方式的结构示意图。图2是本专利技术实施流程图。图3a是本专利技术一具体实施方式采集喷码图像。图3b是本专利技术一具体实施方式喷码区域二值图像。图3c是本专利技术一具体实施方式喷码区域二值图像进行行分割后的图像。图3d是本专利技术一具体实施方式喷码区域二值图像进行字符分割后的图像。图4是本专利技术卷积神经网络架构图。图5是本专利技术一具体实施方式实现的效果图。具体实施方式下面结合附图和实施例对本专利技术作进一步说明。一种基于卷积神经网络的零部件喷码检测方法，其采用结构如图1所示，通过工业相机1采集图像，再将采集的图像经数据处理服务器2处理，在显示终端3上显示，具体如图2所本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的零部件喷码检测方法，其特征是：包括以下步骤：S1：采集图像；S2：提取喷码区域二值图像；S3：分割喷码区域；S4：训练卷积神经网络；S5：喷码检测；其中，所述步骤S3分割喷码区域包括：S301：行分割，将字符按行分开，先通过以下公式将每行的白色像素点个数进行统计：

【技术特征摘要】
1.一种基于卷积神经网络的零部件喷码检测方法，其特征是：包括以下步骤：S1：采集图像；S2：提取喷码区域二值图像；S3：分割喷码区域；S4：训练卷积神经网络；S5：喷码检测；其中，所述步骤S3分割喷码区域包括：S301：行分割，将字符按行分开，先通过以下公式将每行的白色像素点个数进行统计：其中，其中，white[i]为第i行的白色像素点个数；g(i,j)为i行j列的灰度值；COL为图像的像素矩阵的列数；再找出white[0.4ROW,0.6ROW]区域内的最小值，其对应的i值即是分割行，从i行将两行字符分隔开；其中ROW为步骤S2所得图像的像素矩阵的行数；S302：字符分割，图像进行行分割后，再对每行的每个字符进行分割，对于每行字符图像的像素矩阵，首先统计每列的白色像素点个数B[j]，其中，此处，row,col分别为该行字符图像的像素矩阵的行和列；再设置阈值k＝0.1×maxB[j]，从而得到粗分割的分割列的集合C[i]，C[i]＝{j|B[j]＜k,j＝1,...col}(3)，计算阈值分割相邻两列之间的距离得到数组D[i]，D[i]为粗分割后各个字符区域宽度的集合；D[i]＝C[i+1]-C[i],i＝1,2,3...(4)；然后，根据图像像素矩阵行数row，得到图像中的字符高度h，根据标准喷码字符的高宽比，设置单个喷码字符宽度范围为W＝[0.4h,h]，选取D[i]中属于W的值得到E[i]＝{e|e∈D[i],e∈W,i＝1,2,3...}；其中，E[i]为该行图像所有字符区域中，无粘连的单个字符宽度的集合；对E[i]中的元素取平均值得wstd；根据wstd计算各个字符区域单个字符宽度F[i]，最后将各个区域字符按照F[i]进行平均分割即可，若round(D[i]/wstd)＝0，则该区域舍弃。2.如权利要求1所述的基于卷积神经网络的零部件喷码检测方法，其特征是：所述步骤S2：提取喷码区域包括：S201：图像预处理，将工业相机采集的图像进行灰度处理转换为灰度图像；采用大小为(3,3)的高斯矩阵进行滤波；采用threshold函数进行固定阈值二值化，将灰度值大于阈值150部分设为白色，低于阈值部分设为黑色，得到黑底白字的图...

【专利技术属性】
技术研发人员：唐倩，李代杨，周浩，郭伏雨，刘联超，
申请(专利权)人：重庆大学，
类型：发明
国别省市：重庆,50