一种基于深度学习的复杂背景低质量二维条码检测方法技术

本发明专利技术公开了一种基于深度学习的复杂背景低质量二维条码检测方法，步骤如下：步骤1，收集图像并制作成VOC2007格式的二维条码数据集；步骤2，采用移动端的AR眼镜或固定端的工业相机进行二维条码的图像获取；步骤3，对接收到的图像通过现有的基于稀疏卷积核估计的算法进行预处理；步骤4，基于步骤3中的卷积核估计值，运用非凸优化算法对图像进行最后的复原处理；步骤5，利用卷积神经网络对复原后含有二维条码的图像进行特征提取；步骤6，对获取到的特征图利用改进的Faster‑RCNN算法进行检测，最后得到二维条码图像和二维条码边框的坐标以及角度。本发明专利技术对二维条码存在的模糊、磨损以及光照不均等问题均可准确检测定位。

【技术实现步骤摘要】
一种基于深度学习的复杂背景低质量二维条码检测方法
本专利技术属于图像处理
，具体涉及一种基于深度学习的复杂背景低质量二维条码检测方法。
技术介绍
随着“工业4.0”和“中国制造2025”概念的不断深入，智能化和自动化逐渐成为企业生产所关注的重点。在信息物理融合系统中，信息世界和物理世界的联系越来越密切，整个系统都需要对周围环境有一个“感知”，这个过程就是由自动识别技术实现的。其中零件直接标刻DataMatrix技术在工业应用中更加广泛，因此快速准确检测识别产品表面的二维条码，是实现产品信息追踪管理的前提，同时也是提升物流管理效率、实现产品生产过程信息获取以及产品实时追踪的重点。在条码检测方面，企业还是使用传统的图像处理方式来进行二维条码的检测。有利用L边对二维条码进行检测定位，利用Hough变换或者Radon变换检测直线边缘得到“L”形寻边区的位置和旋转角度，但是要想取得较好的变换精度，这种方法计算量大，如果变换精读太小降低了计算量，但是又无法取得较好的检测效果。传统的图像处理方法需要针对不同的条码检测情况设计不同的图像特征，这是一项耗费人力物力的工作，而且设计的图像特征也不具有通用性；据统计，85％的识读时间都消耗在寻找可能识读的位置上，针对复杂背景中的条码或者微小二维条码的鲁棒性较差，条码的检测时间长，识读准确率低。中国专利公开号CN107066914A公开了一种复杂背景下的二维条码图像定位方法及系统，所述方法包括：对二维条码图像进行预处理，获取预处理后的二维条码图像；对所述预处理后的二维条码图像进行轮廓提取处理，获取二维条码图像的条码轮廓，并作为候选条码区；判断每个候选条码区是否为矩形，去除非矩形的候选条码区；对保留下来的候选区进行矩形中心重叠去除处理，获取对边平行的候选条码区；根据所述对边平行的候选条码区获取二维条码图像的定位。上述现有技术解决了复杂背景下完整二维条码图像定位的问题，但是对于标刻在零件表面的二维条码，在零件运输过程中，难免会因为磨损或者油污导致二维条码的辨识度降低，导致条码检测的难度会加大，甚至无法达到检测定位要求，难以检测定位到二维条码。
技术实现思路
本专利技术的目的就是针对上述现有技术的不足，提供一种扩大了条码检测的适用范围，对二维条码存在模糊、部分遮挡、磨损以及光照不均的情况均可准确检测定位的基于深度学习的复杂背景低质量二维条码检测方法。本专利技术采用的技术方案如下：一种基于深度学习的复杂背景低质量二维条码检测方法，步骤如下：步骤1：收集图像并制作成VOC2007格式的二维条码数据集；步骤2：采用移动端的AR眼镜或固定端的工业相机进行二维条码的图像获取，并将获取的图像发送给服务器；步骤3：对接收到的图像通过现有的基于稀疏卷积核估计的算法进行去模糊的预处理；步骤4：基于步骤3中的卷积核估计值，运用现有的非凸优化算法对预处理后的的图像进行最后的复原处理；步骤5：利用卷积神经网络对复原之后含有二维条码的图像进行特征提取，得到二维条码图像的特征图；步骤6：对获取到的特征图利用改进的Faster-RCNN算法进行检测，最后得到二维条码图像和二维条码边框的坐标以及角度。步骤1的具体步骤为：(a)收集拍摄到的5000张原始图像，随机选取500张图像作为VOC2007内的测试集；(b)剩余的4500张图像进行数据增强扩充到18000张图像作为VOC2007内的训练集；(c)对训练集中的包含有二维条码的图像用标记工具进行标注，获取二维条码的位置和类别信息，并将其转化为TFrecord格式。步骤2的具体步骤为：(a)在移动端中，操作者配戴AR眼镜，面对工作场景，选定要获取的场景后，利用手势或者AR眼镜自带的相机进行拍摄；(b)在固定端中，将多个工业相机均匀分布在场景之中，确保工业相机可以对整个场景进行图像拍摄。步骤3的具体步骤为：(a)采用高斯滤波对图像进行预平滑处理来构造图像的边缘；(b)选择具有边缘的图像进行卷积核估计；(c)使用预测的锐利边缘梯度作为空间先验，指导图像的初步恢复。步骤5的具体步骤为：(a)利用卷积神经网络在VOC2007格式的数据集上的预训练数据来增强二维条码数据集的泛化能力；(b)在训练过程中不断调整修改学习率、训练批次和迭代次数的相关参数；(c)将调整后的图像作为输入图经过特征提取器获取二维条码图像的特征图。步骤5中，所述卷积神经网络为VGG16模型，所述VGG16模型包含13个卷积层和4个池化层。本专利技术的有益效果有：(1)本专利技术对二维条码图像存在模糊、部分遮挡、磨损以及光照不均的情况均可准确检测定位；(2)本专利技术移动端的操作人员可以通过佩戴AR眼镜即可进行二维条码检测，AR眼镜上的相机对工作场景进行中图像获取，然后将获取的图片传输到服务器进行运算，服务器将检测的结果回传给AR眼镜，并将结果渲染到AR眼镜上，将虚实进行结合，给予操作者更加直观的感受，可以极大提高工作效率；(3)在大视野范围下采用固定端的图像获取方式可以进行复杂大背景情况下的二维条码检测，改进了Faster-RCNN的边框回归模型，增加了角度的回归，使其更加适用于二维条码检测，可以准确检测二维条码。附图说明图1为本专利技术的流程图；图2为本专利技术的移动端图像获取流程图；图3为本专利技术的固定端图像获取流程图。具体实施方式通过以下说明和实施例对本专利技术的基于深度学习的复杂背景低质量二维条码检测方法作进一步的说明。如图1-3所示，本专利技术它包括：步骤1：收集图像并制作成VOC2007格式的二维条码数据集；步骤2：采用移动端的AR眼镜或固定端的工业相机进行二维条码的图像获取，并将获取的图像发送给服务器，其中移动端最后获取的检测信息在AR眼睛上进行显示，固定端最后获取的检测信息在服务器的显示屏上进行显示；步骤3：对接收到的图像通过现有的基于稀疏卷积核估计的算法进行去模糊的预处理，其卷积核初始化算法流程表如表1所示；表1步骤4：基于步骤3中的卷积核估计值，运用现有的非凸优化算法对预处理后的的图像进行最后的复原处理，其卷积核优化流程如表2所示；表2ISD是一个迭代的方法，在每次迭代的开始，使用先前估计的核ki形成部分支持，也就是说，将大值元素放入集合Si+1中，而所有其他的元素都属于集合Si+1，Si+1被构造为：其ki中的索引j和εs均为正数，在迭代中不断变化，从而形成部分支持。以ki的升序对所有元素进行排序，并计算每两个相邻元素之间的差d0，d1···，然后从d0开始依次检查这些差，搜寻满足dj＝||ki||∞/(2h·i)的第一个元素，h是内核宽度，||ki||∞返回ki的最大值，随后将位置j的内核值分配给εs，每个集合S中的元素在优化中将减少损失，从而导致自适应内核优化过程，最小化式为：最小化式(2)用于扩散函数(PSF)细化，本文档来自技高网...

【技术保护点】
1.一种基于深度学习的复杂背景低质量二维条码检测方法，其特征是，步骤如下：/n步骤1：收集图像并制作成VOC2007格式的二维条码数据集；/n步骤2：采用移动端的AR眼镜或固定端的工业相机进行二维条码的图像获取，并将获取的图像发送给服务器；/n步骤3：对接收到的图像通过现有的基于稀疏卷积核估计的算法进行去模糊的预处理；/n步骤4：基于步骤3中的卷积核估计值，运用现有的非凸优化算法对预处理后的的图像进行最后的复原处理；/n步骤5：利用卷积神经网络对复原之后含有二维条码的图像进行特征提取，得到二维条码图像的特征图；/n步骤6：对获取到的特征图利用改进的Faster-RCNN算法进行检测，最后得到二维条码图像和二维条码边框的坐标以及角度。/n

【技术特征摘要】
1.一种基于深度学习的复杂背景低质量二维条码检测方法，其特征是，步骤如下：
步骤1：收集图像并制作成VOC2007格式的二维条码数据集；
步骤2：采用移动端的AR眼镜或固定端的工业相机进行二维条码的图像获取，并将获取的图像发送给服务器；
步骤3：对接收到的图像通过现有的基于稀疏卷积核估计的算法进行去模糊的预处理；
步骤4：基于步骤3中的卷积核估计值，运用现有的非凸优化算法对预处理后的的图像进行最后的复原处理；
步骤5：利用卷积神经网络对复原之后含有二维条码的图像进行特征提取，得到二维条码图像的特征图；
步骤6：对获取到的特征图利用改进的Faster-RCNN算法进行检测，最后得到二维条码图像和二维条码边框的坐标以及角度。


2.根据权利要求1所述的基于深度学习的复杂背景低质量二维条码检测方法，其特征是，步骤1的具体步骤为：(a)收集拍摄到的5000张原始图像，随机选取500张图像作为VOC2007内的测试集；(b)剩余的4500张图像进行数据增强扩充到18000张图像作为VOC2007内的训练集；(c)对训练集中的包含有二维条码的图像用标记工具进行标注，获取二维条码的位置和类别信息。


3.根据权利要求1所述的基于深...

【专利技术属性】
技术研发人员：何卫平，魏小红，李亮，张旭，王荣，
申请(专利权)人：南京翱翔信息物理融合创新研究院有限公司，中国航发动力股份有限公司，
类型：发明
国别省市：江苏;32