基于并行计算的瓦楞纸箱缺陷检测加速方法、系统、设备及存储介质技术方案

本发明专利技术公开了一种基于并行计算的瓦楞纸箱缺陷检测加速方法、系统、设备及存储介质，方法包括：获取瓦楞纸箱的目标物图像，并将目标物图像调整为设定大小的子图像；对每个子图像进行预处理，并在输出图像的不同通道中重组每个子图像的像素；将预处理后的子图像输入到改进后的二值化神经网络BNN模型中提取特征图像；所述BNN模型中，只有卷积层和密集层的权重被二值化，而批量归一化层的权重仍然是实数；对提取的特征图像进行分类，具体为：将特征图像展平为设定大小的特征向量，然后，部署两个密集层以将特征向量致密为多维；最后，应用soft

【技术实现步骤摘要】
基于并行计算的瓦楞纸箱缺陷检测加速方法、系统、设备及存储介质


[0001]本专利技术属于机器视觉检测
，具体涉及一种基于并行计算的瓦楞纸箱缺陷检测加速方法、系统、设备及存储介质。

技术介绍

[0002]现代工业发展迅速，瓦楞纸箱趋于高速化、连续化、大批量生产的趋势。但是，由于纸箱生产设备精度低、设备与图像参数不匹配或材料故障等因素，都可能出现纸箱缺陷，从而对产品质量产生负面影响。传统的纸箱缺陷是手动检测的。然而，人工检测成本高、速度慢、识别率低，难以满足包装产品批量生产的要求。随着智能化和信息化技术的发展，机器视觉在工业检测中得到了广泛的应用。与传统的人工检测方法相比，基于机器视觉的自动检测具有非接触、速度快、抗干扰等特点，可以减轻检测人员的劳动强度，提高检测效率和精度。
[0003]研究人员对基于机器视觉的纸箱缺陷检测进行了大量研究，纸箱缺陷在线检测技术取得了很大的研究进展。然而，对检测精度要求较高的脏点、雾点、飞墨、刮痕等的检测在算法中却很少考虑，容易造成此类缺陷的漏检或误检。因此，如何提高纸箱缺陷检测的检测速度和检测精度是本领域技术人员亟待解决的技术问题之一。

技术实现思路

[0004]本专利技术的主要目的在于克服现有技术的缺点与不足，提供一种基于并行计算的瓦楞纸箱缺陷检测加速方法、系统、设备及存储介质，提高了瓦楞纸箱缺陷检测的速度和精度。
[0005]为了达到上述目的，本专利技术采用以下技术方案：
[0006]第一方面，本专利技术提供了一种基于并行计算的瓦楞纸箱缺陷检测加速方法，包括下述步骤：
[0007]获取瓦楞纸箱的目标物图像，并将目标物图像调整为设定大小的子图像；
[0008]对每个子图像进行预处理，并在输出图像的不同通道中重组每个子图像的像素；
[0009]将预处理后的子图像输入到改进后的二值化神经网络BNN模型中提取特征图像；其中改进后的二值化神经网络BNN模型包括图像特征提取模块和缺陷分类模块，通过特征提取模块提取特征图像送入缺陷分类模块进行缺陷分类；所述改进后的二值化神经网络BNN模型中，只有卷积层和密集层的权重被二值化，而批量归一化层的权重仍然是实数；在卷积层中，“use_bias”参数设置为false；最大池化层用于提取特征图像的子区域中的最大值；最大池化的输出没有填充；批量归一化层用于减轻不稳定梯度的影响；
[0010]对提取的特征图像进行分类，具体为：将特征图像展平为设定大小的特征向量，然后，部署两个密集层以将特征向量致密为多维；最后，应用soft
‑
max层来生成输出分类结果，每一维特征向量对应一个分类结果。
[0011]作为优选的技术方案，所述重组每个子图像的像素，采用下述数学模型：
[0012]f(x)＝(x
‑
127.5)/128
[0013]其中，f(x)表示重组后的子图像，x是用8位整数表示的像素，范围为0到255，常数127.5是范围边界0和255的平均值，常数128是缩放因子；在预处理之后，像素值被限制在(
‑
1,1)内。
[0014]作为优选的技术方案，所述进后的二值化神经网络BNN模型中，二值化层用作激活函数，如下式所示：
[0015][0016]其中x是批量归一化层的输出，是一个实数；q(x)是二值化层的1位输出，在通过三个额外的卷积层以及相应的最大池化、归一化和二值化层后，完成特征图像的提取。
[0017]作为优选的技术方案，所述进后的二值化神经网络BNN模型中，交叉熵损失函数用于测量预测类与相应标记类之间的差异,数学模型表示如下：
[0018][0019]其中M表示类别数，y
m
是预测类别，c是标记类别，标签为m的图像表示为X
m
；模型的训练过程旨在通过调整权重参数来最小化损失函数。
[0020]作为优选的技术方案，所述改进后的二值化神经网络BNN模型是在CPU和FPGA上进行训练，具体为：
[0021]在FPGA设计中，卷积运算是一组矩阵乘法，将矩阵乘法计算后的中间结果存储在随机存取存储器RAM中，RAM访问时间为2个时钟周期；卷积层滤波器大小为3x3；在每次矩阵乘法之前，需要重复多次次将图像数据访问RAM，使用有限状态机FSM来帮助实现BNN模型中的不同卷积层；FSM是一种能够保证函数逻辑顺序的计算模型，通常应用于同步设计中；
[0022]改进后的二值化神经网络BNN模型在CPU上训练好后，然后在包含嵌入ARM处理器的FPGA上进行推理，图像预处理、卷积层一和最后一个激活层在ARM中实现；卷积层一的输出使用Xillibus IP内核通过AXI总线发送到FPGA，在FPGA处理之后，密集层二的输出然后被传输回ARM用于激活层；
[0023]在推理过程中，所有层权重都存储在只读存储器ROM中，这是嵌入式系统中使用的一种非易失性存储器，ROM中存储的数据在编程后无法修改，这使得存储经过训练的神经网络权重/参数变得完美；在FPGA设计中，首先需要准备指定ROM初始内容的存储器初始化文件，初始文件的扩展名为.mif。
[0024]作为优选的技术方案，在分类的过程中，由于预处理过程中，将输入的图片进行了下采样以减小图像的规模，因此在网络模型末尾需要对图像进行上采样，将尺寸恢复为初始大小图像，即对N＝F(A1)进行上采样得到N％，数学模型表示为：
[0025][0026]Z
i
表示来自BNN激活输出的第i个实数；是第i个类别的概率；最终输出是5个实数，代表缺陷类型的概率，即无缺陷、滚入刻度、补丁、夹杂物和划痕。
[0027]作为优选的技术方案，所述目标物图像是通过工业相机拍摄的。
[0028]第二方面，本专利技术提供了一种基于并行计算的瓦楞纸箱缺陷检测加速系统，应用于所述的基于并行计算的瓦楞纸箱缺陷检测加速方法，包括图像获取模块、预处理模块、特征提取模块和图像分类模块；
[0029]所述图像获取模块，用于获取瓦楞纸箱的目标物图像，并将目标物图像调整为设定大小的子图像；
[0030]所述预处理模块，用于对每个子图像进行预处理，并在输出图像的不同通道中重组每个子图像的像素；
[0031]所述特征提取模块，用于将预处理后的子图像输入到改进后的二值化神经网络BNN模型中提取特征图像；所述改进后的二值化神经网络BNN模型中，只有卷积层和密集层的权重被二值化，而批量归一化层的权重仍然是实数；在卷积层中，“use_bias”参数设置为false；最大池化层用于提取特征图像的子区域中的最大值；最大池化的输出没有填充；批量归一化层用于减轻不稳定梯度的影响；
[0032]所述图像分类模块，用于对提取的特征图像进行分类，具体为：将特征图像展平为设定大小的特征向量，然后，部署两个密集层以将特征向量致密为多维；最后，应用soft
‑
max层来生成输出分类结果，每一维特征向量对应一个分类结果。
...

【技术保护点】

【技术特征摘要】
1.基于并行计算的瓦楞纸箱缺陷检测加速方法，其特征在于，包括下述步骤：获取瓦楞纸箱的目标物图像，并将目标物图像调整为设定大小的子图像；对每个子图像进行预处理，并在输出图像的不同通道中重组每个子图像的像素；将预处理后的子图像输入到改进后的二值化神经网络BNN模型中提取特征图像；其中改进后的二值化神经网络BNN模型包括图像特征提取模块和缺陷分类模块，通过特征提取模块提取特征图像送入缺陷分类模块进行缺陷分类；所述改进后的二值化神经网络BNN模型中，只有卷积层和密集层的权重被二值化，而批量归一化层的权重仍然是实数；在卷积层中，“use_bias”参数设置为false；最大池化层用于提取特征图像的子区域中的最大值；最大池化的输出没有填充；批量归一化层用于减轻不稳定梯度的影响；对提取的特征图像进行分类，具体为：将特征图像展平为设定大小的特征向量，然后，部署两个密集层以将特征向量致密为多维；最后，应用soft
‑
max层来生成输出分类结果，每一维特征向量对应一个分类结果。2.根据权利要求1所述基于并行计算的瓦楞纸箱缺陷检测加速方法，其特征在于，所述重组每个子图像的像素，采用下述数学模型：f(x)＝(x
‑
127.5)/128其中，f(x)表示重组后的子图像，x是用8位整数表示的像素，范围为0到255，常数127.5是范围边界0和255的平均值，常数128是缩放因子；在预处理之后，像素值被限制在(
‑
1,1)内。3.根据权利要求1所述基于并行计算的瓦楞纸箱缺陷检测加速方法，其特征在于，所述进后的二值化神经网络BNN模型中，二值化层用作激活函数，如下式所示：其中x是批量归一化层的输出，是一个实数；q(x)是二值化层的1位输出，在通过三个额外的卷积层以及相应的最大池化、归一化和二值化层后，完成特征图像的提取。4.根据权利要求1所述基于并行计算的瓦楞纸箱缺陷检测加速方法，其特征在于，所述进后的二值化神经网络BNN模型中，交叉熵损失函数用于测量预测类与相应标记类之间的差异,数学模型表示如下：其中M表示类别数，y
m
是预测类别，c是标记类别，标签为m的图像表示为X
m
；模型的训练过程旨在通过调整权重参数来最小化损失函数。5.根据权利要求1所述基于并行计算的瓦楞纸箱缺陷检测加速方法，其特征在于，所述改进后的二值化神经网络BNN模型是在CPU和FPGA上进行训练，具体为：在FPGA设计中，卷积运算是一组矩阵乘法，将矩阵乘法计算后的中间结果存储在随机存取存储器RAM中，RAM访问时间为2个时钟周期；卷积层滤波器大小为3x3；在每次矩阵乘法之前，需要重复多次次将图像数据访问RAM，使用有限状态机FSM来帮助实现BNN模型中的不同卷积层；FSM是一种能够保证函数逻辑顺序的计算模型，通常应用于同步设计中；改进后的二值化神经网络BNN模型在CPU上训练好后，然后在包含嵌入ARM处理器的
FPGA上进行推理，图像...

【专利技术属性】
技术研发人员：程良伦，王涛，何慧锋，
申请(专利权)人：广州科盛隆纸箱包装机械有限公司，
类型：发明
国别省市：