一种基于卷积神经网络的不均衡缺陷样本的检测方法技术

本发明专利技术公开了一种基于卷积神经网络的不均衡缺陷样本的检测方法，包括如下步骤：（1）收集前期数据：收集两种类型的数据，一种是产品原始的缺陷数据，并制作训练集原始图像；第二种是生产环境中生产出的没有缺陷的数据，称为无缺陷数据，形成无缺陷图像；（2）制作原始缺陷数据的标签图像；（3）深度神经网络训练：（4）缺陷推理：对于实际生产环境中的一张新的图像，随机抽取多张无缺陷图像，每一张无缺陷图像与新的图像级联形成6通道输入，送入网络得到输出，投票得出最后的缺陷像素。本发明专利技术通过收集缺陷数据和无缺陷数据，即加入大量的无缺陷样本形成新的数据输入，从而提升了检测性能，可以处理一些新类型的缺陷。

【技术实现步骤摘要】
一种基于卷积神经网络的不均衡缺陷样本的检测方法
本专利技术涉及缺陷检测识别
，具体涉及一种基于卷积神经网络的不均衡缺陷样本的检测方法。
技术介绍
卷积神经网络（ConvolutionalNeuralNetworks，CNN）是一类包含卷积计算且具有深度结构的前馈神经网络（FeedforwardNeuralNetworks），是深度学习（deeplearning）的代表算法之一。卷积神经网络具有表征学习（representationlearning）能力，能够按其阶层结构对输入信息进行平移不变分类（shift-invariantclassification），因此也被称为“平移不变人工神经网络（Shift-InvariantArtificialNeuralNetworks,SIANN）。对卷积神经网络的研究始于二十世纪80至90年代，时间延迟网络和LeNet-5是最早出现的卷积神经网络。在二十一世纪后，随着深度学习理论的提出和数值计算设备的改进，卷积神经网络得到了快速发展，并被应用于计算机视觉、自然语言处理等领域。卷积神经网络仿造生物的视知觉（visualperception）机制构建，可以进行监督学习和非监督学习，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化（grid-liketopology）特征，例如像素和音频进行学习、有稳定的效果且对数据没有额外的特征工程（featureengineering）要求。卷积神经网络长期以来是图像识别领域的核心算法之一，并在学习数据充足时有稳定的表现。对于一般的大规模图像分类问题，卷积神经网络可用于构建阶层分类器（hierarchicalclassifier），也可以在精细分类识别（fine-grainedrecognition）中用于提取图像的判别特征以供其它分类器进行学习。对于后者，特征提取可以人为地将图像的不同部分分别输入卷积神经网络，也可以由卷积神经网络通过非监督学习自行提取。目前，在缺陷检测领域，卷积神经网络得到了广泛应用，深度学习正在起到越来越重要的作用。例如中国专利技术专利申请CN109993094A公开了一种基于机器视觉的材料缺陷智能检测方法，步骤如下：1)数据采集模块实时采集显微镜设备的图像数据；2)用户通过用户界面模块或者手动配置待检测的代表材料缺陷的训练基础特征图片库；3)提取图像特征，进行图像优化，得到特征数据；4)对图像特征进行分类识别，对材料的多种缺陷类型特征分类训练；5)运用成熟的神经网络卷积算法，对提取的特征和分类进行多层网络迭代计算，得到关于材料的所有类型缺陷的特征结果和上下文数据；6)输出深度学习结果，并将该结果及其特征上下文数据用于壮大训练学习库，逐步提高对磁性材料裂纹问题的识别效率和准确率。该方法采用的是基于机器视觉的缺陷特征，不再完全依赖于专业检测机构或人工检测，缺陷特征库贯穿整个检测过程，不断迭代，不断提高检测效率；此外，其积累的缺陷数据将会形成一个缺陷特征数据库，从长远利益来讲，是本行业大数据的一个雏形。然而，上述方法存在如下缺点：（1）在一些实际生产环境中，缺陷类型是非常复杂和多变的，有一些缺陷很容易被收集，其数据量也很大，但另外有一些缺陷却很少很少，这些微小数量的缺陷在整体数据集中的比例就比较小，而正是因为其比例较小的原因，从而不能被模型很好的训练，导致这一类的缺陷可能无法被检测出来；（2）在实际生产中，通常是良品的比例较高，而缺陷产品的比例较低，因此，可采集的缺陷数据也比较少，针对这一实际问题，现有技术的做法是花费大量的时间收集缺陷数据（例如CN109993094A的方法），但这种方法耗时过于巨大，对于企业而言所需时间太长、成本太大。因此，开发一种新的可以快速投入使用的基于卷积神经网络的不均衡缺陷样本的检测方法，可以全面的检测各类缺陷（包括常见缺陷和不常见缺陷），从而避免投入大量的人力成本，提高效率。
技术实现思路
本专利技术的专利技术目的是提供一种基于卷积神经网络的不均衡缺陷样本的检测方法。为达到上述专利技术目的，本专利技术采用的技术方案是：一种基于卷积神经网络的不均衡缺陷样本的检测方法，包括如下步骤：（1）收集前期数据：收集两种类型的数据，一种是产品原始的缺陷数据，并制作训练集原始图像；第二种是生产环境中生产出的没有缺陷的数据，称为无缺陷数据，形成无缺陷图像；（2）制作原始缺陷数据的标签图像：使用图像标注工具标注任务目标中的特征，制作对应的标签图像；对于所述无缺陷数据，此步不做处理；（3）深度神经网络训练：（a）坐标修正：首先对所述标签图像进行位置修正，保证所有标签图像的中心像素点在采集时的绝对位置是一致的，同时将所有标签图像裁剪到相同大小；（b）抽样形成神经网络输入：采用6通道输入，随机取两张标签图像，一张固定为无缺陷图像，另一张随机抽取有缺陷的标签图像或无缺陷图像，之后两张图像级联形成6通道输入；最终得到训练好的模型；（4）缺陷推理：利用步骤（3）中所述的训练好的模型，以及采集到的无缺陷图像进行推理，对于实际生产环境中的一张新的图像，随机抽取多张无缺陷图像，每一张无缺陷图像与新的图像级联形成6通道输入，送入网络得到输出，投票得出最后的缺陷像素。上文中，所述步骤（1）中，需要特别注意，两种数据在采集时，应尽量做到环境变量完全一致。此外，技术人员根据产品的生产情况确定可能出现的缺陷类型，采集人员使用摄影设备根据缺陷类型采集尽可能多样性的前期数据，并制作训练集原始图像。优选的，所述步骤（1）中，所述缺陷数据占总数据的比例为大于等于20%，所述无缺陷数据占总数据的比例为大于等于50%。优选的，所述缺陷数据占总数据的比例为大于等于30%，所述无缺陷数据占总数据的比例为大于等于60%。优选的，所述步骤（1）中，所述缺陷数据和所述无缺陷数据的比例为1:3~5。更优选的，所述缺陷数据和所述无缺陷数据的比例为1:4。优选的，所述步骤（1）中，使用摄影设备根据缺陷类型采集产品原始的缺陷数据，并制作训练集原始图像。优选的，所述步骤（3）中，所述神经网络采用resnet为主干网，利用空洞卷积以及ASPP结构扩大感受野，以适应不同大小、不同长短以及不同形状的各类缺陷。优选的，所述步骤（3）中的（a）坐标修正为：（1）将背景的像素值设置为255；（2）对所有图像的长宽求均值，得到标准长宽值，将所有图像的长宽调整到此标准值；（3）每一张图像的前景像素，都会有最上、最下、最左、最右四个边界像素，取所有图片的四个边界像素坐标值并分别求均值，以此四个均值坐标，确定一个矩形框，此矩形框即为前景的目标矩形框；调整所有图像的前景像素，确保中心点落在矩形框中心点附近，并调整前景大小，使其完整落在此矩形框内，并保证最上、最下、最左、最右四个像素点落在矩形框对应边上。优选的，所述步骤（3）中的（b）抽样形成神经网络输入为：采取完全随机抽样从数据库中抽取一张无缺陷图像。与之相应的本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的不均衡缺陷样本的检测方法，其特征在于，包括如下步骤：/n（1）收集前期数据：收集两种类型的数据，一种是产品原始的缺陷数据，并制作训练集原始图像；第二种是生产环境中生产出的没有缺陷的数据，称为无缺陷数据，形成无缺陷图像；/n（2）制作原始缺陷数据的标签图像：使用图像标注工具标注任务目标中的特征，制作对应的标签图像；对于所述无缺陷数据，此步不做处理；/n（3）深度神经网络训练：/n（a）坐标修正：首先对所述标签图像进行位置修正，保证所有标签图像的中心像素点在采集时的绝对位置是一致的，同时将所有标签图像裁剪到相同大小；/n（b）抽样形成神经网络输入：采用6通道输入，随机取两张标签图像，一张固定为无缺陷图像，另一张随机抽取有缺陷的标签图像或无缺陷图像，之后两张图像级联形成6通道输入；/n最终得到训练好的模型；/n（4）缺陷推理：利用步骤（3）中所述的训练好的模型，以及采集到的无缺陷图像进行推理，对于实际生产环境中的一张新的图像，随机抽取多张无缺陷图像，每一张无缺陷图像与新的图像级联形成6通道输入，送入网络得到输出，投票得出最后的缺陷像素。/n

【技术特征摘要】
1.一种基于卷积神经网络的不均衡缺陷样本的检测方法，其特征在于，包括如下步骤：
（1）收集前期数据：收集两种类型的数据，一种是产品原始的缺陷数据，并制作训练集原始图像；第二种是生产环境中生产出的没有缺陷的数据，称为无缺陷数据，形成无缺陷图像；
（2）制作原始缺陷数据的标签图像：使用图像标注工具标注任务目标中的特征，制作对应的标签图像；对于所述无缺陷数据，此步不做处理；
（3）深度神经网络训练：
（a）坐标修正：首先对所述标签图像进行位置修正，保证所有标签图像的中心像素点在采集时的绝对位置是一致的，同时将所有标签图像裁剪到相同大小；
（b）抽样形成神经网络输入：采用6通道输入，随机取两张标签图像，一张固定为无缺陷图像，另一张随机抽取有缺陷的标签图像或无缺陷图像，之后两张图像级联形成6通道输入；
最终得到训练好的模型；
（4）缺陷推理：利用步骤（3）中所述的训练好的模型，以及采集到的无缺陷图像进行推理，对于实际生产环境中的一张新的图像，随机抽取多张无缺陷图像，每一张无缺陷图像与新的图像级联形成6通道输入，送入网络得到输出，投票得出最后的缺陷像素。


2.根据权利要求1所述的检测方法，其特征在于：所述步骤（1）中，所述缺陷数据占总数据的比例为大于等于20%，所述无缺陷数据占总数据的比例为大于等于50%。


3.根据权利要求1所述的检测方法，其特征在于：所述步骤（1）中，所述缺陷数据和所述无缺陷数据的比例为1:3~5。


4.根据权利要求1所述的检测方法，其特征在于：所述步骤（1）中，使用摄影设备根据缺陷类型采集产品原始的缺陷数据，并制作训练集原始图像。


5.根据权利要求1所述的检测方法，其特征在于：所述步骤（3）中，所述神经网络采用resnet为主干网，利用空洞卷积以及...

【专利技术属性】
技术研发人员：秦应化，张冰峰，何进，肖继民，
申请(专利权)人：苏州鼎纳自动化技术有限公司，
类型：发明
国别省市：江苏;32