半监督学习式目标检测神经网络训练方法、装置及应用制造方法及图纸

本发明专利技术涉及一种半监督学习式目标检测神经网络训练方法、装置及应用，所述方法的训练集包括不含标注的OK样本和含标注的NG样本，包括以下步骤：S1、以NG样本为正样本训练神经网络；S2、利用当前的神经网络对OK图片进行负样本标注；S3、以含标注的OK图片再次训练神经网络；S4、重复步骤S1‑S3，直到神经网络收敛。与现有技术相比，本发明专利技术具有利用了大量的OK样本，成本低，有效提高了网络精度等优点。

Training method, device and application of semi supervised learning neural network for target detection

【技术实现步骤摘要】
半监督学习式目标检测神经网络训练方法、装置及应用
本专利技术涉及一种基于人工智能的目标检测方法，尤其是涉及一种半监督学习式目标检测神经网络训练方法及应用。
技术介绍
作为现代制造业的一个流程，产品质检是工业流水线上的一个重要环节。目前的产品质检工作主要以人工为主，辅以一些传统的计算机视觉检测算法。随着现代制造业规模的扩大和消费者对产品品控日益高涨的需求，传统以人工为主的质检行业在成本控制和质量控制上开始难以跟上行业的发展。作为以上问题的解决方案，工业缺陷检测行业的智能化和自动化开始代替人工质检。利用计算机视觉技术代替一部分人工的方法开始在生产过程中普及。但是目前市场上的质检软件大多基于传统的计算机视觉方法。这些方法虽然成熟稳定，却局限于简单的工业场景，难以处理复杂，隐晦的产品缺陷。随着机器学习的发展，尤其是近年来(从2012年)涌现的深度学习(DeepLearning)技术在计算机视觉领域的成功应用，工业检测行业自动化迎来了更高一阶的发展。深度学习技术凭借其出色的语义处理能力，在自然语言处理，自动驾驶，人脸识别，和三维场景重建等各种复杂领域有着出色的表现，在某些细分领域甚至超过了人类。在工业缺陷检测领域中，深度学习算法也能处理应对更复杂的场景。目前的深度学习算法在工业缺陷检测中的应用主要集中在视觉检测中的一下三个难度逐一递增的场景：即输入待检测对象的光学特征信号(一般以高清相片为主)，算法给出1)缺陷的类别信息(目标分类)，2)缺陷的类别和用多边形表示的尺寸、位置信息(目标检测)，和3)像素级别的缺陷类别信息(目标分割)。基于深度学习的目标检测算法有很多种，其中最常见的算法类别是以FasterRCNN为代表的基于RegionProposal的目标检测算法。此类算法最大的特点是把目标检测拆分成两大步骤，即首先算法从输入图片中提取出若干候选区域(一般用矩形或多边形表示)，然后算法的第二步会针对这些图片候选区域进行分类和矫正，最后输出待检测目标(在工业质检场景中，检测目标即缺陷)的类别，尺寸，和位置(后两者由矩形或多边形表示)。以工业缺陷检测为例，为保证检测精度，上述检测算法通常需要大量被标注的缺陷样本作为训练依据。在训练过程中，这些标注样本被当作缺陷样本的范例，用以训练(通过调整深度神经网络中的连接权重)算法对该类型缺陷的识别能力。相对于传统计算机视觉算法，基于深度神经网络的计算机视觉算法通常需要更多的标注数据来完成训练。尽管在检测精度和应对复杂场景的能力上后者占据了绝对优势，但标注训练数据往往需要耗费很多人力和时间成本。为目标检测算法标注训练数据的成本主要体现在一下两个方面：1、先识别出缺陷样本(即找出图片中是否存在缺陷)，2、然后用矩形框或多边形标注缺陷的类别，尺寸和位置。其中后者所耗费的人力成本往往比前者更高。更糟的是，在很多工业检测的场景中，可供训练的缺陷样本通常非常之少，这种情况对训练效果的影响会很大。以上标注成本和极端数据条件的存在极大限制了深度学习目标检测算法在工业缺陷检测上的应用范畴。以FasterRCNN为例简要介绍传统深度目标神经网络在工业质检应用中的训练方法。FasterRCNN是基于RegionProposal的目标检测算法，其网络结构由两个分工不同的网络组成：1、RegionProposalNetwork(RPN)：根据输入图片的内容检测出一批疑似包含待检测目标的候选区域；2、DetectionHead：进一步鉴别，优化RPN网络所检测出来的候选区域，最后输出待检测目标的类别，置信度和所在位置与尺寸(矩形框)。从以上FasterRCNN的结构可以看出，训练FasterRCNN的关键点之一落在了如何对候选区域的分类上。在传统训练方法中，候选区域被划定为正样本(包含待检测目标的区域)的依据是其与标注区域的重合程度，负样本(不包含待检测目标的区域,即背景)则是在图片其它区域中随机选取。因为负样本的数据质量直接决定了最后检测结果的精确度，而传统训练方法中的区域负样本的选取仅限于包含缺陷的NG图片，然而数量更多的OK图片并没有被有效地运用到目标检测算法的训练中来。以OK图片背景作为训练负样本的缺失很可能会导致缺陷检测的高误报率。
技术实现思路
本专利技术的目的在于克服上述现有技术存在的人工数据标注的难题而提供一种半监督学习式目标检测神经网络训练方法、装置及应用。本专利技术的目的可以通过以下技术方案来实现：一种半监督学习式目标检测神经网络训练方法，其特征在于，该方法的训练集包括不含标注的OK样本和含标注的NG样本，包括以下步骤：S1、以NG样本为正样本训练神经网络；S2、利用当前的神经网络对OK图片进行负样本标注；S3、以含标注的OK图片再次训练神经网络；S4、重复步骤S1-S3，直到神经网络收敛。进一步地，所述步骤S1和S3中，采用反向传播梯度下降法优化神经网络的网络参数。进一步地，所述对OK图片进行负样本标注具体为：将OK图片作为当前的神经网络的输入，进行图片缺陷检测，选择置信率最高的设定数量的检测结果，标注为负样本。进一步地，所述设定数量为OK图片所有检测框数量的10-15％。本专利技术还提供一种半监督学习式目标检测神经网络训练装置，该装置采用的训练集包括不含标注的OK样本和含标注的NG样本，该装置包括：初训练模块，用于以NG样本为正样本训练神经网络；负样本标注模块，用于利用初训练模块输出的神经网络对OK图片进行负样本标注；再训练模块，用于以负样本标注模块输出的含标注的OK图片再次训练神经网络；收敛判断模块，用于判断再训练模块输出的神经网络是否收敛，若是，则输出最终的神经网络，若否，则重新启动初训练模块。进一步地，所初训练模块和再训练模块中，采用反向传播梯度下降法优化神经网络的网络参数。进一步地，所述负样本标注模块中，对OK图片进行负样本标注具体为：将OK图片作为当前的神经网络的输入，进行图片缺陷检测，选择置信率最高的设定数量的检测结果，标注为负样本。进一步地，所述设定数量为OK图片所有检测框数量的10-15％。本专利技术还提供一种产品缺陷检测方法，采用所述的半监督学习式目标检测神经网络训练方法对目标检测神经网络进行训练，基于训练好的目标检测神经网络实现产品缺陷检测。与现有技术相比，本专利技术具有如下有益效果：第一，本方法在基于深度学习的工业质检领域，有效地把曾经被忽略的大量OK图片(无缺陷样本)运用到训练过程中，在实验中，新方法可以极大地减小误报率。由于无缺陷样本的多数性，本专利技术绕开了缺陷样本过少的限制，大大提高了训练精度。第二，本方法并不需要大量的人力成本，由于工业缺陷检测的特殊性，OK图片占图片总数的比例要远远高于NG图片，具有易得性，所以OK的获得成本很低；其次，因为OK图片遴选出来后不需要像对待NG图片那样进行手动标注，OK图片的获取速度要远远高于NG本文档来自技高网...

【技术保护点】
1.一种半监督学习式目标检测神经网络训练方法，其特征在于，该方法的训练集包括不含标注的OK样本和含标注的NG样本，包括以下步骤：/nS1、以NG样本为正样本训练神经网络；/nS2、利用当前的神经网络对OK图片进行负样本标注；/nS3、以含标注的OK图片再次训练神经网络；/nS4、重复步骤S1-S3，直到神经网络收敛。/n

【技术特征摘要】
1.一种半监督学习式目标检测神经网络训练方法，其特征在于，该方法的训练集包括不含标注的OK样本和含标注的NG样本，包括以下步骤：
S1、以NG样本为正样本训练神经网络；
S2、利用当前的神经网络对OK图片进行负样本标注；
S3、以含标注的OK图片再次训练神经网络；
S4、重复步骤S1-S3，直到神经网络收敛。


2.根据权利要求1所述的半监督学习式目标检测神经网络训练方法，其特征在于，所述步骤S1和S3中，采用反向传播梯度下降法优化神经网络的网络参数。


3.根据权利要求1所述的半监督学习式目标检测神经网络训练方法，其特征在于，所述对OK图片进行负样本标注具体为：
将OK图片作为当前的神经网络的输入，进行图片缺陷检测，选择置信率最高的设定数量的检测结果，标注为负样本。


4.根据权利要求3所述的半监督学习式目标检测神经网络训练方法，其特征在于，所述设定数量为OK图片所有检测框数量的10-15％。


5.一种半监督学习式目标检测神经网络训练装置，其特征在于，该装置采用的训练集包括不含标注的OK样本和含标注的NG样本，该装置包括：
初训练模块，用于以NG样本...

【专利技术属性】
技术研发人员：翟梦华，
申请(专利权)人：聚时科技上海有限公司，
类型：发明
国别省市：上海;31