基于Yolo的目标检测模型训练方法及其应用和装置制造方法及图纸

本发明专利技术涉及一种基于Yolo的目标检测模型训练方法及其应用和装置，方法包括步骤：(a)加载训练集和测试集，对训练集进行区域弹性形变数据增强，设置相应的训练参数；(b)根据所述训练集构建元结构搜索空间，进行神经网络架构搜索，获得神经网络模型；(c)对所述神经网络模型进行训练，获得训练完成的目标检测模型；应用为：获取待测样本集后，将其输入到所述训练完成的目标检测模型中，由其输出所述待测样本集的Yolo格式的预测标注；装置包括数据集标注单元、数据集切分与预处理单元、参数调优单元、神经网络架构搜索单元和训练单元。本发明专利技术的方法简化了操作，实现整个检测模型训练过程的标准化；本发明专利技术的装置结构简单，操作方便。操作方便。操作方便。

【技术实现步骤摘要】
基于Yolo的目标检测模型训练方法及其应用和装置


[0001]本专利技术属于深度学习
，特别涉及一种基于Yolo的目标检测模型训练方法及其应用和装置。

技术介绍

[0002]芯片是当今社会运作的大脑，移动电话、智能可穿戴设备、大型服务器和传感器等都少不了芯片的影子。因此，芯片制造是航天科技和国防的核心技术，是智能制造的基础，是实现信息化的关键技术。外观上的缺陷会严重影响芯片的性能，因此，芯片外观缺陷检测是芯片生产制造的重要一环。芯片外观缺陷形状不规则、特征多样、出现位置不固定且背景噪声较大；相对于背景来说，待检测目标很小。传统的芯片缺陷检测通常依赖于人工肉眼检测，检测效率和可靠性较低，而且极大的增加了企业的生产成本。
[0003]近年来，基于深度学习的人工智能技术已经逐渐发展成熟。在计算机视觉领域中，目标检测是最热门的研究领域之一，而且在现实场景中有十分重要的应用，例如智能监控、自动驾驶、人脸检测等。目前，基于深度神经网络的目标检测模型具有识别精度高、速度快等优点，已经成为了目标检测算法中的主流。因此，将基于深度神经网络的目标检测模型用于芯片缺陷检测任务，在提高芯片生产良率和降低企业生产成本方面具有重要意义。传统的芯片缺陷自动检测任务通常被定义为一个目标检测问题，样本越多越好，缺乏对问题本身和实际应用环境的充分考虑。此外，深度学习技术门槛较高，从业者需要掌握一定的编程能力、数学基础和智能算法，并且对数据集有着充分的了解，才能够设计出合适的神经网络模型，进而对模型调优。
[0004]经过对企业和生产线的充分调研，用户更倾向于快速部署和易于升级的深度神经网络模型。样本、样本标注和模型部署对整个生产线的影响越小越好。当检测的目标发生变化时，用户可以快速地调整部署模型，而不需要长时间地重新调优。

技术实现思路

[0005]本专利技术的目的是解决现有技术存在的问题，提供一种基于Yolo的目标检测模型训练方法及其应用和装置。
[0006]为达到上述目的，本专利技术采用的方案如下：
[0007]一种基于Yolo的目标检测模型训练方法，包括以下步骤：
[0008](a)加载训练集和测试集，设置相应的训练参数；
[0009]训练集包括芯片外观缺陷图片与所述芯片外观缺陷图片的Yolo格式的目标检测标签；
[0010]训练参数包括预定义的芯片外观缺陷类别数、最大训练轮次、学习率、图片输入宽度、图片输入高度和filters，其中，预定义的芯片外观缺陷类别数为芯片外观缺陷的种类数，预定义的芯片外观缺陷类别数设置为n≥1，最大训练轮次设置为大于等于2000
×
n，学习率设置为0.00111，图片输入宽度设置为512，图片输入高度设置为512，filters设置为(n
+5)
×
3；
[0011](b)根据所述训练集构建元结构搜索空间，进行神经网络架构搜索，获得神经网络模型；
[0012]将步骤(a)中所述训练集分为训练数据集D
train
和验证数据集D
val
，构建元结构搜索空间，并对可微分神经网络架构搜索的方法建模，利用所述训练数据集D
train
对可微分神经网络架构搜索模型进行训练；
[0013]在训练过程中，先对元结构的结构权值进行全局归一化，再对元结构的结构权值和网络参数进行双层优化，即以所述验证数据集D
val
的损失值作为优化过程的目标函数，并通过反向传播算法对元结构的网络参数和结构权值同时进行调整；
[0014]在训练结束后，根据各个元结构的结构权值进行排序，保留权值最大的元结构，并组成深度神经网络模型，即得所述神经网络模型；
[0015](c)对所述神经网络模型进行训练，获得训练完成的目标检测模型；
[0016]对步骤(a)中所述训练集进行数据增强后，根据数据增强后的训练集、测试集和所述训练参数对所述神经网络模型的模型参数进行优化，获得训练完成的目标检测模型。
[0017]作为优选的技术方案：
[0018]如上所述的一种基于Yolo的目标检测模型训练方法，步骤(c)的具体流程如下：
[0019](c1)对步骤(a)中所述训练集进行数据增强后，将训练集中的芯片外观缺陷图片输入神经网络模型，获得目标检测标签预测值；
[0020](c2)利用目标检测标签真实值和目标检测标签预测值计算损失函数值；
[0021](c3)利用损失函数值对模型参数(参数分为超参数和模型参数，超参数是人设置的，模型参数是用算法优化的，上文提到的训练参数即超参数)进行更新；
[0022](c4)将测试集中的芯片外观缺陷图片输入神经网络模型，获得目标检测标签预测值；
[0023](c5)利用目标检测标签真实值和目标检测标签预测值计算损失函数值与测试集准确率；
[0024](c6)判断测试集准确率是否大于准确率最大值R(取值范围0～100％)，如果是，则保存神经网络模型，更新R，进入下一步；反之，则直接进入下一步；
[0025](c7)判断神经网络模型是否收敛(通过看训练集损失函数值和测试集损失函数值是否逐渐减小来判断模型是否收敛)，如果是，则进入下一步；反之，则调小学习率(具体调节值依据经验而定，例如调小10倍，即调至上一次学习率的十分之一)，返回步骤(c1)；
[0026](c8)判断是否达到最大训练轮次，如果是，则结束，输出训练完成的目标检测模型；反之，则返回步骤(c1)。
[0027]如上所述的一种基于Yolo的目标检测模型训练方法，训练数据集D
train
和验证数据集D
val
的数据数量之比为9：1。
[0028]如上所述的一种基于Yolo的目标检测模型训练方法，如果所述训练集包含小目标，则所述数据增强的过程为依次进行Cutmix、马赛克数据增强、类标签平滑、实例级别的随机复制粘贴、区域弹性形变、翻转、随机放缩和亮度对比度随机变换；反之，则所述数据增强的过程为依次进行Cutmix、马赛克数据增强、类标签平滑、区域弹性形变、翻转和亮度对比度随机变换；
[0029]所述小目标为边界框的宽高与图像的宽高比例小于0.1的外观缺陷，或者为分辨率小于32像素
×
32像素的外观缺陷。
[0030]如上所述的一种基于Yolo的目标检测模型训练方法，所述的区域弹性形变的具体步骤如下：
[0031](i)设置矩形框与图像的面积比范围为(r
min
，r
max
)，矩形框的纵横比范围为(a
min
，a
max
)；
[0032](ii)在图像内随机选取一个坐标点(x，y)，在(r
min
，r
max
)范围内随机选取所述面积比r
i
，在(a
min
，a
max...

【技术保护点】

【技术特征摘要】
1.一种基于Yolo的目标检测模型训练方法，其特征在于，包括以下步骤：(a)加载训练集和测试集，设置相应的训练参数；训练集包括芯片外观缺陷图片与所述芯片外观缺陷图片的Yolo格式的目标检测标签；训练参数包括预定义的芯片外观缺陷类别数、最大训练轮次、学习率、图片输入宽度、图片输入高度和filters，其中，预定义的芯片外观缺陷类别数设置为n≥1，最大训练轮次设置为大于等于2000
×
n，学习率设置为0.00111，图片输入宽度设置为512，图片输入高度设置为512，filters设置为(n+5)
×
3；(b)根据所述训练集构建元结构搜索空间，进行神经网络架构搜索，获得神经网络模型；将步骤(a)中所述训练集分为训练数据集D
tain
和验证数据集D
val
，构建元结构搜索空间，并对可微分神经网络架构搜索的方法建模，利用所述训练数据集D
train
对可微分神经网络架构搜索模型进行训练；在训练过程中，先对元结构的结构权值进行全局归一化，再对元结构的结构权值和网络参数进行双层优化，即以所述验证数据集D
val
的损失值作为优化过程的目标函数，并通过反向传播算法对元结构的网络参数和结构权值同时进行调整；在训练结束后，根据各个元结构的结构权值进行排序，保留权值最大的元结构，并组成深度神经网络模型，即得所述神经网络模型；(c)对所述神经网络模型进行训练，获得训练完成的目标检测模型；对步骤(a)中所述训练集进行数据增强后，根据数据增强后的训练集、测试集和所述训练参数对所述神经网络模型的模型参数进行优化，获得训练完成的目标检测模型。2.根据权利要求1所述的一种基于Yolo的目标检测模型训练方法，其特征在于，步骤(c)的具体流程如下：(c1)对步骤(a)中所述训练集进行数据增强后，将训练集中的芯片外观缺陷图片输入神经网络模型，获得目标检测标签预测值；(c2)利用目标检测标签真实值和目标检测标签预测值计算损失函数值；(c3)利用损失函数值对模型参数进行更新；(c4)将测试集中的芯片外观缺陷图片输入神经网络模型，获得目标检测标签预测值；(c5)利用目标检测标签真实值和目标检测标签预测值计算损失函数值与测试集准确率；(c6)判断测试集准确率是否大于准确率最大值R，如果是，则保存神经网络模型，更新R，进入下一步；反之，则直接进入下一步；(c7)判断神经网络模型是否收敛，如果是，则进入下一步；反之，则调小学习率，返回步骤(c1)；(c8)判断是否达到最大训练轮次，如果是，则结束，输出训练完成的目标检测模型；反之，则返回步骤(c1)。3.根据权利要求1所述的一种基于Yolo的目标检测模型训练方法，其特征在于，训练数据集D
train
和验证数据集D
val
的数据数量之比为9:1。4.根据权利要求1所述的一种基于Yolo的目标检测模型训练方法，其特征在于，如果所述训练集包含小目标，则所述数据增强的过程为依次进行Cutmix、马赛克数据增强、类标签
平滑、实例级别的随机复制粘贴、区域弹性形变、翻转、随机放缩和亮度对比度随机变换；反之，则所述数据增强的过程为依次进行Cutmix、马赛克数据增强、类标签平滑、区域弹性形变、翻转和亮度对比度随机变换；所述小目标为边界框的宽高与图像的宽高比例小于0.1的外观缺陷，或者为分辨率小于32像素
×
32像素的外观缺陷。5.根据权利要求4所述的一种基于Yolo的目标检测模型训练方法，其特征在于，区域弹性形变的具体步骤如下：(i)设置矩形框与图像的面积比范围为(r
min
，r
max
)，矩形框的纵横比范围为(a
min
，a

【专利技术属性】
技术研发人员：郝矿荣，杜少帅，张海超，郝灵广，隗兵，唐雪嵩，
申请(专利权)人：东华大学，
类型：发明
国别省市：