基于机器视觉的大气自然环境试验工业产品识别分割方法技术

本申请提供一种基于机器视觉的大气自然环境试验工业产品识别分割方法。方法包括：对初始图像集进行预处理，得到预处理后的数据集，预处理后的数据集包括训练集、验证集和测试集；对训练集的图像中的标注框进行聚类，得到候选框；基于候选框、训练集、验证集和测试集，对预设的基于深度学习的神经网络模型进行训练和测试，得到目标检测模型；将待测图像输入目标检测模型，得到检测结果；当检测结果表示待测图像中存在所述工业产品的检测框时，在待测图像中基于检测框进行裁剪，得到区域图像；基于分割模型SAM，对区域图像进行分割，得到与单个工业产品对应的结果图像。如此，无需进行像素级的标注和训练，有利于提高分割单个工业产品的效率。工业产品的效率。工业产品的效率。

【技术实现步骤摘要】
基于机器视觉的大气自然环境试验工业产品识别分割方法


[0001]本专利技术涉及机器视觉
，具体而言，涉及一种基于机器视觉的大气自然环境试验工业产品识别分割方法。

技术介绍

[0002]大气自然环境工业产品试验的数据采集主要依靠人工定期采样的方式，该方法存在采集效率低，采集数据噪声大，无法实时采样，恶劣环境下无法人工作业等问题。因此，存在引入机器人，人工智能等手段到大气自然环境工业产品试验的数据采集。在利用机器视觉技术进行目标检测的场景中，目标检测算法只能通过水平矩形框圈出实例产品，无法将实例与背景分离开，且采集到的图像数据存在大量噪声。目前，语义分割和实例分割算法可以实现实例与背景的分离，但针对单个实例分割的效果差或效率低。例如，语义分割不能区分属于相同类别的不同实例产品，故而无法分别采样同一类别的不同实例的图像数据。实例分割可以进行像素级别的分类，还可以在具体的类别基础上区别开不同的实例，但是实例分割的效果很大程度上取决于训练集的质量，且所需的训练集的标注是像素级的，需要耗费大量的标注时间和劳动力，且实例分割的训练难度相较于目标检测所需的计算机资源更大，耗费的时间更久。

技术实现思路

[0003]有鉴于此，本申请实施例的目的在于提供一种基于机器视觉的大气自然环境试验工业产品识别分割方法，能够改善从整图中识别分割单个工业产品的图像的效果差、效率低的问题。
[0004]为实现上述技术目的，本申请采用的技术方案如下：
[0005]本申请实施例提供了一种基于机器视觉的大气自然环境试验工业产品识别分割方法，所述方法包括：
[0006]获取初始图像集，所述初始图像集包括在大气自然环境试验下拍摄工业产品得到的图像；
[0007]对所述初始图像集进行预处理，得到预处理后的数据集，所述预处理后的数据集包括训练集、验证集和测试集；
[0008]对所述训练集的图像中的标注框进行聚类，得到候选框，所述候选框为距离每个聚类中心点最近的标注框，所述聚类中心点是通过对所述标注框进行聚类得到的；
[0009]基于所述候选框、所述训练集、所述验证集和所述测试集，对预设的基于深度学习的神经网络模型进行训练和测试，得到目标检测模型；
[0010]将待测图像输入所述目标检测模型，得到检测结果；
[0011]当所述检测结果表示所述待测图像中存在所述工业产品的检测框时，在所述待测图像中基于所述检测框进行裁剪，得到裁剪的区域图像；
[0012]基于预设的分割模型SAM，对所述区域图像进行分割，得到与单个所述工业产品对
应的结果图像。
[0013]在一些可选的实施方式中，对所述初始图像集进行预处理，得到预处理后的数据集，包括：
[0014]通过标注工具labelImg对所述初始图像集中的每个图像进行标注，得到与每个图像对应的标注数据，并形成第一数据集，其中，当所述初始图像集中的任一个图像存在工业产品时，与所述任一个图像对应的所述标注数据包括所述工业产品的位置和类别；
[0015]基于预设清洗策略，对所述第一数据集进行清洗筛选，得到第二数据集；
[0016]对所述第二数据集进行数据增强操作，得到第三数据集，其中，所述数据增强操作包括对所述第二数据集中的图像进行随机翻转、随机旋转、随机调整图像的亮度和对比度中的至少一种操作；
[0017]将所述第三数据集按照预设比例进行划分，得到训练集、验证集和测试集，以作为所述预处理后的数据集。
[0018]在一些可选的实施方式中，基于预设清洗策略，对所述第一数据集进行清洗筛选，得到第二数据集，包括：
[0019]在所述第一数据集中，滤除表征标注异常的标注数据及与异常的标注数据对应的图像，以及滤除表征图像质量异常的图像及与异常的图像对应的标注数据，得到所述第二数据集。
[0020]在一些可选的实施方式中，对所述训练集的图像中的标注框进行聚类，得到候选框，包括：
[0021]提取所述训练集的图像中与所述工业产品对应的标注框的坐标；
[0022]对所有所述坐标进行归一化，得到归一化的坐标；
[0023]采用K
‑
means算法对所有归一化后的坐标进行聚类，得到K个聚类中心点，K为大于1的整数；
[0024]针对所述训练集中的与所述工业产品对应的标注框，选择与每个所述聚类中心点最近的标注框作为所述候选框。
[0025]在一些可选的实施方式中，基于所述候选框、所述训练集、所述验证集和所述测试集，对预设的基于深度学习的神经网络模型进行训练和测试，得到目标检测模型，包括：
[0026]采用随机梯度下降算法基于所述候选框、所述训练集，对所述神经网络模型进行训练，所述神经网络模型包括YOLO模型、Fast R
‑
CNN模型中的任一种；
[0027]基于所述验证集，对训练后的神经网络模型进行评估，得到评估指标，所述评估指标包括精度、召回率及F1分数中的至少一种；
[0028]当所述评估指标不满足预设条件时，调整所述神经网络模型的超参数或网络结构，并基于调整后的神经网络模型，重新执行步骤采用随机梯度下降算法基于所述候选框、所述训练集，对所述神经网络模型进行训练，以及步骤基于所述验证集，对训练后的神经网络模型进行评估，直至重复训练次数达到指定次数，当评估指标满足所述预设条件，其中，所述超参数包括学习率、批量大小以及迭代次数中的至少一种；
[0029]当所述评估指标满足所述预设条件时，通过测试集对经过训练的神经网络模型进行测试，得到经过训练测试的神经网络模型以作为所述目标检测模型。
[0030]在一些可选的实施方式中，将待测图像输入所述目标检测模型，得到检测结果，包
括：
[0031]将所述待测图像输入所述目标检测模型；
[0032]通过所述目标检测模型从所述待测图像提取图像特征；
[0033]通过所述目标检测模型中的特征金字塔网络，对所述图像特征提取特征金字塔，得到不同尺寸特征图；
[0034]通过对所述不同尺寸特征图进行池化、卷积操作，得到所述检测结果，其中，当所述待测图像中存在所述工业产品时，所述检测结果包括所述工业产品的类别和检测框。
[0035]在一些可选的实施方式中，在所述待测图像中基于所述检测框进行裁剪，得到裁剪的区域图像，包括：
[0036]将所述检测框以中心位置为定点放大指定倍数，得到裁剪框，所述指定倍数大于1且小于1.5；
[0037]在所述待测图像中沿所述裁剪框进行裁剪，得到所述裁剪框的所述区域图像。
[0038]在一些可选的实施方式中，基于预设的分割模型SAM，对所述区域图像进行分割，得到与单个所述工业产品对应的结果图像，包括：
[0039]针对每个所述区域图像，将所述区域图像和所述区域图像的中心点输入至所述SAM，得到与所述区域图像中的所述工业产品对应的掩膜；
[0040]将所述掩膜通过预设的广播机制本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于机器视觉的大气自然环境试验工业产品识别分割方法，其特征在于，所述方法包括：获取初始图像集，所述初始图像集包括在大气自然环境试验下拍摄工业产品得到的图像；对所述初始图像集进行预处理，得到预处理后的数据集，所述预处理后的数据集包括训练集、验证集和测试集；对所述训练集的图像中的标注框进行聚类，得到候选框，所述候选框为距离每个聚类中心点最近的标注框，所述聚类中心点是通过对所述标注框进行聚类得到的；基于所述候选框、所述训练集、所述验证集和所述测试集，对预设的基于深度学习的神经网络模型进行训练和测试，得到目标检测模型；将待测图像输入所述目标检测模型，得到检测结果；当所述检测结果表示所述待测图像中存在所述工业产品的检测框时，在所述待测图像中基于所述检测框进行裁剪，得到裁剪的区域图像；基于预设的分割模型SAM，对所述区域图像进行分割，得到与单个所述工业产品对应的结果图像。2.根据权利要求1所述的方法，其特征在于，对所述初始图像集进行预处理，得到预处理后的数据集，包括：通过标注工具labelImg对所述初始图像集中的每个图像进行标注，得到与每个图像对应的标注数据，并形成第一数据集，其中，当所述初始图像集中的任一个图像存在工业产品时，与所述任一个图像对应的所述标注数据包括所述工业产品的位置和类别；基于预设清洗策略，对所述第一数据集进行清洗筛选，得到第二数据集；对所述第二数据集进行数据增强操作，得到第三数据集，其中，所述数据增强操作包括对所述第二数据集中的图像进行随机翻转、随机旋转、随机调整图像的亮度和对比度中的至少一种操作；将所述第三数据集按照预设比例进行划分，得到训练集、验证集和测试集，以作为所述预处理后的数据集。3.根据权利要求2所述的方法，其特征在于，基于预设清洗策略，对所述第一数据集进行清洗筛选，得到第二数据集，包括：在所述第一数据集中，滤除表征标注异常的标注数据及与异常的标注数据对应的图像，以及滤除表征图像质量异常的图像及与异常的图像对应的标注数据，得到所述第二数据集。4.根据权利要求1所述的方法，其特征在于，对所述训练集的图像中的标注框进行聚类，得到候选框，包括：提取所述训练集的图像中与所述工业产品对应的标注框的坐标；对所有所述坐标进行归一化，得到归一化的坐标；采用K
‑
means算法对所有归一化后的坐标进行聚类，得到K个聚类中心点，K为大于1的整数；针对所述训练集中的与所述工业产品对应的标注框，选择与每个所述聚类中心点最近的标...

【专利技术属性】
技术研发人员：苏晓杰，陈康，吴灿，孙少欣，敖文刚，马铁东，
申请(专利权)人：重庆工商大学，
类型：发明
国别省市：