【技术实现步骤摘要】
本申请涉及工业缺陷检测，尤其是涉及一种数据优化方法、装置、设备及存储介质。
技术介绍
1、工业缺陷检测是指在工业生产过程中，通过使用各种检测方法和技术，对产品或材料进行检测，以发现和识别可能存在的缺陷或不良特征，这些缺陷可能包括裂纹、磨损、变形、异物、气泡等，因此工业缺陷检测具有重大的意义，可以帮助制造商在生产过程中及时发现和修复缺陷，从而提高产品质量和工艺控制，同时减少不合格品的数量和质量问题带来的成本损失。
2、在工业缺陷检测领域，有许多挑战需要克服。首先，工业场景中的缺陷可能非常微小或隐蔽，需要高分辨率和敏感的检测技术才能发现；其次，由于生产速度快和工件的复杂性，需要实时或快速的检测方法来满足生产线的要求；此外，工业环境可能存在光照变化、杂音干扰、尺度变化等因素，这对检测算法的鲁棒性和可靠性提出了要求。
3、随着计算机视觉和机器学习技术的发展，工业缺陷检测得到了显著的改进。计算机视觉技术可以提取图像中的特征，并使用图像处理算法和机器学习算法来检测和分类缺陷；深度学习方法，特别是卷积神经网络(cnn)，已经在工业缺陷检测中取得了重大突破，能够学习复杂的特征表示并实现高准确性的缺陷检测。
4、深度学习的方式虽然能够在一定程度上能够提高缺陷检测的准确率，然而该方法极大的依赖模型训练集，如果训练模型的数据集的标注出现问题，这将会导致最终的检测精度出现问题，而在工业检测领域中，由于标注规范缺乏明确性、标注人员经验不同以及不同的标注人员有主观性判断等因素的影响，工业检测数据的质量和标注的准确性一般较
技术实现思路
1、为了有助于解决工业检测数据的质量和标注的准确性较低，影响数据集的训练结果，导致缺陷检测精度降低的问题，本申请提供一种数据优化方法、装置、设备及存储介质。
2、第一方面，本申请提供一种数据优化方法，采用如下技术方案：所述方法包括：
3、获取图像数据，所述图像数据包括测试集数据、训练集数据和验证集数据；
4、对所述图像数据进行图像增强，生成图像增强数据；
5、对所述图像增强数据进行特征值提取，并生成图像特征数据，所述图像特征数据包括测试集特征数据、训练集特征数据和验证集特征数据；
6、对所述测试集特征数据进行聚类和调整，并得到测试集特征聚类簇；
7、根据所述测试集特征聚类簇将所述训练集特征数据和所述验证集特征数据进行分组，并生成训练集分组数据和验证集分组数据；
8、使用所述训练集分组数据和所述验证集分组数据进行模型训练。
9、通过上述技术方案，对图像数据进行图像增强可以改进图像的质量，对图像进行随机操作，以便于后续可以提取到相关性更强的特征，有助于后续的聚类分组，从而提高聚类检测的精度；对测试集特征数据进行聚类和调整后再将训练集特征数据和验证集特征数据对应分配至相似度最高的聚类簇中，根据特征分析的结果，动态地调整聚类分组；采用自适应聚类的方法，可以根据不同的数据集的特点，优化数据集的分布，从而提高最终训练模型的精度，进而可以提高工业检测的准确率。
10、在一个具体的可实施方案中，所述对所述测试集特征数据进行聚类和调整包括：
11、对所述测试集特征数据进行聚类，并生成测试集聚类簇；
12、对所述测试集聚类簇进行聚类调整，并生成测试集特征聚类簇。
13、通过上述技术方案，先对特征数据进行聚类，之后对聚类簇进行调整可以实现自适应聚类分组，根据特征分析结果动态的调整聚类分组，根据不同的数据集的特点，优化数据集的分布，从而提高最终训练模型的精度。
14、在一个具体的可实施方案中，所述测试集聚类簇包括测试集聚类中心，所述对所述测试集聚类簇进行聚类调整包括：
15、根据所述测试集聚类簇的紧密度和所述测试集聚类簇间的距离调整所述测试集聚类中心的位置；
16、根据所述测试集聚类簇的大小和所述测试集聚类簇间的距离，将所述测试集聚类簇进行拆分或合并，生成若干测试集调整聚类簇；
17、根据所述测试集调整聚类簇之间的相似性动态调整聚类参数，得到测试集特征聚类簇。
18、通过上述技术方案，由于不同的数据集和任务会存在不同的特点和分布，通过聚类中心调整、聚类簇的合并或拆分以及聚类参数的调整可以使实现自适应聚类分组，根据特征分析结果动态的调整聚类分组，根据不同的数据集的特点，优化数据集的分布，从而提高最终训练模型的精度。
19、在一个具体的可实施方案中，所述测试集特征聚类簇包括测试集特征聚类中心，所述根据所述测试集特征聚类簇将所述训练集特征数据和所述验证集特征数据进行分组包括：
20、将所述测试集特征数据分配至所述测试集特征聚类簇；
21、计算所述训练集特征数据与所述测试集特征聚类中心的测试集数据相似度，以及所述验证集特征数据与所述测试集特征聚类中心的验证集数据相似度；
22、根据所述测试集数据相似度将所述训练集特征数据分配至所述测试集特征聚类簇，根据所述验证集数据相似度将所述验证集特征数据分配至所述测试集特征聚类簇。
23、通过上述技术方案，根据调整后的测试集聚类簇对测试集特征数据进行重新分组，并将训练集特征数据和验证集特征数据分配到调整后的测试集聚类簇中，使得每个训练集数据和验证集数据都被归类至相似度最高的类别中，从而减少训练模型数据集标注出现问题的情况，提高数据标注的准确性，进而可以提高最终的检测精度。
24、在一个具体的可实施方案中，在所述使用所述训练集分组数据和所述验证集分组数据进行模型训练之后，还包括：
25、对得到的所述训练集分组数据和所述验证集分组数据进行迭代优化操作；
26、所述对得到的所述训练集分组数据和所述验证集分组数据进行迭代优化操作包括：
27、重复进行对所述测试集特征数据进行聚类和调整、对所述训练集特征数据和所述验证集特征数据分组以及使用所述训练集分组数据和所述验证集分组数据进行模型训练的操作，并计算每次迭代优化的模型精度结果；
28、若计算得到的所述模型精度结果达到预设的模型精度值，则结束所述迭代优化操作。
29、通过上述技术方案，通过不断迭代优化操作，并计算每次聚类调整和重新分组后的聚类簇的模型精度结果，选择精度结果达到用户预设值的模型作为最终的聚类结果，从而可以进一步提高模型精度，进而可以提高最终的检测精度。
30、在一个具体的可实施方案中，在所述对得到的所述训练集分组数据和所述验证集分组数据进行迭代优化操作之后，还包括：
31、判断所述迭代优化的次数是否达到预设的预警次数；
32、若所述迭代优化的次数达到预设次数，则触发异常情况处理，并根据所述异常情况处理的结果返回迭代结果中精度最高的所述训练集分组数据和所述验证集分组数据。
33、本文档来自技高网...
【技术保护点】
1.一种数据优化方法，其特征在于：所述方法包括：
2.根据权利要求1所述的方法，其特征在于：所述对所述测试集特征数据进行聚类和调整包括：
3.根据权利要求2所述的方法，其特征在于：所述测试集聚类簇包括测试集聚类中心，所述对所述测试集聚类簇进行聚类调整包括：
4.根据权利要求1所述的方法，其特征在于：所述测试集特征聚类簇包括测试集特征聚类中心，所述根据所述测试集特征聚类簇将所述训练集特征数据和所述验证集特征数据进行分组包括：
5.根据权利要求1所述的方法，其特征在于：在所述使用所述训练集分组数据和所述验证集分组数据进行模型训练之后，还包括：
6.根据权利要求5所述的方法，其特征在于：在所述对得到的所述训练集分组数据和所述验证集分组数据进行迭代优化操作之后，还包括：
7.根据权利要求6所述的方法，其特征在于：所述根据所述异常情况处理的结果返回迭代结果中精度最高的所述训练集分组数据和所述验证集分组数据包括：
8.一种数据优化装置，其特征在于：所述装置包括：
9.一种计算机设备，其特征在于，包
10.一种计算机可读存储介质，其特征在于，存储有能够被处理器加载并执行如权利要求1至7中任一种方法的计算机程序。
...【技术特征摘要】
1.一种数据优化方法，其特征在于：所述方法包括：
2.根据权利要求1所述的方法，其特征在于：所述对所述测试集特征数据进行聚类和调整包括：
3.根据权利要求2所述的方法，其特征在于：所述测试集聚类簇包括测试集聚类中心，所述对所述测试集聚类簇进行聚类调整包括：
4.根据权利要求1所述的方法，其特征在于：所述测试集特征聚类簇包括测试集特征聚类中心，所述根据所述测试集特征聚类簇将所述训练集特征数据和所述验证集特征数据进行分组包括：
5.根据权利要求1所述的方法，其特征在于：在所述使用所述训练集分组数据和所述验证集分组数据进行模型训练之后，还包括：
6....
【专利技术属性】
技术研发人员：请求不公布姓名，请求不公布姓名，请求不公布姓名，
申请(专利权)人：深存科技无锡有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。