本发明专利技术公开了一种产品缺陷检测方法、系统、装置及存储介质。该方法包括：获取待测产品的点云数据、音频数据和图像数据；将点云数据、音频数据和图像数据输入第一缺陷检测模型，得到第一预测结果；第一预测结果用于表征基于待测产品的多模数据预测待测产品属于缺陷产品的概率；将点云数据输入第二缺陷检测模型，得到第二预测结果；将图像数据输入第三缺陷检测模型，得到第三预测结果；对第一预测结果、第二预测结果和第三预测结果进行加权处理，得到待测产品的检测分类结果；检测分类结果用于表征待测产品属于缺陷产品或属于正常产品。本发明专利技术实施例有利于提升产品缺陷检测的检测稳定性和检测结果的精度，可广泛应用于缺陷检测技术领域。领域。领域。
【技术实现步骤摘要】
产品缺陷检测方法、系统、装置及存储介质
[0001]本专利技术涉及缺陷检测
，尤其是一种产品缺陷检测方法、系统、装置及存储介质。
技术介绍
[0002]工业异常检测旨在发现产品的异常区域，在工业质量检验中发挥重要作用。在工业场景中，工业异常检测方法大多是无监督的方法，在检测过程中只对检测实例进行测试。此外，现有的工业异常检测方法大多是基于二维图像的检测。然而，在工业产品的质量检查中，人工检查员同时利用三维形状和颜色特征来确定它是否是一个有缺陷的产品。由此可知，相关技术中的产品异常检测方法的检测稳定性和精度较差，无法满足工业需求。
技术实现思路
[0003]本专利技术的目的在于至少一定程度上解决现有技术中存在的技术问题之一。
[0004]为此，本专利技术的目的在于提供一种高精度的产品缺陷检测方法、系统、装置及存储介质。
[0005]为了达到上述技术目的，本专利技术实施例所采取的技术方案包括：
[0006]一方面，本专利技术实施例提供了一种产品缺陷检测方法，包括以下步骤：
[0007]本专利技术实施例的产品缺陷检测方法，该方法包括：获取待测产品的点云数据、音频数据和图像数据；将所述点云数据、所述音频数据和所述图像数据输入第一缺陷检测模型，得到第一预测结果；所述第一预测结果用于表征基于所述待测产品的多模数据预测所述待测产品属于缺陷产品的概率；将所述点云数据输入第二缺陷检测模型，得到第二预测结果；所述第二预测结果用于表征基于所述待测产品的点云数据预测所述待测产品属于缺陷产品的概率；将所述图像数据输入第三缺陷检测模型，得到第三预测结果；所述第三预测结果用于表征基于所述待测产品的图像数据预测所述待测产品属于缺陷产品的概率；对所述第一预测结果、所述第二预测结果和所述第三预测结果进行加权处理，得到所述待测产品的检测分类结果；所述检测分类结果用于表征所述待测产品属于缺陷产品或属于正常产品。本专利技术实施例通过第一缺陷检测模型，基于待测产品的多维数据对产品进行预测；通过第二缺陷检测模型，基于待测产品的点云数据对产品进行预测；同时，通过第三缺陷检测模型，基于待测产品的图像数据对产品进行预测。综合上述的预测结果，对待测产品进行分类，能够充分考虑到产品的多维特性，有利于提升产品缺陷检测的检测稳定性和检测结果的精度。
[0008]另外，根据本专利技术上述实施例的产品缺陷检测方法，还可以具有以下附加的技术特征：
[0009]进一步地，本专利技术实施例的产品缺陷检测方法，所述方法还包括：
[0010]获取待测产品的数据流，所述数据流包括若干数据帧；
[0011]获取每个数据帧的点云数据、音频数据和图像数据，并根据每个数据帧的所述点
云数据、所述音频数据和所述图像数据，确定每个数据帧对应的检测分类结果；
[0012]若连续第一计数的数据帧有相同的检测分类结果，确定所述待测产品的检测分类结果；所述第一计数用于表征对已检测的具有相同的检测分类结果的数据帧的数量统计。
[0013]进一步地，在本专利技术的一个实施例中，所述将所述点云数据、所述音频数据和所述图像数据输入第一缺陷检测模型，得到第一预测结果这一步骤，包括：
[0014]将所述点云数据、所述音频数据和所述图像数据输入特征提取器，得到点云特征数据、音频特征数据和图像特征数据；所述第一缺陷检测模型包括所述特征提取器；
[0015]将所述图像特征数据输入第一任务网络，得到第一得分；所述第一得分用于表征基于所述图像特征数据的缺陷得分；
[0016]将所述点云特征数据输入第二任务网络，得到第二得分；所述第二得分用于表征基于所述点云特征数据的缺陷得分；
[0017]对所述点云特征数据、所述音频特征数据和所述图像特征数据进行特征融合，得到融合特征数据；
[0018]将所述融合特征数据输入多模态特征网络，得到第三得分；所述第三得分用于表征基于所述融合特征数据的缺陷得分；
[0019]将所述音频特征数据输入第三任务网络，得到第四得分；所述第四得分用于表征基于所述音频特征数据的缺陷得分；所述第一任务网络、所述第二任务网络和所述第三任务网络用于表征结构为头部任务网络结构的子模型；
[0020]将所述第一得分、所述第二得分、所述第三得分和所述第四得分输入缺陷检测子模型，得到第一预测结果。
[0021]进一步地，在本专利技术的一个实施例中，所述方法还包括以下步骤：
[0022]获取批量样本产品的样本点云数据、样本音频数据、样本图像数据和对应的状态标签；所述状态标签用于表征所述样本产品是否属于缺陷产品的真实结果；
[0023]将所述样本点云数据、所述样本音频数据、所述样本图像数据输入到初始化的第一缺陷检测模型中，通过所述第一缺陷检测模型对所述样本点云数据、所述样本音频数据、所述样本图像数据进行处理，得到第四预测结果；所述第四预测结果用于表征所述样本产品是否属于缺陷产品；
[0024]根据所述第四预测结果和所述状态标签，确定训练的总损失值；
[0025]根据所述总损失值对所述第一缺陷检测模型的参数进行更新，得到训练好的第一缺陷检测模型。
[0026]进一步地，在本专利技术的一个实施例中，所述对所述点云特征数据、所述音频特征数据和所述图像特征数据进行特征融合，得到融合特征数据这一步骤，包括：
[0027]将所述点云特征数据、所述音频特征数据和所述图像特征数据输入多层感知器，提取交互特征数据；
[0028]将所述交互特征数据经过全连接层处理，得到特征映射数据；
[0029]将所述特征映射数据进行特征融合处理，得到融合特征数据。
[0030]进一步地，在本专利技术的一个实施例中，所述对所述第一预测结果、所述第二预测结果和所述第三预测结果进行加权处理，得到所述待测产品的检测分类结果这一步骤，包括：
[0031]将所述第一预测结果、所述第二预测结果和所述第三预测结果通过支持向量机处
理，得到所述待测产品的检测分类结果。
[0032]进一步地，在本专利技术的一个实施例中，所述方法还包括：
[0033]对所述图像数据进行预处理，得到处理后的图像数据；所述处理后的图像数据用于表征具有预设大小的图像；
[0034]对所述点云数据进行配准插值处理，得到处理后的点云数据；其中，所述处理后的点云数据与所述处理后的图像数据具有相同的大小；
[0035]对所述音频数据进行梅尔频率倒谱系数提取处理，得到处理后的音频数据。
[0036]另一方面，本专利技术实施例提出了一种产品缺陷检测系统，包括：
[0037]第一模块，用于获取待测产品的点云数据、音频数据和图像数据；
[0038]第二模块，用于将所述点云数据、所述音频数据和所述图像数据输入第一缺陷检测模型，得到第一预测结果；所述第一预测结果用于表征基于所述待测产品的多模数据预测所述待测产品属于缺陷产品的概率；
[0039]第三模块，用于将所述点云数据输入第二缺陷检测模型，得到第二本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种产品缺陷检测方法，其特征在于，包括以下步骤：获取待测产品的点云数据、音频数据和图像数据；将所述点云数据、所述音频数据和所述图像数据输入第一缺陷检测模型，得到第一预测结果；所述第一预测结果用于表征基于所述待测产品的多模数据预测所述待测产品属于缺陷产品的概率；将所述点云数据输入第二缺陷检测模型，得到第二预测结果；所述第二预测结果用于表征基于所述待测产品的点云数据预测所述待测产品属于缺陷产品的概率；将所述图像数据输入第三缺陷检测模型，得到第三预测结果；所述第三预测结果用于表征基于所述待测产品的图像数据预测所述待测产品属于缺陷产品的概率；对所述第一预测结果、所述第二预测结果和所述第三预测结果进行加权处理，得到所述待测产品的检测分类结果；所述检测分类结果用于表征所述待测产品属于缺陷产品或属于正常产品，所述检测分类结果用于表征缺陷产品的缺陷位置。2.根据权利要求1所述的产品缺陷检测方法，其特征在于，所述方法还包括：获取待测产品的数据流，所述数据流包括若干数据帧；获取每个数据帧的点云数据、音频数据和图像数据，并根据每个数据帧的所述点云数据、所述音频数据和所述图像数据，确定每个数据帧对应的检测分类结果；若连续第一计数的数据帧有相同的检测分类结果，确定所述待测产品的检测分类结果；所述第一计数用于表征对已检测的具有相同的检测分类结果的数据帧的数量统计。3.根据权利要求1所述的产品缺陷检测方法，其特征在于，所述将所述点云数据、所述音频数据和所述图像数据输入第一缺陷检测模型，得到第一预测结果这一步骤，包括：将所述点云数据、所述音频数据和所述图像数据输入特征提取器，得到点云特征数据、音频特征数据和图像特征数据；所述第一缺陷检测模型包括所述特征提取器；将所述图像特征数据输入第一任务网络，得到第一得分；所述第一得分用于表征基于所述图像特征数据的缺陷得分；将所述点云特征数据输入第二任务网络，得到第二得分；所述第二得分用于表征基于所述点云特征数据的缺陷得分；对所述点云特征数据、所述音频特征数据和所述图像特征数据进行特征融合，得到融合特征数据；将所述融合特征数据输入多模态特征网络，得到第三得分；所述第三得分用于表征基于所述融合特征数据的缺陷得分；将所述音频特征数据输入第三任务网络，得到第四得分；所述第四得分用于表征基于所述音频特征数据的缺陷得分；所述第一任务网络、所述第二任务网络和所述第三任务网络用于表征结构为头部任务网络结构的子模型；将所述第一得分、所述第二得分、所述第三得分和所述第四得分输入缺陷检测子模型，得到第一预测结果。4.根据权利要求1所述的产品缺陷检测方法，其特征在于，所述方法还包括以下步骤：获取批量样本产品的样本点云数据、样本音频数据、样本图像数据和对应的状态标签；所述状态标签用于表征所述样本产品是否属于缺陷产品的真实结果；将所述样本点云数据、所述样本音频数据、所述样本图像数据输入到初始化的第一缺
陷检测模型中，通过...
【专利技术属性】
技术研发人员：彭广德，王睿，李卫燊，李卫铳，
申请(专利权)人：广州里工实业有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。