【技术实现步骤摘要】
一种多模态数据预训练及识别方法、装置、设备及介质
[0001]本专利技术涉及图像识别领域,尤其涉及一种多模态数据预训练及识别方法、装置、设备及介质。
技术介绍
[0002]随着精密制造业的快速发展,每年因高精密仪器表面缺陷所造成的损失也高达千亿元级别,工业产品高精度缺陷检测需求日益强烈。特别是工业生产环境存在噪声、遮挡、振动、暗光等高度复杂的条件,使得缺陷检测必须具备智能化、高精度、长时间、高效率的要求。
[0003]虽然现阶段深度学习算法应用使得缺陷准确率得到一定提升,但是现有的高精度缺陷检测过程中缺陷样本小且不均衡,同时易受遮挡、氧化、振动等环境影响,存在产品缺陷检测准确率低和模型的鲁棒性弱的问题。
技术实现思路
[0004]为解决上述技术问题,本专利技术提供一种多模态数据预训练及识别方法、装置、设备及介质,提高产品缺陷检测准确率和模型的鲁棒性。
[0005]本专利技术实施例提供一种多模态数据预训练及识别方法,所述方法包括:对采集获得的缺陷基础数据进行多源异构数据融合,构建缺陷场景规则数据库;从所述缺陷场景规则数据库中提取缺陷类型信息、特征信息和场景信息,进行数据关联,提取出所述缺陷场景规则数据库的场景因子;构建携带缺陷场景信息的自编码网络结构模型,将所述场景因子融入所述自编码网络结构模型中,并输入由各类缺陷的样本数据进行编码得到的特征向量,进行数据与规则的匹配训练,生成模态识别模型;根据所述模态识别模型对待检测样本进行缺陷识别。
[0006]进一步地,所述对采集获得的缺陷 ...
【技术保护点】
【技术特征摘要】 【专利技术属性】
1.一种多模态数据预训练及识别方法,其特征在于,所述方法包括:对采集获得的缺陷基础数据进行多源异构数据融合,构建缺陷场景规则数据库;从所述缺陷场景规则数据库中提取缺陷类型信息、特征信息和场景信息,进行数据关联,提取出所述缺陷场景规则数据库的场景因子;构建携带缺陷场景信息的自编码网络结构模型,将所述场景因子融入所述自编码网络结构模型中,并输入由各类缺陷的样本数据进行编码得到的特征向量,进行数据与规则的匹配训练,生成模态识别模型;根据所述模态识别模型对待检测样本进行缺陷识别。2.如权利要求1所述的多模态数据预训练及识别方法,其特征在于,所述对采集获得的缺陷基础数据进行多源异构数据融合,构建缺陷场景规则数据库,具体包括:对由历史经验数据、常见规则数据和缺陷标准数据构成的缺陷基础数据进行多源异构数据融合,形成缺陷场景与缺陷类型、位置以及规模的相关联的缺陷场景规则数据库;所述缺陷场景规则数据库包括:表面缺陷数据集、缺陷规则数据集、检测系统数据集和工艺场景数据集。3.如权利要求2所述的多模态数据预训练及识别方法,其特征在于,所述表面缺陷数据集D1=[表面缺陷ID,缺陷几何特征,空间分布数据,缺陷统计数据,缺陷频谱数据];所述缺陷规则数据集D2=[缺陷规则ID,检测对象类型,缺陷分类统计数据,致损机理数据,缺陷成因规则,缺陷等级];所述检测系统数据集D3=[检测系统ID,设备类型、生产线设计数据、技术选型];所述工艺场景数据集D4=[工艺场景数据ID,检测对象类型、场景因素、生产工序];所述缺陷几何特征包括:点线面缺陷、边界、骨骼、形状、位置、大小、拉伸和平移;所述空间分布数据包括:熵、对比度、一致性和相关性;所述缺陷统计数据包括灰度共生矩阵、自相关系数、数学形态学、直方图统计特征、分形体值和缺陷频谱子集;所述直方图统计特征包括范围、均值、几何均值、调和平均值、标准偏差、方差和中值所述分形体值包括拉伸、平移的分形维数和孔隙度;所述缺陷频谱子集包括纹理频谱、污点频谱和锯齿频谱;所述缺陷分类统计数据具体为缺陷自动划分的故障模式;所述缺陷等级包括所述检测对象类型;所述检测对象类型包括半导体、电路板、晶圆、织物、金属表面和木头;所述场景因素包括作业规模和设备选型;所述生产工序包括制坯、修磨、轧制、剪切、捆扎和成品。4.如权利要求2所述的多模态数据预训练及识别方法,其特征在于,所述从所述缺陷场景规则数据库中提取缺陷类型信息、特征信息和场景信息,进行数据关联,提取出所述缺陷场景规则数据库的场景因子,具体包括:从所述表面缺陷数据集中提取缺陷类型信息,从所述表面缺陷数据集与所述缺陷规则数据集中提取特征信息,从所述检测系统数据集和所述工艺场景数据集中提取场景信息;对于缺陷Z,根据提取的缺陷类型信息、特征信息和场景信息构建的分层矩阵Z
×
T
×
R;对于缺陷
‑
特征关联信息,采用第一提取因子a
ij
从矩阵Z
×
T中进行映射提取,得到前项
缺陷场景因子,根据提取的所有前项缺陷场景因子形成前项场景因子;对特征
‑
场景关联信息,采用第二提取因子b
ij
从矩阵T
×
R中进行映射提取,得到后项缺陷场景因子,根据提取的所有后项缺陷场景因子形成后项场景因子;根据提取得到的前项场景因子和后项场景因子确定所述场景因子;其中,,T,,n为缺陷类别数量,j为特征向量维度,Z
技术研发人员:罗亮,林珠,李海威,马志平,冯秩华,
申请(专利权)人:广东省科技基础条件平台中心,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。