基于多模态特征匹配的半导体芯片异常检测方法及介质技术

技术编号:41787612 阅读:20 留言:0更新日期:2024-06-24 20:15
本发明专利技术提供基于多模态特征匹配的半导体芯片异常检测方法及介质,包括步骤:将大规模带标注的多场景芯片异常检测数据作为模型训练的源域数据;将无标注的特定场景图像作为模型应用的目标域数据;根据源域数据的分割标注为每张训练图像生成描述标注与图像分割标注;通过模型提取图像特征;计算损失函数;使用源域数据训练模型,并根据损失函数优化模型参数;使用训练好的模型预测目标域数据的类别与异常区域。本发明专利技术通过已有的大规模异常检测数据训练多场景通用的模型,设计语言结合图像的多任务学习策略提高模型通用能力,充分利用数据图像特征和文本特征来提高模型的泛化能力,从而在零样本条件下,实现快速、有效、高泛化的异常检测任务。

【技术实现步骤摘要】

本专利技术涉及半导体芯片异常检测,特别涉及基于多模态特征匹配的半导体芯片异常检测方法及介质


技术介绍

1、现有技术中,异常检测算法通常专注于为每个工业质检任务设计定制模型,这些模型依赖于大量目标场景的图像数据,其模型精度往往受限于目标场景数据量。尤其是在产品迭代速度快、型号种类多、背景复杂的半导体芯片异常检测任务中,现有算法的应用速度与效果往往无法得到充分保证。

2、目前,主流异常检测算法主要分为有监督和无监督方法两类。有监督方法一般采用基于卷积神经网络的分类模型,需要大量的标注样本数据进行训练,以学习良好的特征表示与决策边界来区分异常数据。然而,在实际工业检测场景下,面对异常数据的不平衡性、稀缺性,获取大量人工标注的样本相对困难,因此存在着较大的局限性。

3、现有的无监督及自监督异常检测算法通常基于几百至几千张的良品数据,通过设计辅助任务包括数据增强与添加伪噪声等方法,使用深度学习模型来挖掘数据自身的表征特性,来区分异常数据。与有监督方法相比,这类方法减少了对异常品的需求量,但依旧依赖一定数量的良品数据。并且,由于异常数据的不确本文档来自技高网...

【技术保护点】

1.一种基于多模态特征匹配的半导体芯片异常检测方法,其特征在于,包括以下步骤:

2.如权利要求1所述的一种基于多模态特征匹配的半导体芯片异常检测方法,其特征在于:所述根据所述源域数据的分割标注为每张训练图像生成对应的描述标注与图像分割标注包括以下步骤:

3.如权利要求2所述的一种基于多模态特征匹配的半导体芯片异常检测方法,其特征在于:所述使用文本生成模板根据所述源域数据的分割标注为每张训练图像生成对应的文本描述标注与图像分割标注包括以下步骤:

4.如权利要求2所述的一种基于多模态特征匹配的半导体芯片异常检测方法,其特征在于:所述异常检测模型包括图像特征...

【技术特征摘要】

1.一种基于多模态特征匹配的半导体芯片异常检测方法,其特征在于,包括以下步骤:

2.如权利要求1所述的一种基于多模态特征匹配的半导体芯片异常检测方法,其特征在于:所述根据所述源域数据的分割标注为每张训练图像生成对应的描述标注与图像分割标注包括以下步骤:

3.如权利要求2所述的一种基于多模态特征匹配的半导体芯片异常检测方法,其特征在于:所述使用文本生成模板根据所述源域数据的分割标注为每张训练图像生成对应的文本描述标注与图像分割标注包括以下步骤:

4.如权利要求2所述的一种基于多模态特征匹配的半导体芯片异常检测方法,其特征在于:所述异常检测模型包括图像特征提取器、文本特征提取器、掩膜编码器和文本预测模型。

5.如权利要求4所述的一种基于多模态特征匹配的半导体芯片异常检测方法,其特征在于:所述通过异常检测模型提取图像特征包括以下步骤:

6.如权利要求5所述的一种基于多模态特征匹配的半导体芯片异常检测方法,其特征在于:所述通过所述描述标注、所述图像分割标注以及提取的特征计算损失函数包括以下步骤:

7.如权利要求6所述的一种基于多模态特征匹配的半导体芯片异常检测方法...

【专利技术属性】
技术研发人员:请求不公布姓名请求不公布姓名请求不公布姓名请求不公布姓名
申请(专利权)人:高视科技苏州股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1