基于图卷积的多模态融合半导体检测方法、装置及介质制造方法及图纸

本发明专利技术涉及人工智能技术领域，尤其涉及一种基于图卷积的多模态融合半导体检测方法、装置及介质。上述方法中，将待检测物体的表征光强特征的第一图像与待检测物体的表征偏振特征的第二图像进行交互融合，从基于第一图像得到的激活图像与基于第二图像得到的激活图像中确定对应聚类中心与聚类中心表达，根据对应聚类中心与聚类中心表达进行特征融合，使第一图像特征与第二图像特征进行多模态信息互补，将互补后的融合特征融合至对应的第一图像与第二图像的特征图中，得到特征更准确的多模态特征图，将多模态特征图融合后进行缺陷检测，从而提高待检测物体缺陷检测的精度。从而提高待检测物体缺陷检测的精度。从而提高待检测物体缺陷检测的精度。

【技术实现步骤摘要】
基于图卷积的多模态融合半导体检测方法、装置及介质


[0001]本专利技术涉及人工智能
，尤其涉及一种基于图卷积的多模态融合半导体检测方法、装置及介质。

技术介绍

[0002]半导体是现代电子技术的基石之一，广泛应用于计算机、通信、工业控制、军事等领域。在半导体生产过程中，由于材料、工艺等因素的影响，可能会产生各种缺陷，如点缺陷、线缺陷、面缺陷等。如果这些缺陷没有被及时发现和处理，就会降低芯片的性能和可靠性，导致产品质量下降。因此，半导体缺陷检测是半导体制造中至关重要的一环。传统的半导体缺陷检测方法主要依靠人工视觉检查，这种方法耗时、效率低，而且容易出现漏检、误检等问题。近年来，随着计算机视觉和深度学习技术的发展，基于卷积神经网络的半导体检测方法已经得到了广泛的应用。
[0003]现有技术中，一般通过卷积神经网络提取半导体表面图像的特征信息进行缺陷检测，但对于半导体这种微、纳米级别图像，单一特征信息很难将其有效分析，从而导致缺陷检测精度较低，因此，在使用计算机视觉和深度学习技术对半导体进行缺陷检测时，如何提高半导体缺陷检测精度成为亟需解决的问题。

技术实现思路

[0004]有鉴于此，本申请实施例提供了一种基于图卷积的多模态融合半导体检测方法、装置及介质，以解决在对半导体进行缺陷检测时，缺陷检测精度较低的问题。
[0005]第一方面，本申请实施例提供一种基于图卷积的多模态融合半导体检测方法，所述多模态融合半导体检测方法包括：获取待检测物体的表征光强特征的第一图像，对所述第一图像进行卷积操作，得到第一卷积结果，对所述第一卷积结果使用自注意力机制进行特征关联度激励操作，得到第一激励特征矩阵；获取所述待检测物体的表征偏振特征的第二图像，对所述第二图像进行卷积操作，得到第二卷积结果，对所述第二卷积结果使用自注意力机制进行特征关联度激励操作，得到第二激励特征矩阵；使用所述第一激励特征矩阵对所述第二卷积结果进行交互特征激活，得到第一交互激活结果，使用所述第二激励特征矩阵对所述第一卷积结果进行交互特征激活，得到第二交互激活结果；对所述第一交互激活结果中每个特征点进行聚类，得到K个第一聚类中心以及每个第一聚类中心的特征表达，对所述第二交互激活结果中每个特征点进行聚类，得到K个第二聚类中心以及每个第二聚类中心的特征表达，K为大于0的整数；将所述K个第一聚类中心的特征表达与所述K个第二聚类中心的特征表达进行自适应融合，得到第一融合特征，使用所述第一融合特征分别对所述第一卷积结果和所述第
二卷积结果进行交互特征激活，得到对应激活后的第一卷积结果与激活后的第二卷积结果；将所述激活后的第一卷积结果与激活后的第二卷积结果进行融合，得到第二融合特征，利用卷积与池化操作对所述第二融合特征进行特征提取，得到输出的卷积结果，对所述输出的卷积结果进行缺陷定位分类，确定所述待检测物体中的缺陷类别与缺陷位置。
[0006]第二方面，本申请实施例提供一种基于图卷积的多模态融合半导体检测装置，所述多模态融合半导体检测装置包括：第一获取模块，用于获取待检测物体的表征光强特征的第一图像，对所述第一图像进行卷积操作，得到第一卷积结果，对所述第一卷积结果使用自注意力机制进行特征关联度激励操作，得到第一激励特征矩阵；第二获取模块，用于获取所述待检测物体的表征偏振特征的第二图像，对所述第二图像进行卷积操作，得到第二卷积结果，对所述第二卷积使用自注意力机制进行特征关联度激励操作，得到第二激励特征矩阵；第一激活模块，用于使用所述第一激励特征矩阵对所述第二卷积结果进行交互特征激活，得到第一交互激活结果，使用所述第二激励特征矩阵对所述第一卷积结果进行交互特征激活，得到第二交互激活结果；聚类模块，用于对所述第一交互激活结果中每个特征点进行聚类，得到K个第一聚类中心以及每个第一聚类中心的特征表达，对所述第二交互激活结果中每个特征点进行聚类，得到K个第二聚类中心以及每个第二聚类中心的特征表达，K为大于0的整数；第二激活模块，用于将所述K个第一聚类中心的特征表达与所述K个第二聚类中心的特征表达进行自适应融合，得到第一融合特征，使用所述第一融合特征分别对所述第一卷积结果和所述第二卷积结果进行交互特征激活，得到对应激活后的第一卷积结果与激活后的第二卷积结果；检测模块，用于将所述激活后的第一卷积结果与激活后的第二卷积结果进行融合，得到第二融合特征，利用卷积与池化操作对所述第二融合特征进行特征提取，得到输出的卷积结果，对所述输出的卷积结果进行缺陷定位分类，确定所述待检测物体中的缺陷类别与缺陷位置。
[0007]第三方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的基于图卷积的多模态融合半导体检测方法。
[0008]本专利技术与现有技术相比存在的有益效果是：获取待检测物体的表征光强特征的第一图像，对第一图像进行卷积操作，得到第一卷积结果，对第一卷积结果使用自注意力机制进行特征关联度激励操作，得到第一激励特征矩阵，获取待检测物体的表征偏振特征的第二图像，对第二图像进行卷积操作，得到第二卷积结果，对第二卷积结果进行特征关联度激励操作，得到第二激励特征矩阵，使用第一激励特征矩阵对第二卷积结果进行交互特征激活，得到第一交互激活结果，使用第二激励特征矩阵对第一卷积结果进行交互特征激活，得到第二交互激活结果，对第一交互激活结果中每个特征点进行聚类，得到K个第一聚类中心以及每个第一聚类中心的特征表达，对第二交互激活结果中每个特征点进行聚类，得到K个第二聚类中心以及每个第二聚类中心的
特征表达，K为大于0的整数，将K个第一聚类中心的特征表达与K个第二聚类中心的特征表达进行自适应融合，得到第一融合特征，使用第一融合特征分别对第一卷积结果和第二卷积结果进行交互特征激活，得到对应激活后的第一卷积结果与激活后的第二卷积结果，将激活后的第一卷积结果与激活后的第二卷积结果进行融合，得到第二融合特征，利用卷积与池化操作对第二融合特征进行特征提取，得到输出的卷积结果，对输出的卷积结果进行缺陷定位分类，确定待检测物体中的缺陷类别与缺陷位置。本申请中，将光强图像特征与偏振图像特征进行交互融合，使光强图像特征与偏振图像特征进行多模态信息互补，得到更准确的待检测物体的融合特征信息，根据融合特征信息进行缺陷检测，从而提高待检测物体缺陷检测的精度。
附图说明
[0009]为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0010]图1是本申请实施例一提供的一种基于图卷积的多模态融合半导体检测方法的一应用环境示意图；图2是本申请实施例一提供的一种基于图卷积的多模态融合半导体检测方法的流程示意图；图3是本申请实施例二提供的一种基于图卷积的多模态融合半导体检测方法的流程示意图；图4是本申请实施例三提供的一种基于图卷本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图卷积的多模态融合半导体检测方法，其特征在于，所述多模态融合半导体检测方法包括：获取待检测物体的表征光强特征的第一图像，对所述第一图像进行卷积操作，得到第一卷积结果，对所述第一卷积结果使用自注意力机制进行特征关联度激励操作，得到第一激励特征矩阵；获取所述待检测物体的表征偏振特征的第二图像，对所述第二图像进行卷积操作，得到第二卷积结果，对所述第二卷积结果使用自注意力机制进行特征关联度激励操作，得到第二激励特征矩阵；使用所述第一激励特征矩阵对所述第二卷积结果进行交互特征激活，得到第一交互激活结果，使用所述第二激励特征矩阵对所述第一卷积结果进行交互特征激活，得到第二交互激活结果；对所述第一交互激活结果中每个特征点进行聚类，得到K个第一聚类中心以及每个第一聚类中心的特征表达，对所述第二交互激活结果中每个特征点进行聚类，得到K个第二聚类中心以及每个第二聚类中心的特征表达，K为大于0的整数；将所述K个第一聚类中心的特征表达与所述K个第二聚类中心的特征表达进行自适应融合，得到第一融合特征，使用所述第一融合特征分别对所述第一卷积结果和所述第二卷积结果进行交互特征激活，得到对应激活后的第一卷积结果与激活后的第二卷积结果；将所述激活后的第一卷积结果与激活后的第二卷积结果进行融合，得到第二融合特征，利用卷积与池化操作对所述第二融合特征进行特征提取，得到输出的卷积结果，对所述输出的卷积结果进行缺陷定位分类，确定所述待检测物体中的缺陷类别与缺陷位置。2.如权利要求1所述的多模态融合半导体检测方法，其特征在于，所述对所述第一卷积结果使用自注意力机制进行特征关联度激励操作，得到第一激励特征矩阵，包括：对所述第一卷积结果进行全局平均池化处理，得到第一池化特征，对所述第一池化特征进行空间投影映射，得到第一映射特征；对所述第一卷积结果进行空间投影映射，得到第二映射特征；根据所述第一映射特征与所述第二映射特征，计算第一映射特征与所述第二映射特征之间的关联度信息，得到第一关联度矩阵；对所述第一关联度矩阵进行激活处理，得到对应第一激励特征矩阵。3.如权利要求1所述的多模态融合半导体检测方法，其特征在于，所述对所述第二卷积结果使用自注意力机制进行特征关联度激励操作，得到第二激励特征矩阵，包括：对所述第二卷积结果进行全局平均池化处理，得到第二池化特征，对所述第二池化特征进行空间投影映射，得到第三映射特征；对所述第二卷积结果进行空间投影映射，得到第四映射特征；根据所述第三映射特征与所述第四映射特征，计算第三映射特征与所述第四映射特征之间的关联度信息，得到第二关联度矩阵；对所述第二关联度矩阵进行激活处理，得到对应第二激励特征矩阵。4.如权利要求1所述的多模态融合半导体检测方法，其特征在于，所述对所述第一交互激活结果中每个特征点进行聚类，得到K个第一聚类中心以及每个第一聚类中心的特征表达，包括：
对所述第一交互激活结果进行卷积操作，得到第一低维度卷积结果；对所述第一低维度卷积结果进行空间投影处理，得到第一空间投影特征；对所述第一空间投影特征中的每个特征点进行聚类，得到K个第一聚类中心以及每个第一聚类中心的特征表达。5.如权利要求1所述的多模态融合半导体检测方法，其特征在于，所述将所述K个第一聚类中心的特征表达与所述K个第二聚类中心的特征表达进行自适应融合，得到第一融合特征，包括：根据所述K个第一聚类中心的特征表达，得到第一空间特征，根据所述K个第二聚类中心的特征表达，得到第二空间特征；对所述第一空间特征进行卷积操作，将所述第一空间特征转化为第一转换特征与第二转换特征；对所述第二空间特征进行卷积操作，将所述第二空间特征转化为第三转换特征；基于...

【专利技术属性】
技术研发人员：何良雨，崔健，刘彤，张文刚，王戬鑫，梅能华，
申请(专利权)人：锋睿领创珠海科技有限公司，
类型：发明
国别省市：