【技术实现步骤摘要】
本专利技术涉及混合集成电路，特别涉及一种基于半监督学习的混合集成电路组件缺陷检测方法。
技术介绍
1、混合集成电路是在基片上用成膜方法制作厚膜或薄膜元件及其互连线，并在同一基片上将分立的半导体芯片、单片集成电路或微型元件混合组装，再外加封装而成。近年来半导体技术迅速发展，混合集成电路正向着高密度、多样化和小型化方向快速发展，其集成度和精密程度越来越高，随着混合集成电路的大规模生产，不可避免会出现因生产缺陷导致的残次品。为了提高混合集成电路的生产质量，及时检测发现生产的电路中存在的键合丝缺陷和元件焊接缺陷等质量问题，研究针对混合集成电路的工艺缺陷检测技术十分必要。
2、目前，针对混合集成电路组件缺陷检测的主要方法有：人工目检和基于机器视觉的自动光学检测技术（aoi）。人工目检方式存在主观臆断、效率低下以及稳定性差等问题，难以满足如今混合集成电路大规模生产的检测需求。基于机器视觉的aoi检测技术，通过光学传感器、图像处理算法和计算机技术的有机结合，显著提升了检测速度和精确度。在aoi系统中，检测算法的设计是影响检测效果的关键因素。近年来，深度学习的目标检测技术的快速发展为缺陷检测算法带来了新的突破，这种基于深度学习的设计方法具有多项优势，包括高精度、快速检测速度、良好的扩展性和鲁棒性。
3、在基于深度学习的目标检测技术中，基于半监督学习模型进行缺陷检测算法的设计可以解决以下技术问题。首先，半监督学习方法可以在使用标记数据的同时，也能够利用未标记数据来提高模型的准确性，从而使得模型鲁棒性和泛化能力更强。其次，基
4、设计基于半监督学习的缺陷检测算法时，检测器和伪标签筛选算法设计对模型检测性能影响较大，现阶段基于半监督学习的缺陷检测算法主要存在以下问题及缺陷：
5、（1）目前半监督缺陷检测算法的检测器设计大多是基于两阶段的目标检测器（如faster-rcnn）进行设计的，使用单阶段有锚框检测器（yolo系列）的较少。基于单阶段有锚框检测器具有高召回率、高精度和训练速度快的优点，因此有必要基于单阶段锚框检测器设计半监督缺陷检测算法，以提高缺陷检测算法的检测性能。
6、（2）yolo检测器中特征融合金字塔结构在进行特征融合时非相邻层级之间语义差距较大，尤其是底部和顶部特征，这会导致非相邻特征层之间特征融合效果差。在实际检测任务的多尺度特征提取中也会导致特征信息丢失或退化问题。
7、（3）半监督目标检测的核心问题是如何给无标签数据准确的分配伪标签。伪标签筛选阈值设置不合理，会导致较多错误的伪标签混入正确标签一起训练，影响训练精度。
8、（4）在实际缺陷检测任务中，正常样本数量远多于缺陷样本数量，各类缺陷样本数量也不相同，在进行模型训练时，正负样本的不均衡会影响训练效果。
技术实现思路
1、本专利技术要解决现有技术中的技术问题，提供一种基于半监督学习的混合集成电路组件缺陷检测方法。
2、为了解决上述技术问题，本专利技术的技术方案具体如下：
3、一种基于半监督学习的混合集成电路组件缺陷检测方法，包括以下步骤：
4、第一步：图像采集，使用高分辨工业相机采集完整混合集成电路板图像；
5、第二步：切图筛选，先进行图像切割，然后筛选待测目标完整的图像进行后续数据集的制作；
6、第三步：数据集制作，对切图筛选后的混合集成电路图像分两部分进行处理，一部分进行缺陷信息及位置坐标的标注，制作用于半监督模型有监督训练的数据集，另一部分不做标注，用作半监督模型无监督训练的数据集；
7、第四步：网络模型构建，基于半监督检测模型，构建用于混合集成电路组件缺陷检测的网络模型；
8、第五步：网络模型训练，设置网络训练权重和训练参数，训练半监督学习网络；
9、第六步：网络模型检测，将待测混合集成电路图像输入到训练好的网络模型中进行缺陷检测，并输出检测结果；
10、所述第二步中，图像切割的具体步骤为：
11、设置一个指定大小的窗口，对高分辨率图像进行滑动切分，然后通过对切分的子图进行筛选，保留完整待测信息的图像；
12、所述第三步中的有监督训练数据集包含：目标检测所必须的图像标注信息；存储图像的文件夹、与标签相对应的图像名称和图像的绝对路径；标签图像的大小和通道的信息；以及图像中标签对象的类别信息，标注框的起点和终点位置；
13、第四步中构建的网络模型，使用渐进式特征金字塔结构afpn替换yolov5结构中原有的pafpn金字塔结构，首先融合相邻的低层级特征层，然后再渐进式的将更高层级的特征加入融合过程，以减小非相邻层级之间较大的语义差距，加强特征融合效果；
14、采用自适应特征融合模块为不同层级的特征分配不同的空间权重，增强关键层级的重要性，减少来自不同目标的矛盾信息的影响。
15、在上述技术方案中，第四步中的网络模型是采用基于“教师-学生”的解决范式，运用教师网络对无标注数据生成的伪标签来指导学生网络学到全量数据的分布，同时学生网络又会以指数滑动平均（ema）的方式来更新教师网络的参数，教师网络和学生网络互相学习，共同提高模型整体的检测性能。
16、在上述技术方案中，第四步具体为：
17、首先，将有标签数据通过学生模型进行常规全监督训练，训练之后计算得到有标签数据样本的损失；
18、然后，无标签数据进行弱增强和强增强两种数据增强，将弱增强之后的无标签数据输入到教师模型，将强增强之后的无标签数据输入到学生模型中进行后续训练处理，学生模型通过ema方式更新教师模型参数，教师模型对无标签数据进行推理和预测，nms处理后得到初步伪标签；
19、ema计算公式如下：
20、；
21、其中，表示权重参数，表示第次更新的所用参数的指数移动平均数，表示第次更新得到的参数；
22、最后，通过设计伪标签筛选算法筛选高质量伪标签，并将生成的高质量伪标签输入到学生模型中进行训练，使模型学到更加丰富的数据特征，增强模型的检测性能。
23、在上述技术方案中，第四步中构建网络模型时的动态阈值伪标签过滤方法，包括步骤：
24、伪标签过滤器使用负阈值和动态正阈值将伪标签分别分成可靠标签，不确定标签和错误标签，其中的可靠标签和不确定标签分别采用不同的损失计算方式参与训练，可靠标签转化为硬标签与有标签数据一起进行有监督训练，不确定标签转化为软标签进行训练以达到挖掘潜在正样本的目的，错误标签不参与训练；
25、伪标签过滤器与之划分效果为：
26本文档来自技高网...
【技术保护点】
1.一种基于半监督学习的混合集成电路组件缺陷检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于半监督学习的混合集成电路组件缺陷检测方法，其特征在于，第四步中的网络模型是采用基于教师-学生的解决范式，运用教师网络对无标注数据生成的伪标签来指导学生网络学到全量数据的分布，同时学生网络又会以指数滑动平均的方式来更新教师网络的参数，教师网络和学生网络互相学习，共同提高模型整体的检测性能。
3.根据权利要求2所述的基于半监督学习的混合集成电路组件缺陷检测方法，其特征在于，第四步具体为：
4.根据权利要求1所述的基于半监督学习的混合集成电路组件缺陷检测方法，其特征在于，第四步中构建网络模型时的动态阈值伪标签过滤方法，包括步骤：
5.根据权利要求1所述的基于半监督学习的混合集成电路组件缺陷检测方法，其特征在于，第四步中构建网络模型时正阈值采用自适应动态阈值计算方法，根据模型训练期间的学习状态和预测情况，自适应地调整置信度阈值；
6.根据权利要求1所述的基于半监督学习的混合集成电路组件缺陷检测方法，其特征在于，第四步中构
7.根据权利要求1所述的基于半监督学习的混合集成电路组件缺陷检测方法，其特征在于，第五步中，采用如下参数进行网络模型训练：batch_size为16，学习率为0.001，NMS_conf置信度阈值：0.3，NMS_IoU阈值：0.65，burn_in_epoch为150，总epoch为300，优化器使用SGD，数据集中训练集和验证集比例划分为9：1，训练集中有标签数据占30%。
...【技术特征摘要】
1.一种基于半监督学习的混合集成电路组件缺陷检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于半监督学习的混合集成电路组件缺陷检测方法，其特征在于，第四步中的网络模型是采用基于教师-学生的解决范式，运用教师网络对无标注数据生成的伪标签来指导学生网络学到全量数据的分布，同时学生网络又会以指数滑动平均的方式来更新教师网络的参数，教师网络和学生网络互相学习，共同提高模型整体的检测性能。
3.根据权利要求2所述的基于半监督学习的混合集成电路组件缺陷检测方法，其特征在于，第四步具体为：
4.根据权利要求1所述的基于半监督学习的混合集成电路组件缺陷检测方法，其特征在于，第四步中构建网络模型时的动态阈值伪标签过滤方法，包括步骤：
5.根据权利要求1所述的基于半监督学习的混合集成电路组件缺陷检测方法，其特征在于，第四步中构建网络模型时正阈值采用自适应动态阈值计算方法，根据模型训...
【专利技术属性】
技术研发人员：杨立琪，王英志，孟令函，刘轩，陈炯，鞠明池，韩太林，
申请(专利权)人：长春理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。