一种基于改进卷积变分自编码器的芯片表面缺陷并行检测方法技术

本发明专利技术公开了一种基于改进卷积变分自编码器的芯片表面缺陷并行检测方法，改善了现有技术中芯片表面缺陷检测仍须智能化的问题。该发明专利技术含有以下步骤，步骤1，芯片图像采集与预处理；步骤2，构建并训练改进的卷积变分自编码器；步骤3，对待测芯片进行实时缺陷检测。本发明专利技术对传统的变分自编码器进行了部分改进，仅使用正常样本进行无监督训练，无需有标注的缺陷样本数据，就能够检测出与正常样本相异的所有缺陷，减少了人力物力，同时该方法将原始图像分解成多个子图像后并行处理，可以高效快速低成本地对芯片表面进行各类缺陷检测。成本地对芯片表面进行各类缺陷检测。成本地对芯片表面进行各类缺陷检测。

【技术实现步骤摘要】
一种基于改进卷积变分自编码器的芯片表面缺陷并行检测方法


[0001]本专利技术涉及计算机视觉应用于芯片筛选的
，特别是涉及一种基于改进卷积变分自编码器的芯片表面缺陷并行检测方法。

技术介绍

[0002]芯片表面缺陷检测的目的是为了剔除生产线上存在字符缺陷、引脚缺陷、表面划痕等表面缺陷的次品芯片，是控制产品品质的关键。传统的基于显式特征提取的缺陷检测方法需要手工设计进行特征提取，费事费力；而目前大部分基于深度学习的表面缺陷检测方法是基于大量的缺陷样本的有监督学习，需要大量标注好的训练样本端到端进行学习，但是大量缺陷样本的收集十分困难，缺陷出现的偶然性与随机性使得各种缺陷类型难以收集完全，训练出来的模型难以检测到未学习过的缺陷，并且缺陷样本的标签标注也需要耗费大量的精力和时间成本。同时，以往的缺陷检测方法全程计算量大，运行时间较长，检测速度慢，无法满足工业品缺陷检测的时效性,部分有针对性的检测方法也无法全面检测出所有类型的表面缺陷。因此芯片表面缺陷检测领域内的上述标注数据集少、检测时间长、检测不全面等问题急须解决。

技术实现思路

[0003]本专利技术改善了现有技术中芯片表面缺陷检测仍须智能化的问题，提供一种检测时间短和检测全面的基于改进卷积变分自编码器的芯片表面缺陷并行检测方法。
[0004]本专利技术的技术解决方案是，提供一种具有以下步骤的基于改进卷积变分自编码器的芯片表面缺陷并行检测方法：含有以下步骤，步骤1，芯片图像采集与预处理；步骤2，构建并训练改进的卷积变分自编码器；步骤3，对待测芯片进行实时缺陷检测。
[0005]优选地，所述步骤1中使用高清摄像模块，主机图像处理模块以及采光照明模块进行图像采集并存储，采集正常芯片的表面图像，将采集到的正常芯片图像分解为多个大小相同的图像，创建多个图像检测任务，为每个图像检测任务创建一个线程，多个线程并行处理图像缺陷检测任务，另配备缺陷声光警报模块提示检测出缺陷芯片。
[0006]优选地，所述步骤2包含以下步骤：步骤2.1、构建改进的卷积变分自编码器网络，该网络由一个编码器和一个解码器构成：
[0007]设置编码器包含有五个卷积子模块，每个卷积子模块均由两个全卷积层和一个最大池化层构成，用于卷曲图像特征并减少参数数量，解码器结构含有与编码器完全对称的结构，将卷积层变为转置卷积层，最大池化层变为最大反池化层，在编码器和解码器的各个卷积子模块之间，加入自注意力模块CBAM和深度连接注意力网络模块DCAnet进行连接，其中CBAM模块又包含有通道注意力子模块CAM和空间注意力子模块SAM；
[0008]步骤2.2、训练卷积变分自编码器：
[0009]在训练阶段将采集到的正常芯片表面图像输入改进的卷积变分自编码器网络中，
使用交叉熵损失作为重构损失，并计入为损失函数中的一项，计算方式如下：Loss1＝||x'
‑
x||2其中x'表示重构图像数据，x表示输入图像数据；同时，为了将编码器正则化，使用KL散度作为损失函数的另一项，Loss2＝KL(N(μ,σ2)|N(0,1))，其中N(μ,σ2)为输入图像数据在低维潜在空间表示中隐变量的正态分布，显然均值μ,方差σ2为该隐变量的特征参数，N(0,1)为标准正态分布，该过程总的损失函数则为Loss＝Loss1+Loss2，而另一编码器E2的网络结构与编码器E1完全一致。
[0010]优选地，所述步骤3包含以下步骤：实时采集工业生产线上的待测芯片表面图像，将采集到的待测芯片图像同样分解为NxN个像素为SxT大小相同的图像，创建多个图像检测任务，为每个图像检测任务创建一个线程，多个线程并行处理图像缺陷检测任务，将实时采集的芯片表面图像分别输入检测网络中的编码器E1和编码器E2，当输入的芯片表面图像Q1存在缺陷时，网络模型中的编码器E2会提取出缺陷图像特征，并获得该图像的低维潜在空间特征表示C2，记||C1
‑
C2||为芯片表面缺陷异常分数得分值之一，卷积变分自编码器网络模型中与编码器E2相连接的解码器D1在生成重构图像的过程中能够自动去除缺陷特征，而保留正常特征；于是将缺陷芯片的重构图像Q2与输入的缺陷芯片表面图像Q1相减得到残差图，残差图含有的信息不仅能够判定待测芯片是否存在缺陷而且能够标定出缺陷位置，将残差图进行数字化处理得到其具体数值表示||Q1
‑
Q2||记为另一缺陷得分值，将上述两个缺陷得分值进行加权求和，于是获得最终的异常得分值的计算公式M＝λ1||C1
‑
C2||+λ2||Q1
‑
Q2||，将该异常得分值值与设定的阈值进行比较，超过阈值则认定为存在缺陷，并利用残差图标定缺陷。
[0011]与现有技术相比，本专利技术基于改进卷积变分自编码器的芯片表面缺陷并行检测方法具有以下优点：对传统的变分自编码器进行了部分改进，仅使用正常样本进行无监督训练，无需有标注的缺陷样本数据，就能够检测出与正常样本相异的所有缺陷，减少了人力物力，同时该方法将原始图像分解成多个子图像后并行处理，可以高效快速低成本地对芯片表面进行各类缺陷检测。
[0012]可以有效实现芯片表面的全面缺陷检测，所检测的缺陷包括字符缺陷、引脚缺陷以及封装缺陷等各类表面缺陷，将表面有缺陷的次品芯片剔除。且训练模型时不需要人工对图像进行标注，属于无监督缺陷检测模型，减少了人力与时间成本。同时将实时检测图像分解为多个子图像，并行计算多个缺陷检测子任务，大大减少了缺陷检测时间，提高了检测效率。
附图说明
[0013]图1是本专利技术的具体流程示意图；
[0014]图2是本专利技术构建的卷积变分自编码网络原理示意图。
具体实施方式
[0015]下面结合附图和具体实施方式对本专利技术基于改进卷积变分自编码器的芯片表面缺陷并行检测方法作进一步说明：本实施例中包括以下步骤：
[0016]S1，芯片图像采集与预处理，S2，构建并训练改进的卷积变分自编码器，S3，对待测芯片进行实时缺陷检测。
[0017]S1包含以下步骤：
[0018]S1.1、使用高清摄像模块，主机图像处理模块以及采光照明模块进行图像采集并存储，以便后续图像处理，另外配备有缺陷声光警报模块用于提示检测出缺陷芯片。使用CCD相机，两个LED列阵光源交叉进行扇形暗场照明。
[0019]S1.2、采集正常芯片的表面图像，将采集到的正常芯片图像分解为NxN个像素为SxT大小相同的图像，创建多个图像检测任务，为每个图像检测任务创建一个线程，多个线程并行处理图像缺陷检测任务。需要注意的是对每个子图像的检测流程均是相同的，具体分解的子图像大小和多少根据实际主机算力确定，使得整图的缺陷检测时间尽量少。
[0020]S2包含以下步骤：
[0021]S2.1、构建改进的卷积变分自编码器网络，该网络由两个编码器和一个解码器构成：
[0022]其中一个编码器E1在训练阶段使用正常图片进行训练获取得到描述正常图片在隐层变量分布的参本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进卷积变分自编码器的芯片表面缺陷并行检测方法，其特征在于：含有以下步骤，步骤1，芯片图像采集与预处理；步骤2，构建并训练改进的卷积变分自编码器；步骤3，对待测芯片进行实时缺陷检测。2.根据权利要求1所述的基于改进卷积变分自编码器的芯片表面缺陷并行检测方法，其特征在于：所述步骤1中使用高清摄像模块，主机图像处理模块以及采光照明模块进行图像采集并存储，采集正常芯片的表面图像，将采集到的正常芯片图像分解为多个大小相同的图像，创建多个图像检测任务，为每个图像检测任务创建一个线程，多个线程并行处理图像缺陷检测任务，另配备缺陷声光警报模块提示检测出缺陷芯片。3.根据权利要求1所述的基于改进卷积变分自编码器的芯片表面缺陷并行检测方法，其特征在于：所述步骤2包含以下步骤：步骤2.1、构建改进的卷积变分自编码器网络，该网络由一个编码器和一个解码器构成：设置编码器包含有五个卷积子模块，每个卷积子模块均由两个全卷积层和一个最大池化层构成，用于卷曲图像特征并减少参数数量，解码器结构含有与编码器完全对称的结构，将卷积层变为转置卷积层，最大池化层变为最大反池化层，在编码器和解码器的各个卷积子模块之间，加入自注意力模块CBAM和深度连接注意力网络模块DCAnet进行连接，其中CBAM模块又包含有通道注意力子模块CAM和空间注意力子模块SAM；步骤2.2、训练卷积变分自编码器：在训练阶段将采集到的正常芯片表面图像输入改进的卷积变分自编码器网络中，使用交叉熵损失作为重构损失，并计入为损失函数中的一项，计算方式如下：Loss1＝||x'
‑
x||2其中x'表示重构图像数据，x表示输入图像数据；同时，为了将编码器正则化，使用KL散度作为损失函数的另一项，Loss2＝KL(N(μ...

【专利技术属性】
技术研发人员：任获荣，马振，韩健，平续斌，焦小强，张志新，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：