半导体超景深图像融合与缺陷检测方法、系统和介质技术方案

本发明专利技术公开了一种半导体超景深图像融合与缺陷检测方法、系统和介质，图像融合方法包括获取多通道图像总集；多通道图像总集包括多个飞拍图像集，每个飞拍图像集均包括在对应的灯源照射下，采集的待测目标在多个高度层的飞拍图像，每个飞拍图像均附带有每个像素点在所在高度层的高度数据；基于拉普拉斯金字塔融合方法，对每个飞拍图像集中所有飞拍图像进行融合，得到每个飞拍图像集对应的融合图像；任选一个飞拍图像集，对该飞拍图像集中的所有高度数据进行优化，得到对应的目标高度图；根据目标高度图和所有融合图像，得到目标融合结果。本发明专利技术能将不同高度层的图像融合成一张图像，还使其高度数据以图的形式示出，实现多通道图像的3D恢复。像的3D恢复。像的3D恢复。

【技术实现步骤摘要】
半导体超景深图像融合与缺陷检测方法、系统和介质


[0001]本专利技术涉及半导体加工
，具体涉及一种半导体超景深图像融合与缺陷检测方法、系统和介质。

技术介绍

[0002]在半导体加工过程中，例如在WIRE BONING(即引线键合)工序和DIE BONDING(即芯片键合)工序中，通常需要采用表面缺陷检测技术来衡量半导体加工质量。目前，基于光学图像传感的表面缺陷自动光学(视觉)检测(以下统称自动光学检测或AOI检测)技术，由于具有自动化、非接触、速度快、精度高、稳定性高等优点，已逐渐成为半导体表面缺陷检测的主要手段。
[0003]为了适应半导体产品表面的不同情况以及不同缺陷类型，目前AOI检测常用多通道照明技术，包括RGBW环形光源(由红色、绿色、蓝色和白色四色点光源组成的光源)照明、暗场照明(指漫射光被反射进入照相机但镜面反射光线被反射开的照明)、同轴点光源照明等等。RGBW环形光源用于合成高分辨率真彩色图像以及凸显某些特定的反射角度特征，给AOI引入色彩的数据，而暗场照明和同轴点光源则是为了获取到特定的不良特征。综上，AOI检测时通常需要获取多个光源的图像来进行计算。
[0004]随着AOI检测技术的深入应用，半导体表面缺陷检测对视觉的分辨率要求越来越高，特别是Miniled(指尺寸在100～200μm之间的LED芯片，尺寸介于小间距LED与Micro LED之间)、MicroLed(指尺寸在100μm以下的LED芯片)等半导体。而随着相机和镜头的分辨率越来越高，镜头的有效景深却越来越小，当被检测器件上有高低分层或者器件本身基准高度不稳定时，例如，在检测WireBonding材料中遇到的金线/铝线/Die高度层级过多时，想要获得清晰的图像必须借助变焦系统。现在应用较多的变焦技术是Z轴控制变焦和液体透镜变焦等，但由于多个高度层的图像的存在，导致了视觉检测设备在程式编制，对焦控制等方面操作相对复杂，内存占用也比较大；同时仍有部分区域会因为全反射导致高度数据丢失(如摩尔条纹结构光法)，或者受激光的精度以及镜面反射等因素而导致AOI检测精度不够(如三角激光测量法)。
[0005]因此直接将不同高度层的图像融合成一张图像，使该图像在每个区域都是清晰的，同时附上图像高度数据，在后续高精度要求的半导体表面缺陷检测分析中是十分必要的。

技术实现思路

[0006]有鉴于此，本专利技术提供了一种半导体超景深图像融合与缺陷检测方法、系统和介质，以解决现有应用AOI来进行半导体缺陷检测(具体是引线键合工序和芯片键合工序中的缺陷检测)技术中无法将多通道的超景深图像进行融合以得到清晰图像、也未附带图像中像素高度数据而导致操作复杂、占用内存大以及检测精度低的问题。
[0007]本专利技术提供了一种半导体超景深图像融合方法，包括：
[0008]获取多通道图像总集；所述多通道图像总集包括多个飞拍图像集，每个飞拍图像集均包括在对应的灯源照射下，采集的待测目标在多个高度层的飞拍图像，其中，每个飞拍图像均附带有每个像素点在所在高度层的高度数据；
[0009]基于拉普拉斯金字塔融合方法，对每个所述飞拍图像集中所有飞拍图像进行融合，得到每个所述飞拍图像集对应的融合图像；
[0010]任选一个所述飞拍图像集，对选取的所述飞拍图像集中的所有高度数据进行优化，得到选取的所述飞拍图像集对应的目标高度图；
[0011]根据所述目标高度图和所有所述融合图像，得到目标融合结果。
[0012]可选地，所述获取多通道图像总集，包括：
[0013]获取所述待测目标在Z轴飞拍情景下，所用到的光源相机对应的动作序列和动作轨迹；所述动作序列包括所述光源相机在Z轴飞拍时需要点亮的多个灯源组合以及每个所述灯源组合中每个灯源的点亮时间组成；所述动作轨迹包括所述光源相机在Z轴飞拍时多个高度层下的高度数据；
[0014]按照所述动作序列和所述动作轨迹，控制所述光源相机对所述待测目标进行Z轴飞拍，得到所述待测目标在每个高度数据下、按照每种灯源组合中的点亮时间排列的多个飞拍图像；
[0015]按照灯源组合中的灯源种类，对所有所述飞拍图像进行聚类，得到多个所述飞拍图像集；
[0016]根据所有所述飞拍图像集，得到所述多通道图像总集。
[0017]可选地，所述基于拉普拉斯金字塔融合方法，对每个所述飞拍图像集中所有飞拍图像进行融合，得到每个所述飞拍图像集对应的融合图像，包括：
[0018]选取所述多通道图像总集中的第k个所述飞拍图像集；
[0019]根据预设金字塔层N，分别构建第k个所述飞拍图像集中每个飞拍图像在第1层至第N+1层的高斯金字塔；
[0020]选取第k个所述飞拍图像集中第j个飞拍图像，分别根据第j个飞拍图像在第1层至第N层的高斯金字塔中的每层高斯金字塔，构建得到第j个飞拍图像在第1层至第N层的拉普拉斯金字塔；
[0021]第k个所述飞拍图像集中第j个飞拍图像在第i层的拉普拉斯金字塔的构建公式为：
[0022][0023]其中，为第k个所述飞拍图像集中第j个飞拍图像在第i层的拉普拉斯金字塔，为第k个所述飞拍图像集中第j个飞拍图像在第i层的高斯金字塔，P
yr
Up(
·
)为上采样函数，P
yr
Down(
·
)为下采样函数；i为正整数，且满足1≤i≤N；j为正整数且满足1≤j≤M，M指每个所述飞拍图像集中的图片数量；j为正整数且满足1≤j≤M，M指每个所述飞拍图像集中的图片数量；k为正整数且满足1≤k≤K，K为灯源种类总数，也为所述多通道图像总集中所述飞拍图像集的总数；
[0024]遍历第k个所述飞拍图像集中的每个飞拍图像，按照同样的方法，得到每个飞拍图像在第1层至第N层的拉普拉斯金字塔；
[0025]选取第k个所述飞拍图像集中所有飞拍图像在第i层的拉普拉斯金字塔，获取选取的所有拉普拉斯金字塔在每个像素点处的最大绝对值，根据每个像素点处的最大绝对值，得到第k个所述飞拍图像集在每个像素点处的目标像素值；并根据第k个所述飞拍图像集在所有像素点处的目标像素值，得到第k个所述飞拍图像集在第i层的目标金字塔，记为
[0026]遍历第k个所述飞拍图像集中所有飞拍图像在每一层的拉普拉斯金字塔，按照同样的方法，得到第k个所述飞拍图像集在每一层的目标金字塔，记为其中，分别指第k个所述飞拍图像集在第1层、第2层、
…
、第N层的目标金字塔；
[0027]将第k个所述飞拍图像集中所有飞拍图像在第N+1层的高斯金字塔进行均值计算，得到第k个所述飞拍图像集在N+1层的高斯像素图；
[0028]根据第k个所述飞拍图像集在N+1层的高斯像素图以及所有目标金字塔，得到第k个所述飞拍图像集对应的融合图像并输出；
[0029]遍历所述多通道图像总集中的每个所述飞拍图像集，按照同样的方法，得到每个所述飞拍图像集对应的融合图像并输出。
[0030]可选地，对于第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种半导体超景深图像融合方法，其特征在于，包括：获取多通道图像总集；所述多通道图像总集包括多个飞拍图像集，每个飞拍图像集均包括在对应的灯源照射下，采集的待测目标在多个高度层的飞拍图像，其中，每个飞拍图像均附带有每个像素点在所在高度层的高度数据；基于拉普拉斯金字塔融合方法，对每个所述飞拍图像集中所有飞拍图像进行融合，得到每个所述飞拍图像集对应的融合图像；任选一个所述飞拍图像集，对选取的所述飞拍图像集中的所有高度数据进行优化，得到选取的所述飞拍图像集对应的目标高度图；根据所述目标高度图和所有所述融合图像，得到目标融合结果。2.根据权利要求1所述的半导体超景深图像融合方法，其特征在于，所述获取多通道图像总集，包括：获取所述待测目标在Z轴飞拍情景下，所用到的光源相机对应的动作序列和动作轨迹；所述动作序列包括所述光源相机在Z轴飞拍时需要点亮的多个灯源组合以及每个所述灯源组合中每个灯源的点亮时间组成；所述动作轨迹包括所述光源相机在Z轴飞拍时多个高度层下的高度数据；按照所述动作序列和所述动作轨迹，控制所述光源相机对所述待测目标进行Z轴飞拍，得到所述待测目标在每个高度数据下、按照每种灯源组合中的点亮时间排列的多个飞拍图像；按照灯源组合中的灯源种类，对所有所述飞拍图像进行聚类，得到多个所述飞拍图像集；根据所有所述飞拍图像集，得到所述多通道图像总集。3.根据权利要求1所述的半导体超景深图像融合方法，其特征在于，所述基于拉普拉斯金字塔融合方法，对每个所述飞拍图像集中所有飞拍图像进行融合，得到每个所述飞拍图像集对应的融合图像，包括：选取所述多通道图像总集中的第k个所述飞拍图像集；根据预设金字塔层N，分别构建第k个所述飞拍图像集中每个飞拍图像在第1层至第N+1层的高斯金字塔；选取第k个所述飞拍图像集中第j个飞拍图像，分别根据第j个飞拍图像在第1层至第N层的高斯金字塔中的每层高斯金字塔，构建得到第j个飞拍图像在第1层至第N层的拉普拉斯金字塔；第k个所述飞拍图像集中第j个飞拍图像在第i层的拉普拉斯金字塔的构建公式为：其中，为第k个所述飞拍图像集中第j个飞拍图像在第i层的拉普拉斯金字塔，为第k个所述飞拍图像集中第j个飞拍图像在第i层的高斯金字塔，P
yr
Up(
·
)为上采样函数，P
yr
Down(
·
)为下采样函数；i为正整数且满足1≤i≤N；j为正整数且满足1≤j≤M，M指每个所述飞拍图像集中的图片数量；j为正整数且满足1≤j≤M，M指每个所述飞拍图像集中的图片数量；k为正整数且满足1≤k≤K，K为灯源种类总数，也为所述多通道图像总集中所述飞拍图像集的总数；
遍历第k个所述飞拍图像集中的每个飞拍图像，按照同样的方法，得到每个飞拍图像在第1层至第N层的拉普拉斯金字塔；选取第k个所述飞拍图像集中所有飞拍图像在第i层的拉普拉斯金字塔，获取选取的所有拉普拉斯金字塔在每个像素点处的最大绝对值，根据每个像素点处的最大绝对值，得到第k个所述飞拍图像集在每个像素点处的目标像素值；并根据第k个所述飞拍图像集在所有像素点处的目标像素值，得到第k个所述飞拍图像集在第i层的目标金字塔，记为遍历第k个所述飞拍图像集中所有飞拍图像在每一层的拉普拉斯金字塔，按照同样的方法，得到第k个所述飞拍图像集在每一层的目标金字塔，记为其中，分别指第k个所述飞拍图像集在第1层、第2层、
…
、第N层的目标金字塔；将第k个所述飞拍图像集中所有飞拍图像在第N+1层的高斯金字塔进行均值计算，得到第k个所述飞拍图像集在N+1层的高斯像素图；根据第k个所述飞拍图像集在N+1层的高斯像素图以及所有目标金字塔，得到第k个所述飞拍图像集对应的融合图像并输出；遍历所述多通道图像总集中的每个所述飞拍图像集，按照同样的方法，得到每个所述飞拍图像集对应的融合图像并输出。4.根据权利要求3所述的半导体超景深图像融合方法，其特征在于，对于第k个所述飞拍图像集，所述根据第k个所述飞拍图像集在N+1层的高斯像素图以及所有目标金字塔，得到第k个所述飞拍图像集对应的融合图像并输出，包括：对第k个所述飞拍图像集在N+1层的高斯像素图进行高斯上采样，得到在N+1层的高斯采样图；并将第k个所述飞拍图像集在N+1层的高斯采样图与在第N层的目标金字塔进行求和，得到第k个所述飞拍图像集在第N层的目标像素图；按照同样的方法，逐层对第k个所述飞拍图像集在第i+1层的目标像素图进行高斯上采样，并与第k个所述飞拍图像集在第i层的目标金字塔进行求和，直至i达到1，得到第k个所述飞拍图像集在第1层的目标像素图，作为第k个所述飞拍图像集对应的融合图像并输出；对第k个所述飞拍图像集在第i+1层的目标像素图进行高斯上采样，并与第k个所述飞拍图像集在第i层的目标金字塔进行求和的具体公式为：其中，TOP
ik
为第k个所述飞拍图像集在第i层的目标像素图，为第k个所述飞拍图像集在第i+1层的目标像素图。5.根据权利要求1所述的半导体超景深图像融合方法，其特征在于，当选取所述多通道图像总集中的第k个所述飞拍图像集，所述对选取的所述飞拍图像集中的所有高度数据进行优化，得到选取的所述飞拍图像集对应的目标高度图，包括：对第k个所述飞拍图像集中的每个飞拍图像依次进行滤波处理和取绝对值处理，得到每个飞拍图像对应的源图像；选取第j个飞拍图像对应的源图像，按照预设块采样尺寸对第j个源图像进行块采样，得到第j个飞拍图像对应的采样图像；按照预设邻域尺寸，对第j个采样图像的每个像素分别进行邻域求和操作，并将每个像
素经过邻域求和得到的结果分别填充到对应的每个像素点中，得到第j个采样图像对应的评价图像；设所述预设邻域尺寸为2f+1个像素，f为正整数，则第j个评价图像中像素点(x,y)对应的像素值为：其中，为第k个所述飞拍图像集中第j个评价图像的像素点(x,y)对应的像素值，为第j个采样图像的像素点(x,y)所在邻域中的像素点(p,q)对应的像素值；遍历第k个所述飞拍图像集中的每个飞拍图像，按照同样的方法，得到第k个所述飞拍图像集中的每个飞拍图像对应的评价图像；分别提取每个像素点在第k个所述飞拍图像集的所有评价图像中的像素值，组成每个像素点对应的评价数组；同时分别提取每个像素点在第k个所述飞拍图像集的所有飞拍图像中的高度数据，组成每个像素点对应的高度数组；所述评价数组中的数据与所述高度数组中的数据一一对应；提取每个像素点对应的评价数组中的最大像素值和对应的高度数组中的最大高度数据，根据每个最大像素值分别判断对应的像素点是否为异常点；当像素点(x,y)为正常点时，提取像素点(x,y)对应的评价数组中与最大像素值相邻的两个相邻像素值，并提取像素点(x,y)对应的高度...

【专利技术属性】
技术研发人员：杨勇，
申请(专利权)人：苏州矩浪科技有限公司，
类型：发明
国别省市：