公开了使用机器学习的超声缺陷检测和分类系统。在自动缺陷检测和分类系统中，一个或多个计算设备访问在对象的超声扫描中获取的扫描数据。包括二维(2D)扫描图像的第一输入特征映射是根据扫描数据构建的并且被输入到第一深度神经网络以生成第一输出特征映射。包括无缺陷对象的图像的第二输入特征映射被输入到具有与第一深度神经网络相同的结构和权重值的第二深度神经网络，以产生第二输出特征映射。当第一输出特征映射和第二输出特征映射之间的距离大时，确定被扫描的对象包含缺陷。在替换的方法中，2D扫描图像和无缺陷对象的一个或多个图像被输入到使用彩色图像训练的神经网络的不同信道。网络的不同信道。网络的不同信道。
【技术实现步骤摘要】
使用机器学习的超声缺陷检测和分类系统
[0001]相关申请
[0002]本申请要求2022年3月28日提交的并且题为“Ultrasonic Defect Detection and Classification System using Machine Learning”的临时申请序列号63/324,340的权益，其全部内容被通过引用合并于此。
技术介绍
[0003]本公开涉及超声非破坏测试(NDT)的环境。一种机械定位系统可以使超声收发器换能器和在被测试器件(DUT)的相对侧上的接收器换能器同步地进行扫描。NDT可以被用于例如测试半导体晶片，其可以包含多个器件和芯片封装。从DUT回到收发器的反射信号是TDR(时域反射)波形，而从第二接收器收集的波形是TDT(时域传输)波形。两个波形的时间轴与沿着表示DUT的位置空间的Z轴的距离直接成比例。使换能器沿着由DUT的X轴和Y轴限定的位置空间进行扫描。扫描的波形由采集系统数字化，并且图像构建器块基于TDT/TDR扫描数据创建DUT的缺陷图像。
[0004]传统上，人类操作员被训练以观察图像并且识别晶片或封装中的缺陷。其要求许多经验和训练来执行该任务。目前，存在可以自动检测和分类必须被标识的缺陷的一些类型的算法。有时这些算法不能如需要那样检测缺陷。
附图说明
[0005]随附附图提供了视觉表示，其将被用于更全面地描述各种代表性的实施例，并且可以由本领域技术人员使用以更好地理解所公开的代表性实施例及其固有优点。在这些附图中，同样的参考标号标识对应的或类似的要素。<br/>[0006]图1是根据各种代表性实施例的超声扫描器的框图。
[0007]图2是根据各种代表性实施例的用于处理来自超声扫描器的扫描数据的装置的简化框图。
[0008]图3是根据各种代表性实施例的用于训练神经网络以处理来自超声扫描器的扫描数据的装置的简化框图。
[0009]图4是根据本公开的进一步的实施例的超声缺陷检测和分类系统的框图。
[0010]图5是根据各种代表性实施例的用于训练孪生(Siamese)神经网络以检测在超声扫描器中扫描的对象中的缺陷的装置的简化框图。
[0011]图6是根据各种代表性实施例的缺陷检测和分类的计算机实现的方法的流程图。
[0012]图7A至图7C是根据各种代表性实施例的输入特征映射的图解表示。
具体实施方式
[0013]在此描述的各种装置和设备提供了用于从扫描的超声图像自动检测缺陷和对缺陷进行分类的机制。
[0014]虽然本公开容许有许多不同形式的实施例，但是在附图中示出并且将在此详细描
述特定的实施例，理解为在此示出和描述的实施例应当被认为是提供本公开的原理的示例并且不意图将本公开限制于所示出和描述的特定实施例。在以下描述中，在附图的若干视图中，同样的参考标号被用于描述相同、相似或对应的部分。为了说明的简单和清楚，参考标号可以在各图中重复以指示对应或类似的要素。
[0015]本公开的实施例一般地采用深度神经网络来改进用以发现缺陷并且对其进行分类的能力。深度神经网络也被称为深度学习神经网络，是一种包括多个处理层的网络。这些层可以执行中间特征映射和相对小的权重核之间的卷积或互相关。相比之下，最终的分类可以由完全连接的网络的输出层执行。
[0016]本公开的一些实施例的一方面包括利用创新方法来构建三维(3D)图像张量以用作为深度神经网络的输入。3D图像张量通常被使用在数字彩色图像中，其中张量具有两个空间维度和包括彩色的红色、绿色和蓝色(RGB)谱分量的谱维度。3D张量在此有时将被称为RGB图像张量，然而，一般而言其不限制于三个谱分量(RGB)，并且可以使用任何数量的谱分量。该创新RGB图像表示还具有可选的图形图像编码，以将附加的参数输入到深度网络中，以帮助分类。例如，没有瑕疵的良好的参考图像可以被放置到红色(R)信道中，扫描的图像(可能示出缺陷)可以被放置在绿色(G)信道中并且其它参数数据可以被放置在蓝色(B)信道中，作为表示参数数据的图形图像。
[0017]本公开的一些实施例的另一创新方面是利用孪生神经网络(SNN)，以用于将参考图像与DUT扫描图像进行比较以作出通过/失败的分类的目的。
[0018]图1是根据各种代表性实施例的超声扫描器100的框图。超声扫描器100包括超声收发器102和超声接收器104。位置扫描器106提供收发器102和接收器104相对于要被扫描的对象108(也被称为被测试器件(DUT))的定位。
[0019]控制器110对系统进行设定并且使超声换能器102和104在DUT 108的区域上的物理扫描同步。扫描可以是在平行于对象的表面的X
‑
Y平面中执行的。控制器110还使系统的其它元件同步，其它元件诸如为脉冲生成器112和采集单元114。采集系统114将在扫描处理期间从超声换能器接收到的信号转换成数字值，并且将它们存储到存储器中。如将在下面讨论的那样，控制器110还可以通过从更大的扫描图像得到的子图像来使系统的循环递增。此外，控制器110可以控制多个良好的参考图像的循环以及基于每个子图像的3D张量图像的生成。采集系统114输出数字扫描数据116并且控制器110输出扫描位置数据118。扫描数据116可以包括被用于构造扫描图像和参考图像的时域传输(TDT)波形和时域反射(TDR)波形。这些波形中的传播时间与XYZ波形位置数据空间中的Z轴距离直接成比例。
[0020]扫描数据116和扫描位置数据118被传递到数据处理器120，其被配置为基于扫描数据检测对象中的缺陷并且可选地对其进行分类。数据处理器120可以使用存储的数据，诸如存储在存储单元122中的参考图像、DUT特性和神经网络权重值。用户界面124可以被用于显示图像并且提供其它用户交互。数据处理器120可以向控制器110提供反馈，如由虚线箭头126指示的那样。因此，数据处理器120可以向控制器110、存储122和/或用户界面124提供输出。数据处理器120可以是一般目的的编程的计算机处理器、定制处理器或它们的组合。数据处理器120可以包括用于高效处理神经网络计算的加速器硬件。
[0021]图2是根据各种代表性实施例的用于处理来自超声扫描器的扫描数据的装置200的功能框图。装置200可以包括例如如图1中示出的数据处理器120和存储122。装置可以与
扫描器集成在一起，并且被用于在生产期间对器件进行自动检测和分类。装置可以是使用一个或多个数据处理器和存储实现的。
[0022]图像构建器202接收来自超声扫描器的扫描数据116，并且从其创建DUT的图像。扫描数据可以包括数字化的TDR/TDT波形数据。可以使用各种方法，这对于本领域技术人员将是显而易见的。例如，TDT和/或TDT波形可以被直接映射到超谱图像格式，其中彩色平面处的每个彩色信道表示波形的沿着DUT位置空间的Z轴的一个样本位置或者波形的沿着Z轴的位置范围。所得到的3D图像不是人类可以看到的通常的图像视图，而是D本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种计算机实现的方法，包括：在一个或多个计算设备处访问在对象的超声扫描中获取的扫描数据；根据扫描数据构建包括二维(2D)扫描图像的第一输入特征映射；将第一输入特征映射输入到第一深度神经网络以生成第一输出特征映射；将包括无缺陷对象的扫描图像的第二输入特征映射输入到具有与第一深度神经网络相同的结构和权重值的第二深度神经网络，以产生第二输出特征映射；以及当第一输出特征映射和第二输出特征映射之间的距离大时，确定被扫描的对象包含缺陷。2.根据权利要求1所述的计算机实现的方法，其中：构建第一输入特征映射包括构建第一三维(3D)图像张量，第一3D图像张量在第一3D图像张量的所有三个信道中具有2D扫描图像；以及构建第二输入特征映射包括构建第二三维(3D)图像张量，第二3D图像张量具有：在第二3D图像张量的第一信道中的无缺陷对象的第一2D扫描图像；在第二3D图像张量的第二信道中的无缺陷对象的第二2D扫描图像；以及在第二3D图像张量的第三信道中的无缺陷对象的第三2D扫描图像。3.根据权利要求1所述的计算机实现的方法，进一步包括：从使用彩色图像训练的深度神经网络复制第一深度神经网络和第二深度神经网络的权重值。4.根据权利要求1所述的计算机实现的方法，进一步包括基于第一深度神经网络的输出和第二深度神经网络的输出之间的距离的对比损失来调整第一深度神经网络和第二深度神经网络的权重值。5.根据权利要求1所述的计算机实现的方法，进一步包括：当确定扫描的对象包含缺陷时，将扫描图像传递到自动缺陷分类器。6.一种计算机实现的方法，包括：在一个或多个计算设备处访问在对象的超声扫描中获取的扫描数据；根据扫描数据构建二维(2D)扫描图像；生成与扫描图像关联的信息的2D图形表示；生成用于对象的缺陷分类元数据；构建三维(3D)图像张量，3D图像张量具有在3D图像张量的第一信道中的2D扫描图像、在3D图像张量的第二信道中的无缺陷对象的2D图像和在3D图像张量的第三信道中的信息的2D图形表示；将3D图像张量输入到深度神经网络；将深度神经网络的输出与缺陷分类元数据进行比较；调整深度神经网络的输出层的权重值以提供在深度神经网络的输出与缺陷分类元数据之间的改进的匹配；以及存储经调整的权重值。7.根据权利要求6所述的计算机实现的方法，进一步包括从使用彩色图像训练的深度神经网络复制深度神经网络的特征映射层中的权重值。8.根据权利要求6所述的计算机实现的方法，进一步包括：存储训练...
【专利技术属性】
技术研发人员：J，
申请(专利权)人：SONIX公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。