基于机器视觉的自动化缺陷检测制造技术

提供了用于使用神经网络来进行基于计算机视觉的自动缺陷检测的各种机制和过程。一种系统被配置用于接收包括对应于一个或更多个已知缺陷的训练图像的历史数据集。每个训练图像被转换成对应的矩阵表示，用于对神经网络进行训练以基于已知缺陷调整加权参数。一旦经过充分训练，就可以获得对象的不是历史数据集的一部分的测试图像。测试图像的部分被提取作为输入图像块，用于作为相应的矩阵表示输入到神经网络中。使用加权参数为每个输入图像块自动生成指示该输入图像块包括缺陷的可能性的概率分数。然后基于概率分数生成测试图像的总体缺陷分数，以指示对象的条件。以指示对象的条件。以指示对象的条件。

【技术实现步骤摘要】
【国外来华专利技术】基于机器视觉的自动化缺陷检测
[0001]相关申请的交叉引用
[0002]本申请要求于2019年12月19日提交的、题为“AUTOMATED MACHINE VISION
‑
BASED DEFECT DETECTION”的美国临时申请第62/950,440号的权益，该临时申请通过引用以其整体并入本文以用于所有目的。


[0003]本公开总体上涉及制造部件的检查，并且更具体地涉及基于机器视觉的自动化缺陷检测。
[0004]背景
[0005]识别缺陷是许多制造过程中的重要组成部分。现有系统中的质量检验包括目视确认(visual confirmation)，以确保部件位于正确的位置，具有正确的形状、颜色或纹理，并且没有任何瑕疵(诸如划痕、针孔和杂质颗粒)。然而，由于人类视觉的局限性和人为错误，人类目视检查可能并不可靠。另外，检查量、产品多样性和缺陷可能出现在产品上的任何地方以及可以是任何大小的可能性对检查人员来说都是一个沉重的负担。因此，需要有效的系统和方法来代替机器制造部件的人类目视检查。
[0006]概述
[0007]以下给出了本公开的简要概述，以便提供对本公开的特定实施例的基本理解。本概述不是本公开的广泛综述，也不识别本公开的重要/关键要素或描述本公开的范围。其唯一的目的是以简化的形式给出本文公开的一些概念，作为后面给出的更详细的描述的序言。
[0008]一般而言，本公开的特定实施例描述了用于基于机器视觉的自动化缺陷检测的系统和方法。该方法包括在训练模式和在推理模式下操作。该方法包括训练神经网络以检测缺陷。训练神经网络包括接收多个历史数据集，该多个历史数据集包括与一个或更多个已知缺陷对应的多个训练图像，将每个训练图像转换成对应的矩阵表示，以及将每个对应的矩阵表示输入到神经网络中，以基于一个或更多个已知缺陷来调整加权参数。加权参数对应于矩阵表示的维度。该方法还包括获得对象的测试图像。测试图像不是历史数据集的一部分。
[0009]该方法还包括提取测试图像的部分作为输入到神经网络中的多个输入图像块(patch)，每个输入图像块对应于测试图像的一个提取部分。该方法还包括将每个输入图像块作为相应的矩阵表示输入到神经网络中，以使用加权参数自动生成每个输入图像块的概率分数。每个输入图像块的概率分数指示该输入图像块包括预测缺陷的概率，并且基于每个输入图像块的概率分数生成测试图像的缺陷分数。缺陷分数指示对象的条件。
[0010]输入图像块可以包括统一的高度和统一的宽度。输入图像块可以包括测试图像的重叠部分。可以对齐输入图像块，使得每个输入图像块紧邻多个输入图像块中的一个或更多个其他输入图像块。
[0011]神经网络可以包括以下中的一个或更多个：卷积层、最大池化层、平坦化层和全连
接层。可以训练神经网络，以使用加权参数准确地输出输入图像块具有未知缺陷的概率分数。该方法还可以包括基于概率分数生成输入图像块的热图(heat map)。在将测试图像传递到神经网络中之前，可以对测试图像进行预处理以去除背景并仅以YCbCr格式的亮度(luma)分量表示图像。
[0012]本公开的其他实现包括被配置为执行所描述方法的对应设备、系统和计算机程序。这些其他实现可任选地包括以下特征中的一个或更多个。例如，提供了一种服务器系统，其包括接口，该接口被配置为接收多个历史数据集以及对象的测试图像，该多个历史数据集包括与一个或更多个级别的已知缺陷对应的多个图像。该测试图像不是历史数据集的一部分。该系统还包括存储器，该存储器被配置为存储历史数据集和测试图像。
[0013]该系统还包括与神经网络相关联的处理器。被配置用于训练神经网络来检测缺陷。训练神经网络包括将每个训练图像转换成对应的矩阵表示，并将每个对应的矩阵表示输入到神经网络中，以基于一个或更多个已知缺陷来调整加权参数。加权参数对应于矩阵表示的维度。
[0014]处理器还被配置用于提取测试图像的部分作为用于输入到神经网络中的多个输入图像块，每个输入图像块对应于测试图像的一个提取部分。处理器还被配置用于将每个输入图像块作为相应的矩阵表示输入到神经网络中，以使用加权参数自动生成每个输入图像块的概率分数。每个输入图像块的概率分数指示该输入图像块包括预测缺陷的概率，并且基于每个输入图像块的概率分数生成测试图像的缺陷分数。缺陷分数指示对象的条件。
[0015]还提供了一个或更多个非暂时性计算机可读介质，该介质上存储有一个或更多个程序，以用于由计算机执行来执行所描述的方法和系统。下面参考附图进一步描述这些和其他实施例。
[0016]附图简述
[0017]通过参考下面结合附图进行的描述，可以最好地理解本公开，这些附图示出了本公开的特定实施例。
[0018]图1A示出了根据一个或更多个实施例的用于实现本公开的各种系统和方法的示例网络体系结构的图示。
[0019]图1B示出了根据一个或更多个实施例的用于自动检查制造部件的示例成像和处理系统。
[0020]图2示出了根据一个或更多个实施例的用于基于机器视觉的自动化缺陷检测的过程流程图。
[0021]图3A和图3B示出了根据一个或更多个实施例的针对部件检查而捕获的图像。
[0022]图4A和图4B示出了根据一个或更多个实施例的由自动化检查而产生的示例输出图像。
[0023]图5示出了根据一个或更多个实施例的用于显示经处理和检查的图像的示例用户界面。
[0024]图6示出了根据一个或更多个实施例的被实现来自动检测缺陷的示例神经网络体系结构。
[0025]图7A、图7B和图7C示出了根据一个或更多个实施例的用于基于机器视觉的自动化缺陷检测的示例方法。
[0026]图8示出了可与本公开的各种实施例一起使用的计算机系统的特定示例。
[0027]特定实施例的描述
[0028]现在将详细参考本公开的一些具体示例。这些具体实施例的示例在附图中示出。尽管结合这些具体实施例描述了本公开，但将理解，并不打算将本公开限制到所描述的实施例。相反，旨在覆盖如可以包括在如所附权利要求所限定的本公开的精神和范围内的替代方案、修改及等同物。
[0029]在下面的描述中，阐述了许多具体细节以便提供对本公开的透彻理解。本公开的特定示例实施例可以在没有这些具体细节中的一些或全部的情况下实现。在其他情况下，没有详细描述众所周知的过程操作，以免不必要地使本公开模糊。
[0030]为了清楚起见，有时将以单数形式描述本公开的各种技术和机制。然而，应当注意，除非另有说明，否则一些实施例包括技术的多次迭代或机制的多个实例。此外，本公开的技术和机制有时将描述两个实体之间的连接。应当注意，两个实体之间的连接并不一定意味着直接、不受阻碍的连接，因为两个实体之间可能存在各种其他实体。因此，除非另有说明，否则连接并不一定意味着直接、不受阻碍的连接。
[0031]综述
[0032]本公开的一般目的(将在随后对其进行更详细地本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：训练神经网络以检测缺陷，其中，训练所述神经网络包括：接收包括与一个或更多个已知缺陷对应的多个训练图像的多个历史数据集，将每个训练图像转换成对应的矩阵表示，以及将每个对应的矩阵表示输入到所述神经网络中，以基于所述一个或更多个已知缺陷调整加权参数，其中，所述加权参数对应于所述矩阵表示的维度；获得对象的测试图像，其中，所述测试图像不是所述历史数据集的一部分；提取所述测试图像的部分作为用于输入到所述神经网络中的多个输入图像块，每个输入图像块对应于所述测试图像的一个提取部分；以及将每个输入图像块作为相应的矩阵表示输入到所述神经网络中，以使用所述加权参数自动生成每个输入图像块的概率分数；其中，每个输入图像块的所述概率分数指示该输入图像块包括预测缺陷的概率，其中，基于每个输入图像块的所述概率分数生成所述测试图像的缺陷分数，并且其中，所述缺陷分数指示所述对象的条件。2.根据权利要求1所述的方法，其中，所述神经网络包括以下中的一个或更多个：卷积层、最大池化层、平坦化层和全连接层。3.根据权利要求1所述的方法，其中，所述输入图像块包括统一的高度和统一的宽度。4.根据权利要求1所述的方法，其中，所述输入图像块包括所述测试图像的重叠部分。5.根据权利要求1所述的方法，其中，所述输入图像块被对齐，使得每个输入图像块紧邻所述多个输入图像块中的一个或更多个其他输入图像块。6.根据权利要求1所述的方法，其中，所述神经网络被训练成使用所述加权参数准确地输出输入图像块具有未知缺陷的概率分数。7.根据权利要求1所述的方法，还包括基于所述概率分数生成所述输入图像块的热图。8.根据权利要求1所述的方法，其中，在将所述测试图像传递到所述神经网络中之前，对所述测试图像进行预处理以去除背景并仅以YCbCr格式的亮度分量表示所述图像。9.一种服务器系统，包括：接口，其被配置成接收：多个历史数据集，所述历史数据集包括与一个或更多个级别的已知缺陷对应的多个图像，以及对象的测试图像，其中，所述测试图像不是所述历史数据集的一部分；存储器，其被配置为存储：所述历史数据集和所述测试图像；以及与神经网络相关联的处理器，其中，所述处理器被配置用于：通过以下操作训练神经网络来检测缺陷：将每个训练图像转换成对应的矩阵表示，将每个对应的矩阵表示输入到所述神经网络中，以基于所述一个或更多个已知缺陷调整加权参数，其中，所述加权参数对应于所述矩阵表示的维度；提取所述测试图像的部分作为输入到所述神经网络中的多个输入图像块，每个输入图像块对应于所述测试图像的一个提取部分；以及
将每个输入图像块作为相应的矩阵表示输入到所述神经网络中，以使用所述加权参数自...

【专利技术属性】
技术研发人员：拉金，
申请(专利权)人：奇手公司，
类型：发明
国别省市：