缺陷检查装置、缺陷检查方法及计算机可读存储介质制造方法及图纸

本发明专利技术提供一种缺陷检查装置、缺陷检查方法及计算机可读存储介质，能够根据检查对象或背景图像来灵活地利用经事先学习的识别器的技术。所述缺陷检查装置具备：存储部，存储已学习模型和对所述已学习模型设定的内部参数；获取部，获取在规定的条件下所拍摄的检查对象的图像；前处理部，根据由获取部所获取的包含缺陷的检查对象的图像即前处理图像中的特征量、和与内部参数对应的特征量，生成规定的前处理过滤器，将所生成的前处理过滤器适用于由获取部所获取的检查对象的图像即检查图像而对所述检查图像进行转换，由此生成已前处理图像；以及检查部，针对已前处理图像，使用所存储的已学习模型来对检查对象有无缺陷进行检查。

Defect Inspection Device, Defect Inspection Method and Computer Readable Storage Media

The invention provides a defect checking device, a defect checking method and a computer readable storage medium, which can flexibly utilize the technology of a pre-learnt recognizer according to the checked object or background image. The defect inspection device has a storage unit which stores the learned model and the internal parameters set by the learned model, a acquisition unit which obtains the image of the inspection object captured under the specified conditions, and a pre-processing unit which according to the image of the inspection object containing defects acquired by the acquisition unit, i.e., the feature quantity of the pre-processing image and the feature quantity corresponding to the internal parameters. A specified pre-processing filter is generated, and the generated pre-processing filter is applied to the image of the checked object acquired by the acquisition unit, i.e. the checked image to convert the checked image, thereby generating the pre-processed image; and the checking unit uses the stored learning model to check whether the checked object has defects for the pre-processed image.

【技术实现步骤摘要】
缺陷检查装置、缺陷检查方法及计算机可读存储介质
本专利技术涉及一种能够执行使用卷积神经网络(ConvolutionalNeuralNetwork，CNN)的缺陷检测处理的缺陷检查装置、缺陷检查方法及计算机可读存储介质。
技术介绍
在工厂自动化(FactoryAutomation，FA)领域，使用图像测量处理的自动控制已得到广泛实用化。例如实现如下所述的工序，即：对工件(work)等被检查对象进行拍摄，从所述拍摄的图像中算出缺陷等的特征量，由此来对关于此工件的良否进行检查。为了实现此种工序，必须预先准备与所期望的工件相应的教师数据，并使识别器进行学习。例如在专利文献1(日本专利特开2003-317082号公报)中，公开了一种分类支持装置，其提供对检查对象的图像分类进行支持的有效环境。专利文献1所记载的分类支持装置具备：显示部，其显示图像；输入部，受理对检查对象的图像进行分类的输入；以及处理部，基于预先准备的多个检查对象的图像所表示的、拍摄多个检查对象时的拍摄位置来决定多个检查对象的顺序，按照顺序来使多个检查对象的图像排列显示于显示部。在FA领域，流经生产线(line)上的工件的种类、或成为检测对象的缺陷的种类、摄影条件等检查条件根据生产线而多种多样。因此，若将使用专利文献1所记载的技术来进行事先学习的识别器在各种检查条件下共同地通用，则有时会因每个生产线不同的检查条件，而产生缺陷的漏检。另一方面，若根据生产线来使识别器进行学习，则需要配合工件种类等检查条件的变更来再次进行识别器的构建的时间，有时会导致生产性下降。
技术实现思路
本专利技术提供一种技术，能够根据检查对象图像或背景图像来灵活地利用经事先学习的识别器。本专利技术采用以下的结构。即，本专利技术的一实施例的缺陷检查装置包括：存储部，存储已学习模型(model)和对所述已学习模型设定的内部参数(parameter)；获取部，获取在规定的条件下所拍摄的检查对象的图像；前处理部，根据由获取部所获取的包含缺陷的检查对象的图像即前处理图像中的特征量、和与内部参数对应的特征量，生成规定的前处理过滤器(filter)，将所生成的前处理过滤器适用于由获取部所获取的检查对象的图像即检查图像而对所述检查图像进行转换，由此生成已前处理图像；以及检查部，针对已前处理图像，使用所存储的已学习模型来对检查对象有无缺陷进行检查。在一实施例的缺陷检查装置中，可构成为，前处理部是以前处理图像中的包含缺陷的缺陷区域的特征量的宽度包含在与内部参数对应的特征量的范围内的方式，来生成用于对前处理图像进行转换的前处理过滤器。而且，在一实施例的缺陷检查装置中，可构成为，前处理部是以前处理图像中的缺陷区域以外的背景区域的图案的宽度超出与内部参数对应的特征量的范围的方式，来生成用于对前处理图像进行转换的前处理过滤器。而且，在一实施例的缺陷检查装置中，可构成为，前处理部从外部受理前处理图像中的缺陷区域的指定，基于所受理的缺陷区域来生成前处理过滤器。进而，在一实施例中，前处理部基于缺陷区域来生成对前处理图像进行放大或缩小的前处理过滤器。进而，在一实施例中，所述前处理部通过多个缩放率来使前处理图像中的至少包含缺陷区域的部分发生变动，至少对部分生成特征检测图像。根据以多个缩放率进行变动时的、特征检测图像的缺陷区域内的浓度与缺陷区域外的浓度之差为最大时的缩放率，所述前处理部生成对前处理图像进行放大或缩小的前处理过滤器。特征检测图像是以表示与内部参数对应的特征的区域的浓度变得比其他区域更大的方式进行浓淡显示。而且，在一实施例的缺陷检查装置中，可构成为，前处理部生成使前处理图像的光亮度变得平坦的前处理过滤器。而且，在一实施例中，缺陷检查装置可构成为，还包括：显示部，显示已前处理图像。进而，在一实施例中，所述显示部能够比较地显示已前处理图像、与提取出缺陷的检查结果图像。而且，在一实施例中，所述缺陷检查装置可构成为，包括：输入部，对由获取部所获取的包含缺陷的检查对象的图像中、为了生成前处理过滤器而使用的前处理图像的用户选择进行受理，前处理部根据前处理图像中的特征量、和与内部参数对应的特征量来生成规定的前处理过滤器。而且，在一实施例中，所述缺陷检查装置可构成为，包括：序列输入部，对使多个处理序列中的哪个序列执行的用户选择进行受理。多个处理序列包含准备工序序列与运用工序序列，所述准备工序序列是前处理部生成前处理过滤器的序列，所述运用工序序列是将所生成的前处理过滤器适用于检查图像，以对检查对象中所含的缺陷的有无进行检查的序列。进而，在一实施例中，所述运用工序序列是执行下述处理，即，根据是否识别出检查对象的缺陷的检查结果的内容，通过前处理部来更新前处理过滤器。而且，本专利技术的一实施例的缺陷检查方法使计算机执行下述步骤，即：存储已学习模型和对所述已学习模型设定的内部参数；获取在规定的条件下所拍摄的检查对象的图像；根据通过获取步骤而获取的包含缺陷的检查对象的图像即前处理图像中的特征量、和与内部参数对应的特征量，生成规定的前处理过滤器，将所生成的前处理过滤器适用于通过获取步骤而获取的检查对象的图像即检查图像来对所述检查图像进行转换，由此生成已前处理图像；以及针对已前处理图像，使用所存储的已学习模型来对检查对象有无缺陷进行检查。而且，本专利技术的一实施例的计算机可读存储介质存储有程序(program)，使计算机作为下述部件发挥功能，即：存储已学习模型和对所述已学习模型设定的内部参数的部件；获取在规定的条件下所拍摄的检查对象的图像的部件；根据由获取部件所获取的包含缺陷的检查对象的图像即前处理图像中的特征量、和与内部参数对应的特征量，生成规定的前处理过滤器，将所生成的前处理过滤器适用于由获取部件所获取的检查对象的图像即检查图像而对所述检查图像进行转换，由此生成已前处理图像的部件；以及针对已前处理图像，使用所存储的已学习模型来对检查对象有无缺陷进行检查的部件。根据本专利技术，可提供一种技术，能够根据检查对象或背景图像来灵活地利用经事先学习的识别器。附图说明图1是表示本实施方式的缺陷检查系统的系统结构例的示意图。图2是表示本实施方式的缺陷检查装置的硬件(hardware)结构的示意图。图3是表示本实施方式的缺陷检查装置的功能结构的示意图。图4是用于说明本实施方式的缺陷检查系统中的使用CNN的图像测量处理的处理流程的一例的图。图5是用于说明本实施方式的缺陷检查系统中的前处理过滤器生成处理的一例的流程图。图6是用于说明本实施方式的缺陷检查装置中的前处理过滤器生成处理的一例的图。图7A是用于说明本实施方式的缺陷检查装置中的前处理过滤器的一例的图。图7B是用于说明本实施方式的缺陷检查装置中的前处理过滤器的一例的图。图8是表示本实施方式的缺陷检查装置所提供的用户接口(interface)画面200的一例的示意图。图9A是表示本实施方式的缺陷检查装置所提供的用户接口画面200的一例的示意图。图9B是表示本实施方式的缺陷检查装置所提供的用户接口画面200的一例的示意图。图9C是表示本实施方式的缺陷检查装置所提供的用户接口画面200的一例的示意图。图10是表示本实施方式的缺陷检查系统中的准备工序的处理流程的流程图。图11是表示本实施方式的缺陷检查系统中的运用工序的处理本文档来自技高网...

【技术保护点】
1.一种缺陷检查装置，其特征在于包括：存储部，存储已学习模型和对所述已学习模型设定的内部参数；获取部，获取在规定的条件下所拍摄的检查对象的图像；前处理部，根据由所述获取部所获取的包含缺陷的检查对象的图像即前处理图像中的特征量、和与所述内部参数对应的特征量，生成规定的前处理过滤器，将所生成的所述前处理过滤器适用于由所述获取部所获取的检查对象的图像即检查图像而对所述检查图像进行转换，由此生成已前处理图像；以及检查部，针对所述已前处理图像，使用所述存储的已学习模型来检查所述检查对象有无缺陷。

【技术特征摘要】
2017.11.15 JP 2017-2195941.一种缺陷检查装置，其特征在于包括：存储部，存储已学习模型和对所述已学习模型设定的内部参数；获取部，获取在规定的条件下所拍摄的检查对象的图像；前处理部，根据由所述获取部所获取的包含缺陷的检查对象的图像即前处理图像中的特征量、和与所述内部参数对应的特征量，生成规定的前处理过滤器，将所生成的所述前处理过滤器适用于由所述获取部所获取的检查对象的图像即检查图像而对所述检查图像进行转换，由此生成已前处理图像；以及检查部，针对所述已前处理图像，使用所述存储的已学习模型来检查所述检查对象有无缺陷。2.根据权利要求1所述的缺陷检查装置，其特征在于，所述前处理部是以所述前处理图像中的包含所述缺陷的缺陷区域的特征量的宽度包含在与所述内部参数对应的特征量的范围内的方式，来生成用于对所述前处理图像进行转换的前处理过滤器。3.根据权利要求2所述的缺陷检查装置，其特征在于，所述前处理部是以所述前处理图像中的所述缺陷区域以外的背景区域的图案的宽度超出与所述内部参数对应的特征量的范围的方式，来生成用于对所述前处理图像进行转换的前处理过滤器。4.根据权利要求2或3所述的缺陷检查装置，其特征在于，所述前处理部从外部受理所述前处理图像中的所述缺陷区域的指定，基于所受理的所述缺陷区域来生成所述前处理过滤器。5.根据权利要求2或3所述的缺陷检查装置，其特征在于，所述前处理部基于所述缺陷区域来生成对所述前处理图像进行放大或缩小的所述前处理过滤器。6.根据权利要求2或3所述的缺陷检查装置，其特征在于，所述前处理部通过多个缩放率来使所述前处理图像中的至少包含所述缺陷区域的部分发生变动，至少对所述部分生成特征检测图像，根据以多个缩放率进行变动时的、所述特征检测图像的所述缺陷区域内的浓度与所述缺陷区域外的浓度之差为最大时的缩放率，生成对所述前处理图像进行放大或缩小的所述前处理过滤器，所述特征检测图像是以表示与所述内部参数对应的特征的区域的浓度变得比其他区域更大的方式，而以浓淡来表示。7.根据权利要求1至3中任一项所述的缺陷检查装置，其特征在于，所述前处理部生成使所述前处理图像的光亮度变得平坦的前处理过滤器。8.根据权利要求7所述的缺陷检查装置，其特征在于还包括：显示部，显示所述已前处...

【专利技术属性】
技术研发人员：池田泰之，栗田真嗣，
申请(专利权)人：欧姆龙株式会社，
类型：发明
国别省市：日本,JP