检查装置及检查方法制造方法及图纸

本发明专利技术涉及一种检查装置及检查方法。检查装置具备：拍摄图像取得部，其取得检查对象的拍摄图像；存储装置，其保存使用表示正常的检查对象的正常图像而学习完毕的学习模型，该学习模型用于生成与正常图像近似的比较图像；以及检查部，其使用拍摄图像和比较图像来判定检查对象有无异常。学习模型具备通过第一噪声及第二噪声的输入来生成比较图像的生成器，该生成器具备：映射网络层，其对第一噪声进行非线性变换而生成第三噪声；和合成网络层，其使用第二噪声及所生成的第三噪声来生成图像，并多次反复进行所生成的图像的上采样，由此生成比较图像。较图像。较图像。

【技术实现步骤摘要】
检查装置及检查方法


[0001]本公开涉及检查装置及检查方法。

技术介绍

[0002]已知一种优劣判定装置，其基于针对样本图像关联了优劣的判断结果后的结果，从各样本图像算出特征量，对于算出的特征量，进行基于神经网络的学习来生成优劣判定基准(例如日本特开2007
‑
114843)。

技术实现思路

[0003]在使用了学习模型的检查装置中，期望提高检查精度。
[0004]本公开能够作为以下的方式来实现。
[0005](1)根据本公开的一方式，提供检查装置。该检查装置具备：拍摄图像取得部，其取得检查对象的拍摄图像；存储装置，其保存使用表示正常的所述检查对象的正常图像而学习完毕的学习模型，该学习模型用于生成与所述正常图像近似的比较图像；以及检查部，其使用所述拍摄图像和所述比较图像来判定所述检查对象有无异常。所述学习模型具备通过第一噪声及第二噪声的输入来生成所述比较图像的生成器，该生成器具备：映射网络层，其对所述第一噪声进行非线性变换而生成第三噪声；和合成网络层，其使用所述第二噪声及所生成的所述第三噪声来生成图像，并多次反复进行所生成的图像的上采样，由此生成所述比较图像。根据该方式的检查装置，能够使用高分辨率的图像数据判定有无异常，能够提高检查装置的检查精度。(2)在上述方式的检查装置的基础上，也可以是，所述学习模型不具备用于对所述拍摄图像与所述比较图像进行鉴别的鉴别器。根据该方式的检查装置，能够以简易的构成对拍摄图像与比较图像进行比较，能够提高检查装置的生产性。(3)在上述方式的检查装置的基础上，可以是，所述学习模型是还具备输出表示所述比较图像相对于所述拍摄图像的差异的程度的数值的鉴别器的、生成式对抗网络。根据该方式的检查装置，能够利用已知的构成，使用拍摄图像和比较图像来判定有无异常。(4)在上述方式的检查装置的基础上，可以是，所述检查部在判定为所述拍摄图像与所述比较图像不近似的情况下，将再判定反复进行预先确定的次数，该再判定是，使用变更所述第一噪声和所述第二噪声中的至少某一方而生成的新的所述比较图像来判定所述检查对象有无异常。根据该方式的检查装置，通过多次变更比较图像的特征，能够抑制忽视异常的情况，能够提高检查精度。(5)在上述方式的检查装置的基础上，可以是，所述再判定包括：第一再判定，将使
用固定所述第二噪声并使所述第一噪声变化而生成的所述比较图像的所述再判定进行预先确定的次数；和第二再判定，在进行了所述第一再判定之后，将使用固定所述第一噪声并使所述第二噪声变化而生成的所述比较图像的所述再判定进行预先确定的次数。根据该方式的检查装置，通过先进行改变大幅变更图像中的特征的第一噪声的第一再判定，与先进行第二再判定的情况相比较，能够提前结束异常判定。(6)在上述方式的检查装置的基础上，可以是，所述生成器还具备权重调整层，其使向所述映射网络层输入的所述第一噪声以所述拍摄图像与所述比较图像之差变小的方式变更。根据该方式的检查装置，利用第一噪声的变更这一简易的方法，无需在检查中进行生成器的学习，便能够生成与拍摄图像近似的比较图像。(7)在上述方式的检查装置中，可以是，所述检查部在所述拍摄图像所包含的第一像素的灰度值与在所述比较图像中同所述第一像素对应的位置的第二像素的灰度值的差分的累计值大于预先确定的阈值的情况下，判定为所述检查对象有异常。根据该方式的检查装置，与利用均方误差算出似然的情况相比，能够抑制人类容易识别的RGB灰度值的差分值变得过大的情况。本公开也能够以检查装置、检查方法、此外的各种方式实现。例如，能够以检查用程序、学习完毕模型、学习模型的学习方法、作为检查对象的零件的制造方法、检查装置的制造方法、检查装置的控制方法、机器学习模型的学习用程序、记录有这些计算机程序的非临时性的记录介质等方式实现。
附图说明
[0006]以下，参照附图，对本专利技术的例示性的实施方式的特征、优点、以及技术上和工业上的意义进行阐述，附图中，同样的附图标记表示同样的要素，其中：图1是示意性地示出检查系统的整体构成的说明图。图2是示出检查装置的内部功能构成的框图。图3是概念性地示出机器学习模型的构成的说明图。图4是示出机器学习模型的详细的构成的说明图。图5是示出由检查装置执行的检查方法的流程图。图6是示出作为检查对象的一例的连接器的说明图。图7是示出作为表示正常的连接器的正常图像的拍摄图像的例子的说明图。图8是示出作为表示具有异常的连接器的异常图像的拍摄图像的例子的说明图。图9是示出使用作为正常图像的拍摄图像生成的比较图像的说明图。图10是示出使用作为异常图像的拍摄图像生成的比较图像的说明图。图11是示出使用拍摄图像与比较图像的RGB灰度值的差分生成的差分图像的说明图。图12是示意性地示出差分的算出方法的说明图。图13是示出作为第二实施方式的检查装置所具备的机器学习模型的概略构成的说明图。
具体实施方式
[0007]A.第一实施方式：图1是示意性地示出检查系统100的整体构成的说明图。检查系统100具备作为本公开的第一实施方式的检查装置60、和相机70。检查装置60与相机70协作，使用在生产线Ln上处理后的检查对象的拍摄图像，检查检查对象有无异常。检查装置60利用学习完毕的机器学习模型。检查对象例如是在前工序PR1中制造出的汽车用的零件WK。在本实施方式中，作为汽车用的零件WK，以后述的连接器为例进行说明。连接器是为了将使汽车的燃料、制冷剂等流通的配管彼此连结而使用的构件。要检测的异常例如是连接器的连接不良、连接器的破损、连接器的锁定部的嵌合不良、配管的破损等，可能包括许多种类的异常。在本实施方式中，出于难以分别准备具有异常的检查对象的图像这一理由，使用了无监督学习的机器学习模型。
[0008]相机70对检查对象进行拍摄，将检查对象的拍摄图像向检查装置60发送。相机70具备拍摄部72和通信部74。拍摄部72对从前工序PR1向后工序PR2送出的搬运中途的零件WK进行拍摄。在本实施方式中，拍摄部72对搭载于汽车的状态下的零件WK进行拍摄。由拍摄部72拍摄到的拍摄图像向通信部74输出。相机70不限于与检查装置60独立，也可以与检查装置60一体。
[0009]在本实施方式中，通过拍摄部72得到的拍摄图像利用RGB输入图像信号构成，该RGB输入图像信号由以R(红)、G(绿)、B(蓝)表示的各图像信号成分构成。对各图像信号例如分配了各8位、合计24位的信息量。在本实施方式中，拍摄部72针对整个零件WK，取得设为横4000像素
×
纵3000像素的所谓的1200万像素的拍摄图像。拍摄部72取得的拍摄图像的分辨率优选考虑检查装置60所要求的检查范围、不良的检测精度、要检测的不良的大小、能够利用学习模型处理的图像大小等来决定。另外，为了检查装置60的检查精度的提高、检查范围的扩大，优选检查对象的拍摄图像具有高的分辨率。例如，为了检查搭载于汽车的状态下的零件WK，例如，为使相机70离开汽车以避免相机70与汽车的接触，有时从远离检查对象的位置对检查对象进行拍摄。另外，有时拍摄范围小，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种检查装置，具备：拍摄图像取得部，其取得检查对象的拍摄图像；存储装置，其保存使用表示正常的所述检查对象的正常图像而学习完毕的学习模型，该学习模型用于生成与所述正常图像近似的比较图像；以及检查部，其使用所述拍摄图像和所述比较图像来判定所述检查对象有无异常，所述学习模型具备通过第一噪声及第二噪声的输入来生成所述比较图像的生成器，该生成器具备：映射网络层，其对所述第一噪声进行非线性变换而生成第三噪声；和合成网络层，其使用所述第二噪声及所生成的所述第三噪声来生成图像，并多次反复进行所生成的图像的上采样，由此生成所述比较图像。2.根据权利要求1所述的检查装置，其中，所述学习模型不具备用于对所述拍摄图像与所述比较图像进行鉴别的鉴别器。3.根据权利要求1所述的检查装置，其中，所述学习模型是还具备输出表示所述比较图像相对于所述拍摄图像的差异的程度的似然的鉴别器的、生成式对抗网络。4.根据权利要求1所述的检查装置，其中，所述检查部在判定为所述拍摄图像与所述比较图像不近似的情况下，将再判定反复进行预先确定的次数，该再判定是，使用变更所述第一噪声和所述第二噪声中的至少某一方而生成的新的所述比较图像来判定所述检查对象有无异常。5.根据权利要求4所述...

【专利技术属性】
技术研发人员：古志悟，高桥立宽，
申请(专利权)人：丰田自动车株式会社，
类型：发明
国别省市：