异常检查装置及异常检查方法制造方法及图纸

具有：图像取得部(11)，其取得拍摄到检查对象的对象物(3)的判定对象图像；学习结果取得部(123)，其取得将拍摄到正常状态的对象物(3)的正常图像作为教师数据而进行的、图像的域正变换或者图像的域逆变换的机械学习的结果；判定对象图像解析部(122)，其针对判定对象图像，使用机械学习的结果而依次进行域正变换及域逆变换，取得域变换后图像；以及判定部(14)，其将判定对象图像和域变换后图像进行比较，对在判定对象图像中所拍摄到的对象物(3)是否发生了异常进行判定。

【技术实现步骤摘要】
【国外来华专利技术】异常检查装置及异常检查方法
本专利技术涉及对在物体中是否发生了异常进行检查的异常检查装置及异常检查方法。
技术介绍
对通过照相机等拍摄物体而得到的图像进行解析，由此机械自动地检查在物体中是否发生了异常的技术，例如是为了使在工业产品的制造过程中进行的通过目视实施的外观检查实现自动化或者省力化的重要技术。例如，在专利文献1中公开了下述检查装置，即，关于从同一规格的多个对象物中的规定数单独地取得的数字图像，针对具有同一坐标的每个像素而计算特性的统计量，创建设定良好像素范围，针对从所要检查的对象物取得的数字图像，针对每个像素对特性是否属于设定良好像素范围进行判定。专利文献1：日本特开2013－32995号公报
技术实现思路
在以专利文献1所公开的技术为代表的现有技术中，拍摄对象物时的对象物和照相机的位置关系必须始终恒定。另外，全部图像必须高精度地对位。因此，在进行异常判定时，存在会受到由拍摄条件的差异、或者正常范围内的波动引起的图像间的差异所造成的影响这一课题。本专利技术就是为了解决上述这样的课题而提出的，其目的在于提供不受由拍摄条件的差异、或者正常范围内的波动引起的图像间的差异所造成的影响，就能够检查对象物的异常的异常检查装置及异常检查方法。本专利技术所涉及的异常检查装置具有：图像取得部，其取得拍摄到检查对象的对象物的判定对象图像；学习结果取得部，其取得将拍摄到正常状态的对象物的正常图像作为教师数据而进行的、图像的域正变换或者图像的域逆变换的机械学习的结果；判定对象图像解析部，其针对由图像取得部取得的判定对象图像，使用由学习结果取得部取得的机械学习的结果而依次进行域正变换及域逆变换，取得域变换后图像；以及判定部，其将由图像取得部取得的判定对象图像和由判定对象图像解析部取得的域变换后图像进行比较，对在判定对象图像中拍摄到的对象物是否发生了异常进行判定。专利技术的效果根据本专利技术，不受由拍摄条件的差异、或者正常范围内的波动引起的图像间的差异所造成的影响，就能够检查对象物的异常。附图说明图1是表示实施方式1所涉及的异常检查装置的结构例的图。图2是用于说明图像的域变换的图。图3是表示照片域和范围域以外的域的图像的例子的图。图4是表示使用神经网络而进行图像的域变换的情形的图。图5是在实施方式1中，用于说明由判定对象图像解析部针对判定对象图像进行的域变换的图。图6是表示在实施方式1中，在判定对象图像中发生了异常的情况下的、判定对象图像和域变换后图像的一个例子的图。图7是在实施方式1中，用于说明判定对象图像为正常图像的情况下的、判定对象图像和域变换后图像的差分绝对值的图。图8是在实施方式1中，用于说明在判定对象图像中发生了异常的情况下的、判定对象图像和域变换后图像的差分绝对值的图。图9是在实施方式1中，用于说明判定部针对差分图像进行阈值处理而得到的结果的一个例子的图。图10是在实施方式1中，用于说明在存储部中作为边界条件而存储的2维掩模的一个例子的图，图10B示出了2维掩模的成像，图10A示出了将由图10B表示的2维掩模叠加于判定对象图像而得到的成像。图11A、图11B是表示专利技术的实施方式1所涉及的异常检查装置的硬件结构的一个例子的图。图12是在实施方式1中，用于说明“学习模式”中的异常检查装置的动作的流程图。图13是在实施方式1中，对正常图像解析部通过图12的步骤ST1202实施的域变换学习处理的详细内容进行说明的流程图。图14是在实施方式1中，用于说明“检查模式”中的异常检查装置的动作的流程图。图15在实施方式1中，对判定对象图像解析部通过图14的步骤ST1402实施的域变换后图像取得处理的详细内容进行说明的流程图。图16是在实施方式1中，对判定部通过图14的步骤ST1403实施的异常判定处理的详细内容进行说明的流程图。图17是在实施方式1中，用于说明对输入输出装置从输入输出部发送出的、与判定结果相关的信息进行接收，在显示器显示出的显示画面的成像的一个例子的图。图18是在实施方式1中，用于说明对输入输出装置从输入输出部发送出的、与判定结果相关的信息进行接收，在显示器显示出的显示画面的成像的另一个例子的图。图19是在实施方式1中，用于说明对输入输出装置从输入输出部发送出的、与判定结果相关的信息进行接收，在显示器显示出的显示画面的成像的另一个例子的图。图20是表示实施方式2所涉及的异常检查装置的结构例的图。图21是表示在实施方式2中，异常解析部将边界框和范围域的图像重叠后的图像的成像的一个例子的图。图22是在实施方式2中，用于说明“检查模式”中的异常检查装置的动作的流程图。图23是在实施方式2中，对异常解析部通过图22的步骤ST2204实施的异常解析处理的详细内容进行说明的流程图。具体实施方式下面，参照附图对本专利技术的实施方式详细地进行说明。实施方式1.在下面的说明中，将在成为由实施方式1所涉及的异常检查装置1判定异常的对象的判定对象图像(详细内容在后面记述。)中拍摄到的、检查对象的物体称为“对象物”。对象物例如包含电路基板或者配线等至少能够进行外观检查的所有的物体。图1是表示实施方式1所涉及的异常检查装置1的结构例的图。异常检查装置1例如经由网络而与照相机2及输入输出装置4连接。异常检查装置1从照相机2取得拍摄到对象物3的图像，判定在对象物中是否发生了异常，将判定结果输出至输入输出装置4。下面，将拍摄到对象物3的图像称为“拍摄图像”。输入输出装置4例如具有显示器、扬声器、键盘或者鼠标等。此外，在实施方式1中，如图1所示，异常检查装置1构成为经由网络而与照相机2及输入输出装置4连接，但这只是一个例子，也可以构成为异常检查装置1具有照相机2及输入输出装置4。异常检查装置1具有控制部10、图像取得部11、图像解析部12、存储部13、判定部14及输入输出部15。图像解析部12具有正常图像解析部121、判定对象图像解析部122和学习结果取得部123。控制部10对图像取得部11、图像解析部12、判定部14及输入输出部15的动作进行控制。图像取得部11经由网络从照相机2取得拍摄图像。图像取得部11从照相机2接收拍摄图像的定时，例如可以设为1秒钟30次等预先决定的定时，也可以基于来自控制部10的指示而决定。此外，在这里，以由图像取得部11取得的拍摄图像进行了数字化为前提，但并不一定限定于此。图像取得部11将所取得的拍摄图像输出至图像解析部12。图像解析部12进行与2个动作模式相对应的处理。在实施方式1中，异常检查装置1实施2个动作模式。将由异常检查装置1实施的2个动作模式分别称为“学习模式”和“检查模式”。异常检查装置1在“学习模式”中，基于拍摄到不包含异常的正常状态的对象物3的大本文档来自技高网...

【技术保护点】
1.一种异常检查装置，其具有：/n图像取得部，其取得拍摄到检查对象的对象物的判定对象图像；/n学习结果取得部，其取得将拍摄到正常状态的所述对象物的正常图像作为教师数据而进行的、图像的域正变换或者图像的域逆变换的机械学习的结果；/n判定对象图像解析部，其针对由所述图像取得部取得的所述判定对象图像，使用由所述学习结果取得部取得的机械学习的结果而依次进行域正变换及域逆变换，取得域变换后图像；以及/n判定部，其将由所述图像取得部取得的所述判定对象图像和由所述判定对象图像解析部取得的所述域变换后图像进行比较，对在所述判定对象图像中拍摄到的对象物是否发生了异常进行判定。/n

【技术特征摘要】
【国外来华专利技术】1.一种异常检查装置，其具有：
图像取得部，其取得拍摄到检查对象的对象物的判定对象图像；
学习结果取得部，其取得将拍摄到正常状态的所述对象物的正常图像作为教师数据而进行的、图像的域正变换或者图像的域逆变换的机械学习的结果；
判定对象图像解析部，其针对由所述图像取得部取得的所述判定对象图像，使用由所述学习结果取得部取得的机械学习的结果而依次进行域正变换及域逆变换，取得域变换后图像；以及
判定部，其将由所述图像取得部取得的所述判定对象图像和由所述判定对象图像解析部取得的所述域变换后图像进行比较，对在所述判定对象图像中拍摄到的对象物是否发生了异常进行判定。


2.根据权利要求1所述的异常检查装置，其特征在于，
所述图像取得部在所述判定对象图像的基础上，能够取得拍摄到正常状态的所述对象物的正常图像，
该异常检查装置还具有正常图像解析部，该正常图像解析部将由该图像取得部取得的正常图像作为教师数据而进行所述机械学习，
所述学习结果取得部取得由所述正常图像解析部进行的所述机械学习的结果。


3.根据权利要求1所述的异常检查装置，其特征在于，
所述判定部使用神经网络而进行所述域正变换或者所述域逆变换。


4.根据权利要求1所述的异常检查装置，其特征在于，
所述判定部生成将分别构成所述判定对象图像和所述域变换后图像的多个像素中的、处于彼此对应的位置处的多个像素中的各像素的像素值间的差分通过绝对值表示的差分图像，将通过该差分图像的多个像素中的所...

【专利技术属性】
技术研发人员：宫泽一之，杉本和夫，
申请(专利权)人：三菱电机株式会社，
类型：发明
国别省市：日本;JP