数据生成系统、学习装置、数据生成装置、数据生成方法及数据生成程序制造方法及图纸

本发明专利技术提供一种用于降低收集多种不同样本所耗费的成本的技术。本发明专利技术的一种方案的数据生成系统利用完成训练的第一生成器，生成包括与输入值相对应的类别的第一特征的第一伪样本，利用完成训练的第二生成器，生成包括与输入值相对应的类别的第二特征的第二伪样本，且合成生成的第一伪样本及第二伪样本，由此生成包括第一特征及第二特征的新样本。成包括第一特征及第二特征的新样本。成包括第一特征及第二特征的新样本。

【技术实现步骤摘要】
【国外来华专利技术】数据生成系统、学习装置、数据生成装置、数据生成方法及数据生成程序


[0001]本专利技术涉及一种数据生成系统、学习装置、数据生成装置、数据生成方法及数据生成程序。

技术介绍

[0002]一直以来，在生产线等制造产品的情境下，利用了通过拍摄装置拍摄所制造的产品，并基于得到的图像数据来检查产品的优劣的技术。例如，专利文献1中提出了一种外观检查装置，其通过关节机器人移动光源，同时拍摄来自该光源的检查光所照射至的待检查物的外观，并分析得到的图像，由此进行待检查物的外观检查。另外，例如，专利文献2中提出了一种检查装置，其基于学习完成的第一神经网络判定呈现于图像的待检查物是正常还是异常，在判定待检查物异常的情况下，基于学习完成的第二神经网络对该异常的种类进行分类。
[0003]现有技术文献
[0004]专利文献
[0005]专利文献1：日本特开2019
‑
045330号公报
[0006]专利文献2：日本特开2012
‑
026982号公报
[0007]专利文献3：日本特开2018
‑
175343号公报
[0008]专利文献4：日本特开2019
‑
071050号公报
[0009]专利文献5：日本特开2018
‑
024340号公报
[0010]专利文献6：日本特开2018
‑
189522号公报

技术实现思路

[0011]根据现有的方法，能够根据通过拍摄得到的图像来实施产品的外观检查。另外，根据如专利文献2那样的利用神经网络等机器学习模型的方法，即使不详细规定对于得到的图像的图像处理(例如，即使不设置用于检测缺陷的检测参数的值)，也能够基于完成训练的机器学习模型的输出来实施产品的外观检查。因此，能够简化外观检查的信息处理，减少制作检查程序的工作。然而，本专利技术人等发现在如上述的现有检测方法中存在如下问题。
[0012]在基于拍摄图像实施外观检查的情况下，预先收集呈现包括缺陷的产品的图像作为学习数据。在通过图像处理检测缺陷的状况下，所收集的学习数据用于设置用于检测缺陷的检测参数的值。另外，在利用机器学习模型来检测缺陷的状况下，所收集的学习数据用于机器学习，机器学习用于使机器学习模型掌握检测所提供的图像上呈现的缺陷的能力。缺陷的检测可以是识别缺陷的类别。基本而言，收集的学习数据越多，即，学习数据中出现的缺陷的状况越多，越有望提高外观检查的精度。
[0013]然而，缺陷的类别、及包括产品的外观的背景的类别越多，缺陷的类别及背景的类别的组合越会增加，希望作为学习数据被收集的样本的件数(及种类)也增加。因此，存在为
了收集出现缺陷的类别及背景的类别的各组合的样本而耗费成本的问题。
[0014]在存在未得到样本的组合的情况下，可能会出现如下问题。即，在通过图像处理检测缺陷的状况下，难以对未得到样本的缺陷的类别及背景的类别的组合设置检测参数的值，可能导致该组合所代表的缺陷的检测精度降低。同理，即使在利用机器学习模型检测缺陷的状况下，也可能因无法使未得到样本的缺陷的类别及背景的类别的组合反映给机器学习而导致与针对该组合的完成训练机器学习模型所进行的缺陷检测相关的推测的精度降低。
[0015]并且，在利用机器学习模型的状况下，可能也会产生如下问题。即，在样本中出现的缺陷的类别及背景的类别的组合有偏差的情况下，特别是缺陷的类别及背景的类别以相同的分布出现于样本的情况下，该样本的偏差可能对通过机器学习使机器学习模型掌握的能力产生不良影响。作为不良影响的一例，由于样本中出现的缺陷的类别及背景的类别的组合有偏差，因此，利用该样本的机器学习可能不是使机器学习模型掌握根据类别检测缺陷的能力，而是掌握识别背景的类别的能力。
[0016]作为具体例，假设第一产品及第二产品这两种产品产生第一缺陷及第二缺陷这两种缺陷。另外，在该例子中，假设第一产品容易产生第一缺陷，第二产品容易产生第二缺陷。并且，假设得到的样本偏向于呈现包括第一缺陷的第一产品的图像、及呈现包括第二缺陷的第二产品的图像。即，假设未得到呈现包括第二缺陷的第一产品的图像及呈现包括第一缺陷的第二产品的图像作为机器学习的样本。设定为了使用在该假设下所得到的样本使其掌握根据类别检测缺陷的能力而执行机器学习模型的机器学习。在该情况下，通过得到的样本中产生上述偏差，机器学习模型可能通过该机器学习不是掌握根据类别检测识别缺陷的能力，而是掌握识别背景的类别的能力。即，通过使样本有偏差，可能使机器学习模型掌握与所需能力不同的能力。在掌握了识别背景的类别的能力的情况下，在提供了呈现包括第二缺陷的第一产品的图像时，完成训练的机器学习模型容易误检出第一产品产生了第一缺陷。
[0017]因此，无论哪种状况，在存在未得到样本的组合的情况下，均会产生对于该组合的外观检查的精度降低(最糟的情况下，甚至无法检查)这一问题。由此，为了提高外观检查的精度，优选在缺陷的类别及背景的类别的组合中全面收集样本。然而，如上所述，存在如上那样全面收集样本耗费成本的问题点。特别是，缺陷的类别及背景的类别越多，越可能存在产生概率非常低的缺陷的类别及背景的类别的特定的组合，由此，全面收集样本非常耗费成本。
[0018]需要说明的是，该问题点并不是基于拍摄图像实施产品的外观检查的情境所特有的问题。在针对能够表现出至少两个以上特征的规定种类的数据收集多种不同样本的所有情境中都可能产生。规定种类的数据是指上述图像数据、以及例如声音数据、数值数据、文本数据等通过传感器得到的测定数据等。收集能够表现出多个特征的规定种类的数据的样本情境是指，基于上述拍摄图像实施产品的外观检查的情境、以及例如基于呈现器官的医疗图像推测患者的状态的情境、推测与出现于拍摄图像的移动体相关的属性的情境、基于通过车辆所具备的传感器得到的测定数据推测车辆的驾驶状态的情境、以及基于通过观测机器的状态的传感器得到测定数据推测机器的状态的情境等。移动体例如为行人、车辆等。与移动体相关的属性是指例如移动体的移动状态(例如，速度、路径等)、移动体的密集程度
(例如，拥塞度等)。
[0019]作为具体例，专利文献3中提出了，通过两个推测器从医疗图像中检测病变区域。专利文献4中提出了，利用完成训练的神经网络根据该拍摄图像推测出现于拍摄图像的人物的密度分布及移动矢量的分布。专利文献5中提出了，基于在驾驶员驾驶车辆期间所测定的加速度的测定数据来判定驾驶员的驾驶倾向。专利文献6中提出了，利用声音及振动的至少一方的测定数据来判断设备故障的预兆的方法。
[0020]即使在这些情境下，在存在未得到样本的特征的类别的组合的情况下，也会产生各自的推测的精度降低的问题。由此，为了提高推测的精度，优选针对各特征的类别的组合全面收集样本。然而，这会产生为了全面收集样本而耗费成本的问题点。
[0021]一种方案中，本专利技术是鉴于这样的实际情况而提出的，其目的在于提供用于减少针对能够表现至少两个以上特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种数据生成系统，具备：第一获取部，获取多个第一学习数据集，所述第一学习数据集分别由包括第一特征的第一样本及表示所述第一特征的类别的第一标签的组合构成，所述第一样本是规定种类的数据的第一样本；第二获取部，获取多个第二学习数据集，所述第二学习数据集由分别由包括与所述第一特征不同的第二特征的第二样本及表示所述第二特征的类别的第二标签的组合构成，所述第二样本是所述规定种类的数据的第二样本；第一训练部，使用获取的所述多个第一学习数据集，实施包括第一生成器的第一学习模型的机器学习，实施所述第一学习模型的机器学习包括：针对各所述第一学习数据集训练所述第一生成器，以使通过所述第一生成器由所述第一标签生成的伪样本与所述第一样本匹配；第二训练部，使用获取的所述多个第二学习数据集，实施包括第二生成器的第二学习模型的机器学习，实施所述第二学习模型的机器学习包括：针对各所述第二学习数据集训练所述第二生成器，以使通过所述第二生成器由所述第二标签生成的伪样本与所述第二样本匹配；第一生成部，通过将与所述第一标签对应的第一输入值提供给完成训练的所述第一生成器来生成包括所述第一特征的第一伪样本；第二生成部，通过将与所述第二标签对应的第二输入值提供给完成训练的所述第二生成器来生成包括所述第二特征的第二伪样本；及数据合成部，通过向生成的所述第一伪样本合成生成的所述第二伪样本，来生成所述规定种类的数据的新样本。2.根据权利要求1所述的数据生成系统，其中，所述规定种类的数据包括第一分量及与所述第一分量不同的第二分量，所述第二分量成为规定的推测的对象，所述第一特征与所述第一分量相关，所述第二特征与所述第二分量相关。3.根据权利要求1或2所述的数据生成系统，其中，所述第一学习模型还包括第一识别器，通过交替反复执行下述步骤而构成训练所述第一生成器：训练所述第一识别器，以识别输入所述第一识别器的输入样本是由所述多个第一学习数据集中的任意一个得到的所述第一样本还是通过所述第一生成器生成的伪样本；及训练所述第一生成器，以生成如降低所述第一识别器的所述识别的性能这样的伪样本。4.根据权利要求1～3中任一项所述的数据生成系统，其中，所述第二学习模型还包括第二识别器，通过交替反复执行下述步骤而构成训练所述第二生成器：训练所述第二识别器，以识别输入所述第二识别器的输入样本是由所述多个第二学习数据集中的任意一个得到的所述第二样本还是通过所述第二生成器生成的伪样本；及训练所述第二生成器，以生成如降低所述第二识别器的所述识别的性能这样的伪样
本。5.根据权利要求1～4中任一项所述的数据生成系统，其中，还包括：第三获取部，获取分别由所述第二特征的属性的样本值、表示反映所述第二特征的程度的反映水平、及所述第二标签的组合构成的多个第三学习数据集；及第三训练部，使用获取的所述多个第三学习数据集，实施包括第三生成器的第三学习模型的机器学习，实施所述第三学习模型的机器学习包括：针对各所述第三学习数据集训练所述第三生成器，以使通过所述第三生成器由所述反映水平及所述第二标签生成的所述第二特征的属性的伪值与所述样本值匹配，所述合成包括：通过将与所述第二标签对应的第二输入值以及与所述反映水平对应的第三输入值提供给完成训练的所述第三生成器，来生成所述第二特征的属性的伪值；及转换所述第二伪样本以使所述第二伪样本中所含的所述第二特征的属性的值与生成的所述伪值匹配，并且向所述第一伪样本合成所述第二伪样本。6.根据权利要求1所述的数据生成系统，其中，还具备：第三获取部，获取分别由所述第二特征的属性的样本值、表示反映所述第二特征的程度的反映水平、及所述第二标签的组合构成的多个第三学习数据集；及第三训练部，使用获取的所述多个第三学习数据集，实施包括第三生成器的第三学习模型的机器学习，实施所述第三学习模型的机器学习包括：针对各所述第三学习数据集训练所述第三生成器，以使通过所述第三生成器由所述反映水平及所述第二标签生成的所述第二特征的属性的伪值与所述样本值匹配，所述规定种类的数据包括第一分量及与所述第一分量不同的第二分量，所述第二分量成为规定的推测的对象，所述第一特征与所述第一分量相关，所述第二特征与所述第二分量相关，所述规定的推测是指检测所述第二分量，所述合成包括：通过将与所述第二标签对应的第二输入值、以及与所述反映水平对应的第三输入值、即根据所述检测的极限所提供的第三输入值提供给完成训练的所述第三生成器，来生成所述第二特征的属性的伪值；及转换所述第二伪样本以使所述第二伪样本中所含的所述第二特征的属性的值与生成的所述伪值匹配，并且向所述第一伪样本合成所述第二伪样本。7.根据权利要求5或6所述的数据生成系统，其中，所述第三学习模型还包括第三识别器，通过交替反复执行下述步骤而构成训练所述第三生成器：训练所述第三识别器，以识别输入所述第三识别器的输入值是由所述多个第三学习数据集中的任意一个得到的所述样本值还是通过所述第三生成器生成的伪值；及训练所述第三生成器，以生成如降低所述第三识别器的所述识别的性能这样的所述第二特征的属性的伪值。8.根据权利要求5～7中任一项所述的数据生成系统，其中，
各所述第三学习数据集还具备所述第一标签，实施所述第三学习模型的机器学习包括：训练所述第三生成器，以使通过所述第三生成器由所述反映水平、所述第二标签及所述第一标签生成的所述第二特征的属性的伪值与所述样本值匹配。9.根据权利要求5～8中任一项所述的数据生成系统，其中，所述反映水平由连续值构成。10.根据权利要求1～9中任一项所述的数据生成系统，其中，获取所述多个第二学习数据集包括下述步骤：获取分别包括所述第一特征及所述第二特征的多个第三样本，所述第三样本是所述规定种类的数据的第三样本；通过向推测器提供各所述第三样本来推测为了生成与各所述第三样本对应的伪样本而提供给完成训练的所述第一生成器的输入的推测值，所述推测器被训练以在由通过完成训练的所述第一生成器生成的伪样本来生成该伪样本时推测提供给所述第一生成器的输入；通过将推测出的所述推测值提供给完成训练的所述第一生成器，来为每个所述第三样本生成第三伪样本；以及通过从各所述第三样本减去所述第三伪样本，来生成各所述第二学习数据集的所述第二样本。11.根据...

【专利技术属性】
技术研发人员：冈本大和，米谷竜，中田雅博，宫田佳昭，
申请(专利权)人：欧姆龙株式会社，
类型：发明
国别省市：