模型生成装置、推断装置、模型生成方法及模型生成程序制造方法及图纸

本发明专利技术的一方面涉及的模型生成装置执行第一训练步骤以及第二训练步骤，在第一训练步骤中，对编码器、第一推断器以及第二推断器进行训练，以使关于各学习数据集，在将训练数据提供给编码器时，完成第一推断器的第一推断任务的结果符合第一正解数据，且完成第二推断器的第二推断任务的结果符合第二正解数据，在第二训练步骤中，对编码器进行训练，以使关于各学习数据集，特征量的第一部分与第二正解数据之间的相关性变低，且特征量的第二部分与第一正解数据之间的相关性变低。正解数据之间的相关性变低。正解数据之间的相关性变低。

【技术实现步骤摘要】
【国外来华专利技术】模型生成装置、推断装置、模型生成方法及模型生成程序


[0001]本专利技术涉及模型生成装置、推断装置、模型生成方法以及模型生成程序。

技术介绍

[0002]近年来盛行用于自主地驾驶车辆的自动驾驶的技术开发。例如，在专利文献1中提议了一种系统，该系统用于使用训练完毕的神经网络，针对自动驾驶车辆在局部坐标内建立目的地，并确定自动驾驶车辆的加速、制动以及转向以使其沿着所建立的路线导航。
[0003]现有技术文献
[0004]专利文献
[0005]专利文献1：日本特表2019
‑
533810号公报
[0006]专利文献2：日本特开2019
‑
125299号公报
[0007]专利文献3：日本特开2012
‑
026982号公报
[0008]专利文献4：日本特开2009
‑
083095号公报

技术实现思路

[0009]专利技术要解决的技术问题
[0010]根据通过机器学习构建的训练完毕的机器学习模型，能够对与给定的训练数据同类的未知数据完成回归、分类等推断(包括预测)任务。因此，能够基于训练完毕的机器学习模型的输出确定自动驾驶的策略。然而，本申请专利技术人发现，使用训练完毕的机器学习模型的自动驾驶的技术存在如下的问题点。
[0011]即，机器学习模型具备多个运算参数，该运算参数用于进行完成推断任务的运算处理。例如，在使用神经网络作为机器学习模型的情况下，各神经元间的结合的权重以及各神经元的阈值是运算参数的一例。推断任务越复杂，该运算参数的数量越多，且各维度的元素复杂地联系，因而难以读懂各运算参数的运算内容。另外，各运算参数的值通过机器学习被调节为获得完成希望的推断任务的能力。存在许多发挥同程度性能的局部解，由于初始值的偶然性等因素，各运算参数的值达到任意一个局部解。此时，根据所达到的局部解，各运算参数的值不同。因此，即使训练具有相同结构以获得完成相同推论任务的能力的机器学习模型，各机器学习的相同的运算参数的运算内容也未必相同。
[0012]作为一例，由于这些因素，机器学习模型难以分析得到其结论的理由。换言之，训练完毕的机器学习模型的运算内容的说明性极低。因此，当基于机器学习模型的运算结果的自动驾驶产生误动作时，难以解析机器学习模型的运算内容并查明其误动作的原因。
[0013]因机器学习模型的运算内容的说明性低而产生的问题点不限于此。进而，因机器学习模型的运算内容的说明性低而产生某些问题点并不限于在自动驾驶的场景中使用训练完毕的机器学习时。
[0014]作为另一例，在专利文献2中提议了一种用于使用训练完毕的决策树进行求职者与企业间的匹配的系统。在如此的系统中，由于训练完毕的机器学习模型的说明性低，并且
不能有意地介入其运算内容，存在进行无法预料的评估(例如，形成由于性别而评估变得不利等的不希望的判定基准)的可能性。另外，作为另一例，在专利文献3中提议了一种用于使用训练完毕的神经网络进行对象物的缺陷检查的系统。在如此的系统中，若机器学习模型的说明性低，则难以查明搞错缺陷检查的原因。进而，由于在特定的环境(例如，产品的类别、亮度的条件等)下得到的信息对推断任务的完成造成影响，所以在不同的环境中，训练完毕的机器学习模型的缺陷检查精度存在下降的可能性。由于训练完毕的机器学习模型的说明性低，并且不能有意地介入其运算内容，难以抑制由在如此的特定的环境下得到的信息引起的精度下降。另外，作为另一例，在专利文献4中提议了一种用于使用训练完毕的神经网络控制机器人装置的动作的系统。在如此的系统中，若机器学习模型的说明性低，则难以查明机器人装置的误动作的原因。
[0015]因而，如上述各例，在为了完成推断任务而使用训练完毕的机器学习模型的各种场景中，存在由于机器学习模型的运算内容的说明性低而产生与其推断任务有关的某些不良情况的可能性。
[0016]在一方面中，本专利技术正是鉴于如此的情况所做出的，其目的在于，提供用于生成运算内容的说明性较高的训练完毕的机器学习模型的技术。
[0017]用于解决技术问题的技术方案
[0018]本专利技术为了解决上述技术问题，采用以下的构成。
[0019]即，本专利技术的一方面涉及的模型生成装置具备：数据获取部，获取分别通过训练数据、第一正解数据、第二正解数据的组合而构成的多个学习数据集，所述第一正解数据指示针对所述训练数据的第一推断任务的正解，所述第二正解数据指示针对所述训练数据的第二推断任务的正解，所述第二推断任务与所述第一推断任务不同；以及学习处理部，使用所述多个学习数据集实施学习模型的机器学习。所述学习模型包括编码器、第一推断器以及第二推断器。所述编码器构成为将被提供给所述编码器的输入数据转换为特征量。所述第一推断器构成为接收所述特征量的第一部分的输入，并基于输入的所述第一部分完成针对所述输入数据的所述第一推断任务。所述第二推断器构成为接收所述特征量的除所述第一部分以外的第二部分的输入，并基于输入的所述第二部分完成针对所述输入数据的所述第二推断任务。此外，实施所述机器学习包括：第一训练步骤，对所述编码器、所述第一推断器以及所述第二推断器进行训练，以使关于所述各学习数据集，当将所述训练数据提供给所述编码器时，完成所述第一推断器的所述第一推断任务的结果符合所述第一正解数据，且完成所述第二推断器的所述第二推断任务的结果符合所述第二正解数据；以及第二训练步骤，对所述编码器进行训练，以使关于所述各学习数据集，所述特征量的所述第一部分与所述第二正解数据之间的相关性变低，且所述特征量的所述第二部分与所述第一正解数据之间的相关性变低。
[0020]该构成涉及的模型生成装置中，通过两个训练步骤实施包括编码器、第一推断器以及第二推断器的学习模型的机器学习。在第一训练步骤中，第一推断器被进行训练以获得从通过编码器得到的特征量的第一部分完成第一推断任务的能力，第二推断器被进行训练以获得从特征量的第二部分完成第二推断任务的能力。根据该第一训练步骤，通过训练后的编码器得到的特征量的第一部分包括与第一推断任务关联的信息，特征量的第二部分包括与第二推断任务关联的信息。另一方面，在第二训练步骤中，编码器被进行训练，以使
特征量的第一部分与第一正解数据之间的相关性以及特征量的第二部分与第二正解数据之间的相关性均变低。根据该第二训练步骤，通过训练后的编码器得到的特征量的第一部分不易包括与第二推断任务关联的信息，特征量的第二部分不易包括与第一推断任务关联的信息。
[0021]因而，通过第一训练步骤以及第二训练步骤，能够一面使通过编码器得到的特征量中包括与各推断任务相关联的信息，一面在该特征量的第一部分与第二部分之间提高信息的排他性。由此，能够提高通过训练后的编码器得到的特征量的第一部分以及第二部分的说明性。即，能够保证通过训练后的编码器得到的特征量的第一部分包括与第一推断任务关联性高而与第二推断任务关联性低的信息，并且特征量的第二部分包括与第一推断任务关联性低而与第二推本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种模型生成装置，具备：数据获取部，获取分别通过训练数据、第一正解数据、第二正解数据的组合而构成的多个学习数据集，所述第一正解数据指示针对所述训练数据的第一推断任务的正解，所述第二正解数据指示针对所述训练数据的第二推断任务的正解，所述第二推断任务与所述第一推断任务不同；以及学习处理部，使用所述多个学习数据集实施学习模型的机器学习，所述学习模型包括编码器、第一推断器以及第二推断器，所述编码器构成为将被提供给所述编码器的输入数据转换为特征量，所述第一推断器构成为接收所述特征量的第一部分的输入，并基于输入的所述第一部分完成针对所述输入数据的所述第一推断任务，所述第二推断器构成为接收所述特征量的除所述第一部分以外的第二部分的输入，并基于输入的所述第二部分完成针对所述输入数据的所述第二推断任务，实施所述机器学习包括：第一训练步骤，对所述编码器、所述第一推断器以及所述第二推断器进行训练，以使关于所述各学习数据集，当将所述训练数据提供给所述编码器时，完成所述第一推断器的所述第一推断任务的结果符合所述第一正解数据，且完成所述第二推断器的所述第二推断任务的结果符合所述第二正解数据；以及第二训练步骤，对所述编码器进行训练，以使关于所述各学习数据集，所述特征量的所述第一部分与所述第二正解数据之间的相关性变低，且所述特征量的所述第二部分与所述第一正解数据之间的相关性变低。2.根据权利要求1所述的模型生成装置，其中，所述学习模型还具备掩码生成器，所述掩码生成器构成为从所述编码器的输出生成掩码，实施所述机器学习还包括第三训练步骤，在所述第三训练步骤中，对所述掩码生成器进行训练，以使关于所述各学习数据集，当将所述训练数据提供给所述编码器时，完成所述第一推断器的所述第一推断任务的结果符合所述第一正解数据，所述第一部分是通过将生成的所述掩码应用于所述特征量而被提取的。3.根据权利要求2所述的模型生成装置，其中，所述第三训练步骤与所述第一训练步骤以及所述第二训练步骤中的至少任一者同时执行。4.根据权利要求2或3所述的模型生成装置，其中，实施所述机器学习还包括第四训练步骤，在所述第四训练步骤中，对所述掩码生成器进行训练以推进生成的所述掩码的各元素的二值化。5.根据权利要求1至4中任一项所述的模型生成装置，其中，所述学习模型还包括第一对抗推断器以及第二对抗推断器，所述第一对抗推断器构成为接收所述特征量的所述第一部分的输入，并基于输入的所述第一部分完成针对所述输入数据的所述第二推断任务，所述第二对抗推断器构成为接收所述特征量的所述第二部分的输入，并基于输入的所述第二部分完成针对所述输入数据的所述第一推断任务，
所述第二训练步骤通过交替地反复执行第一步骤及第二步骤而构成，在所述第一步骤中，对所述第一对抗推断器及所述第二对抗推断器进行训练，以使关于所述各学习数据集，当将所述训练数据提供给所述编码器时，完成所述第一对抗推断器的所述第二推断任务的结果符合所述第二正解数据，且完成所述第二对抗推断器的所述第一推断任务的结果符合所述第一正解数据，在所述第二步骤中，对所述编码器进行训练，以使关于所述各学习数据集，当将所述训练数据提供给所述编码器时，完成所述第一对抗推断器的所述第二推断任务的结果不符合所述第二正解数据，且完成所述第二对抗推断器的所述第一推断任务的结果不符合所述第一正解数据。6.根据权利要求1至5中任一项所述的模型生成装置，其中，所述学习模型还包括解码器，所述解码器构成为从所述特征量解码所述输入数据，实施所述机器学习还包括第五训练步骤，在所述第五训练步骤中，对所述编码器及所述解码器进行训练，以使关于所述各学习数据集，当将所述训练数据提供给所述编码器时，通过所述解码器得到的解码数据符合所述训练数据。7.根据权利要求6所述的模型生成装置，其中，所述第五训练步骤与所述第一训练步骤以及所述第二训练步骤中的至少任一者同时执行。8.根据权利要求1至7中任一项所述的模型生成装置，其中，所述第二推断任务是推断所述训练数据的个体性。9.根据权利要求8所述的模型生成装置，其中，所述第二正解数据构成为指示所述训练数据的标识符，推断所述训练数据的个体性是识别所述标识符。10.根据权利要求9所述的模型生成装置，其中，所述标识符通过哈希值构成。11.根据权利要求9所述的模型生成装置，其中，所述各学习数据集的所述训练数据被分类，所述标识符构成为指示所述训练数据所属的类。12.根据权利要求1至11中任一项所述的模型生成装置，其中，所述各学习数据集还具备高阶正解数据，所述高阶正解数据指示针对所述训练数据的高阶推断任务的正解，所述学习模型还包括高阶推断器，所述高阶推断器构成为接收所述特征量的所述第一部分以及所述第二部分的输入，并基于输入的所述第一部分以及所述第二部分完成针对所述输入数据的所述高阶推断任务，实施所述机器学习还包括高阶训练步骤，在所述高阶训练步骤中，对所述高阶推断器进...

【专利技术属性】
技术研发人员：桥本敦史，冈本大和，
申请(专利权)人：欧姆龙株式会社，
类型：发明
国别省市：