信息处理方法以及信息处理装置制造方法及图纸

本发明专利技术提供一种信息处理方法以及信息处理装置，能够对规定的数据集确定适当的分布式实例数或超参数的新结构。信息处理方法通过信息处理装置执行，该信息处理装置具有存储规定的学习模型的存储装置和处理器，其中，处理器执行如下处理：针对一个或多个数据集，以并行学习的实例数及超参数被任意变更后而得的各个组合，使用规定的学习模型使其他的各信息处理装置进行机器学习；从其他的各信息处理装置获取与各个组合对应的学习性能；使用包含各个组合和与各个组合对应的学习性能的学习数据进行监督学习；以及通过监督学习生成按实例数及超参数的组合预测学习性能的预测模型。及超参数的组合预测学习性能的预测模型。及超参数的组合预测学习性能的预测模型。

【技术实现步骤摘要】
信息处理方法以及信息处理装置


[0001]本专利技术涉及用于执行机器学习中的分布式学习的信息处理方法、信息处理装置以及程序。

技术介绍

[0002]近年来，不断尝试在各种问题中应用所谓的人工智能。例如，下述专利文献1中记载了以用于解决各种现实情况中的问题为目的的模型选择装置。
[0003]现有技术文献
[0004]专利文献
[0005]专利文献1：日本特开2019
‑
220063号公报

技术实现思路

[0006]专利技术所要解决的技术问题
[0007]在此，在进行机器学习时，为了减少处理时间，例如可以分布式地并行处理任务。由此，通过使机器学习负载分布，可以更快地输出预测结果。
[0008]但是，在将机器学习分布式地进行学习的分布式学习中，在进行分布式学习时，需要调整超参数。此时，通过专利技术人的实验得知，即使进行分布式学习，即便仅是超参数的调整不同，预测结果也会大幅变化。例如，即使仅改变作为超参数之一的权重衰减(weight decay)的设定，精度或稳健性也会改变。
[0009]因此，本专利技术提供一种能够对规定的数据集确定适当的分布式实例数或超参数的新结构。
[0010]用于解决问题的技术方案
[0011]本专利技术的一方式涉及的信息处理方法通过信息处理装置执行，所述信息处理装置具有存储规定的学习模型的存储装置和处理器，其中，所述处理器执行如下处理：针对一个或多个数据集，以并行学习的实例数及超参数被任意变更后而得的各个组合，使用所述规定的学习模型使其他的各信息处理装置进行机器学习；从所述各信息处理装置获取与所述各个组合对应的学习性能；使用包含所述各个组合和与所述各个组合对应的学习性能的学习数据进行监督学习；以及通过所述监督学习生成按实例数及超参数的组合预测学习性能的预测模型。
[0012]专利技术效果
[0013]根据本专利技术，可以提供一种能够对规定的数据集确定适当的分布式实例数或超参数的新结构。
附图说明
[0014]图1是表示实施方式涉及的系统构成的一例的图。
[0015]图2是表示实施方式涉及的信息处理装置的物理构成的一例的图。
[0016]图3是表示实施方式涉及的服务器装置的处理块的一例的图。
[0017]图4是表示实施方式涉及的信息处理装置的处理块的一例的图。
[0018]图5是表示实施方式涉及的关系信息的一例的图。
[0019]图6是表示实施方式涉及的关系信息的显示例的图。
[0020]图7是表示实施方式涉及的服务器及各信息处理装置的处理例的顺序图。
[0021]图8是表示实施方式涉及的与服务器的关系信息的利用相关的处理例的流程图。
具体实施方式
[0022]参照附图，对本专利技术的实施方式进行说明。需要说明的是，在各图中，标注了相同附图标记的部件具有相同或等同的构成。
[0023]＜系统构成＞
[0024]图1是表示实施方式涉及的系统构成的一例的图。在图1所示的例子中，服务器10与各信息处理装置20A、20B、20C、20D以能够经由网络进行数据收发的方式连接。在不单独区分信息处理装置的情况下，也表述为信息处理装置20。
[0025]服务器10是能够收集、分析数据的信息处理装置，也可以由一个或多个信息处理装置构成。信息处理装置20是智能手机、个人计算机、平板终端、服务器、车联网(connected car)等能够执行机器学习的信息处理装置。此外，信息处理装置20也可以是与感测脑电波的侵入式或非侵入式的电极直接或间接地连接，且能够分析、收发脑电波数据的装置。
[0026]在图1所示的系统中，服务器10控制针对规定的机器学习的分布式学习。例如，在进行规定的机器学习时，服务器10进行将小批量分布于多个信息处理装置的数据并行、或者将一个模型分布于多个信息处理装置的模型并行的任意一个而使其分布。
[0027]在此，在分布式学习的情况下，以往由工程师进行超参数调整或分布式实例数的决定，若不进行实验则不知道结果如何。即使花费时间进行分布式学习，在结果不好的情况下，在调整超参数或变更分布式实例数之后再次进行实验，效率不高。
[0028]因此，服务器10事先对任意的数据集进行分布式学习，将从各信息处理装置20获得的学习性能或学习时间(各学习时间的最大值等)标注于学习时的分布式实例数和/或超参数的组。接着，服务器10进行形成为包含分布式实例数和/或超参数的组和学习性能和/或学习时间的学习数据的监督学习。该监督学习的结果是针对规定的数据集生成预测模型，该预测模型按分布式实例数和/或超参数的组预测学习性能或学习时间。
[0029]由此，在分布式学习时，不再需要由工程师进行实验来调整超参数或分布式实例数，能够针对规定的数据集而确定与所希望的学习性能或学习时间对应的分布式实例数和/或超参数。以下，对本实施方式的各装置的构成进行说明。
[0030]＜硬件构成＞
[0031]图2是表示实施方式涉及的信息处理装置10的物理构成的一例的图。信息处理装置10具有相当于运算部的CPU(Central Processing Unit：中央处理器)10a、相当于存储部的RAM(Random Access Memory：随机存取存储器)10b、相当于存储部的ROM(Read only Memory：只读存储器)10c、通信部10d、输入部10e以及显示部10f。这些各构成通过总线以能够相互进行数据收发的方式连接。
[0032]在本实施方式中，对信息处理装置10由一台计算机构成的情况进行说明，但信息
处理装置10也可以将多台计算机或多个运算部组合而实现。另外，图1所示的构成是一例，信息处理装置10既可以具有这些以外的构成，也可以不具有这些构成中的一部分。
[0033]CPUl0a是处理器的一例，且是进行与存储于RAM10b或ROM10c的程序的执行相关的控制或数据的运算、加工的控制部。CPU10a例如是执行使用规定的学习模型进行学习的程序(学习程序)的运算部。CPU10a从输入部10e或通信部10d接收各种数据，并将数据的运算结果显示于显示部10f、或者储存至RAM10b。
[0034]RAM10b是存储部中能够改写数据的部分，例如可以由半导体存储元件构成。RAM10b也可以存储CPU10a执行的程序、各学习模型(预测模型、分布式学习用的学习模型等)、与各学习模型的参数相关的数据、与学习对象数据的特征量相关的数据等。此外，这些是例示，RAM10b中也可以存储这些以外的数据，还可以不存储这些中的一部分。
[0035]ROM10c是存储部中能够读出数据的部分，例如可以由半导体存储元件构成。ROM10c例如可以存储学习程序或不进行改写的数据。
[0036]通信部10d是将信息处理装置10与其他的设备连接的接口。通信部10d可以与因特网等的通信网络连接。
[0037]输入部10e从用户受理数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种信息处理方法，通过信息处理装置执行，所述信息处理装置具有存储规定的学习模型的存储装置和处理器，其特征在于，所述处理器执行如下处理：针对一个或多个数据集，以并行学习的实例数及超参数被任意变更后而得的各个组合，使用所述规定的学习模型使其他的各信息处理装置进行机器学习；从所述各信息处理装置获取与所述各个组合对应的学习性能；使用包含所述各个组合和与所述各个组合对应的学习性能的学习数据进行监督学习；以及通过所述监督学习生成按实例数及超参数的组合预测学习性能的预测模型。2.根据权利要求1所述的信息处理方法，其特征在于，所述处理器执行如下处理：将规定的数据集输入所述预测模型，并按所述组合预测执行了所述规定的学习模型的机器学习时的学习性能。3.根据权利要求1所述的信息处理方法，其特征在于，所述获取包括与所述学习性能一起获取学习时间，所述进行监督学习包括使用包含所述各个组合和与所述各个组合对应的学习性能及学习时间的学习数据进行监督学习，生成所述预测模型包括通过所述监督学习生成按实例数及超参数的组合预测学习性能及学习时间的预测模型。4.根据权利要求3所述的信息处理方法，其特征在于，所述处理器包括：将规定的数据集输入所述预测模型，并针对所述各个组合，预测执行了所述规定的学习模型的机器学习时的学习性能及学习时间。5.根据权利要求3所述的信息处理方法，其特征在于，所述处理器执行如下处理：将所述学习性能设为第一变量、将所述学习时间设为第二变量，生成使所述第一变量及所述第二变量与所述实例数及所述...

【专利技术属性】
技术研发人员：洼田望，
申请(专利权)人：洼田望，
类型：发明
国别省市：