信息处理装置、信息处理方法以及计算机可读的存储介质制造方法及图纸

本发明专利技术提供信息处理装置、信息处理方法以及计算机可读的存储介质。信息处理装置，使用多个算法，以缩小针对规定的问题设定的第一损失函数的值的方式分别进行规定的学习模型的机器学习；根据机器学习，针对每个算法计算表示第一损失函数的全局形状的第一形状信息和学习模型的性能；使用多个算法中的至少任意一个，由学习部执行使针对新问题设定的第二损失函数的值变小这样的机器学习，获取表示由计算部算出的第二损失函数的全局形状的第二形状信息；通过将第一形状信息和学习模型的性能作为学习数据的监督学习，根据第二形状信息，生成针对多个算法分别预测以减小第二损失函数的值的方式执行学习模型的机器学习时的学习模型的性能的预测模型。模型的性能的预测模型。模型的性能的预测模型。

【技术实现步骤摘要】
信息处理装置、信息处理方法以及计算机可读的存储介质
[0001]本申请是国际申请日为2020年9月25日、国际申请号为PCT/JP2020/036328、专利技术名称为“解析装置、解析方法以及解析程序”的PCT申请的进入国家阶段日为2021年4月13日、申请号为2020800056759的中国国家阶段申请的分案申请，其全部内容结合于此以作为参考。


[0002]本专利技术涉及信息处理装置、信息处理方法以及计算机可读的存储介质。

技术介绍

[0003]近年来，不断尝试在各种问题中应用所谓的人工智能。例如，在下述专利文献1中，记载了以用于解决各种现实情况中的问题为目的的模型选择装置。
[0004]在先技术文献
[0005]专利文献
[0006]专利文献1：日本特开2019
‑
220063号公报

技术实现思路

[0007]专利技术所要解决的技术问题
[0008]但是，用于进行学习模型的学习处理的算法已知有多种，如果不根据问题适当地选择学习处理的算法，则有时无法充分地发挥学习模型的性能。通常是根据设定学习模型的人的经验对规定的问题使用规定的算法，不存在进行所选择的算法是否适当的性能评价的方法。
[0009]因此，本专利技术提供预测以多个算法进行了学习处理时的学习模型的性能的解析装置、解析方法以及解析程序。
[0010]用于解决课题的技术方案
[0011]本专利技术的一方式涉及的解析装置具备：学习部，使用多个算法，以缩小针对规定的问题设定的第一损失函数的值的方式分别进行规定的学习模型的机器学习；计算部，根据所述机器学习，针对每个算法计算表示第一损失函数的全局形状的第一形状信息和学习模型的性能；获取部，使用多个算法中的至少任意一个由学习部执行使针对新问题设定的第二损失函数的值变小这样的机器学习，获取表示由计算部算出的第二损失函数的全局形状的第二形状信息；以及预测部，使用通过将第一形状信息和学习模型的性能作为学习数据的监督学习而生成的预测模型，根据第二形状信息，针对多个算法分别预测以减小第二损失函数的值的方式执行学习模型的机器学习时的学习模型的性能。
[0012]根据本方式，可以通过使用多个算法中的至少一个算法执行学习模型的机器学习，从而预测使用其他算法执行学习模型的机器学习时得到的学习模型的性能。
[0013]根据本专利技术，能够提供预测利用多个算法进行了学习处理时的学习模型的性能的解析装置、解析方法以及解析程序。
Adversarial Networks：生成对抗网络)、WaveNet、BERT(Bidirectional Encoder Representations from Transformers：)、Word2Vec、随机森林、支持向量机、逻辑回归、梯度提升决策树以及主成分分析等中的任意一个，包括其他可应用于学习的模型。
[0034]另外，学习模型包含对已有的已学习模型进行剪枝(Pruning)、量化(Quantization)、蒸馏(Distillation)或者转移(Transfer)而得到的模型。此外，这些只不过是一例，学习部11也可以针对这些以外的问题进行学习模型的机器学习。
[0035]另外，多个算法是进行学习模型12a的机器学习的算法，在学习模型12a包含神经网络的情况下，可以是通过误差反向传播法对神经网络的参数进行更新、优化的算法。多个算法包括随机梯度下降法(stochastic gradient descent：SGD)、动量SGD、AdaGrad、RMSProp、AdaDelta以及ADAM等。另外，多个算法包括通过量子门方式或量子退火方式的量子计算机更新学习模型12a的参数的算法。例如，在通过由多个弱学习器组合而成的一个强学习器构成学习模型12a的情况下，可以使用Hartmut Neven,Vasil S.Denchev,Geordie Rose,William G.Macready,"QBoost:Large Scale Classifier Trainingwith Adiabatic Quantum Optimization”,Proceedings of the Asian Conference on Machine Learning,PMLR 25:333
‑
348,2012.中记载的算法。另外，也可以使用Jacob Biamonte,Peter Wittek,Nicola Pancotti,Patrick Rebentrost,Nathan Wiebe and Seth Lloyd,“Quantum Machine Learning”,Nature volume 549,pages 195
‑
202,2017.中记载的算法。另外，多个算法包括XGBoost、LightGBM、装袋(bagging)(并行学习的算法)、提升(将之前的弱学习器的学习结果反映到下一个学习数据中的算法)以及堆叠(在两个阶段中积累学习的算法)。另外，多个算法包括下述参考文献1中记载的“自适应批量搜索”的算法。
[0036](参考文献1)：“GPU
の
計算能力
を
最大限活用
する
組合
せ
最適化問題
の
新解法～1兆探索/秒
を
超
えるアダプティブ
·
バルク
·
サーチ
(最大限度有效利用GPU的计算能力的组合优化问题的新解法～超过1兆搜索/秒的自适应批量搜索)”、[online]、[2020年8月25日检索]、<https://www.hiroshima
‑
u.ac.jp/news/59579>
[0037]此外，这些只不过是一例，多个算法也可以包含这些以外的算法。另外，量子计算机可以是由超导线路构成量子位元的计算机、由离子阱构成量子位元的计算机、由量子点构成量子位元的计算机、或者由光路构成量子位元的计算机，硬件构成是任意的。进而，多个算法也可以包含通过量子计算机和古典计算机的混合型计算机更新学习模型12a的参数的算法。
[0038]计算部12根据机器学习，针对每个算法计算表示第一损失函数的全局形状的第一形状信息和学习模型12a的性能。
[0039]针对规定的问题所设定的第一损失函数可以是与学习模型12a的输出和标签数据相关的平方误差函数、或者交叉熵函数。在将学习模型12a所包含的多个参数表示为θ时，第一损失函数表示为与多个参数θ相关的函数L(θ)。在本说明书中，将函数L(θ)的值称为表示第一损失函数的全局形状的第一形状信息。例如，计算部12根据学习模型12a的机器学习，记录相对于参数θ的函数L(θ)的值，并计算表示第一损失函数的全局形状的第一形状信息L(θ)。
[0040]另外，学习模型12a的性能例如可以用F值表示、或者用F值/(学习处理的计算时间)表示、或者本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种信息处理装置，其具备：学习部，使用多个算法，以缩小针对规定的问题设定的第一损失函数的值的方式分别进行规定的学习模型的机器学习；计算部，根据所述机器学习，针对每个算法计算表示所述第一损失函数的全局形状的第一形状信息和所述学习模型的性能；获取部，使用所述多个算法中的至少任意一个，由所述学习部执行使针对新问题设定的第二损失函数的值变小这样的机器学习，获取表示由所述计算部算出的所述第二损失函数的全局形状的第二形状信息；以及生成部，通过将所述第一形状信息和所述学习模型的性能作为学习数据的监督学习，根据所述第二形状信息，生成针对所述多个算法分别预测以减小所述第二损失函数的值的方式执行所述学习模型的机器学习时的所述学习模型的性能的预测模型。2.一种信息处理方法，通过信息处理装置所具备的处理器执行下述步骤：使用多个算法，以缩小针对规定的问题设定的第一损失函数的值的方式分别进行规定的学习模型的机器学习；根据所述机器学习，针对每个算法计算表示所述第一损失函数的全局形状的第一形状信息和所述学习模型的性能；使用所述多个算法中的至少任意一个执行使针对新问...

【专利技术属性】
技术研发人员：洼田望，
申请(专利权)人：洼田望，
类型：发明
国别省市：