基于数据序列的预测模型双向学习的学习装置和方法制造方法及图纸

为了基于数据序列准确地学习预测模型，提供了一种方法，包括基于用于通过从排列有包括多个输入值的多条输入数据的第一输入数据序列依次输入每条输入数据来执行学习处理的第一模型，通过以与第一模型中的顺序不同的顺序从排列有包括多个输入值的多条输入数据的第二输入数据序列输入每条输入数据来生成用于学习包括在所述第一模型中的第一学习目标参数的第二模型；使用所述第一模型和所述第二模型来执行学习处理；以及输出已被学习的所述第一模型。还提供了一种计算机程序产品和装置。

Two-way Learning Device and Method for Prediction Model Based on Data Sequence

【技术实现步骤摘要】
【国外来华专利技术】基于数据序列的预测模型双向学习的学习装置和方法
本专利技术涉及一种用于基于数据序列的预测模型的双向学习的学习装置和方法。
技术介绍
传统上，已知可应用于时间序列数据的神经网络、玻尔兹曼机器等。此外，已知一种动态玻尔兹曼机器，其可以通过机器学习来学习与时间序列中的数据输入相对应的模型。期望通过基于数据序列准确地学习预测模型来使这种玻尔兹曼机器等具有改善的表达能力，学习能力等，以便应用于诸如运动图像、语言、信号波形和音乐的各种领域。
技术实现思路
根据本专利技术的第一方面，提供了一种方法，包括：基于用于通过从排列有包括多个输入值的多条输入数据的第一输入数据序列顺序输入每条输入数据来执行学习处理的第一模型，通过以与第一模型中的顺序不同的顺序从排列有包括多个输入值的多条输入数据的第二输入数据序列输入每条输入数据来生成用于学习包括在所述第一模型中的第一学习目标参数的第二模型；使用所述第一模型和所述第二模型来执行学习处理；以及输出已被学习的所述第一模型。还提供了一种计算机程序产品和设备。所述第一方面使用第一模型和第二模型以不同的顺序输入所述输入数据，因此与仅在一个方向上学习的模型相比，可以被操作以提高学习能力。根据本专利技术的第二方面，提供了一种方法、计算机程序产品和装置，其中所述第一输入数据序列和第二输入数据序列是时序输入数据序列，所述第一模型按照从较旧的输入数据开始的顺序输入所述第一个输入数据序列，以及所述第二模型按照从较新的输入数据开始的顺序输入所述第二输入数据序列。所述第二方面可被操作用于提高对应于时间序列输入数据的模型的学习能力。根据本专利技术的第三方面，提供了一种方法、计算机程序产品和装置，其中所述第一学习目标参数可被操作用于通过使用所述第二模型学习而不是使用所述第一模型学习而以更高的准确度学习，并且所述第二学习目标参数可操作以通过使用所述第一模型学习而不是使用所述第二模型学习而以更高的准确度学习。所述第三方面可被操作用于通过学习所述第一模型和所述第二模型来学习所述第一学习目标参数和所述第二学习目标参数。根据本专利技术的第四方面，提供了一种方法、计算机程序产品和装置，其中所述第一模型包括在所述第一输入数据序列的每个时间点依次输入多个输入值的多个输入节点，以及在对应于所述多个输入节点的时间点之前的时间点的每个输入节点和每个输入值之间的权重参数，以及所述第二模型包括以反向顺序在所述第二输入数据序列的每个时间点处输入多个输入值的多个输入节点，以及在对应于所述多个输入节点的时间点之后的时间点的每个输入节点和每个输入值之间的权重参数。所述第四方面可操作用于提高玻尔兹曼机器的学习能力。根据本专利技术的第五方面，提供了一种方法，其中所述执行学习处理包括使用具有所述第一模型的所述学习处理，学习对应于与在所述第一模型中的所述多个输入节点对应的所述时间点之前的所述时间点的每个隐藏节点与每个输入值之间的所述权重参数；以及使用具有所述第二模型的所述学习处理，学习对应于与在所述第二模型中的所述多个输入节点对应的所述时间点之后的所述时间点的每个输入节点和多个隐藏节点的每个隐藏节点之间的所述权重参数。所述第五方面可操作用于提高玻尔兹曼机器的学习能力。
技术实现思路
不一定描述本专利技术实施例的所有必要特征。本专利技术还可以是上述特征的子组合。附图说明图1示出了根据本专利技术实施例的学习装置100的示例性配置；图2示出了根据本专利技术实施例的模型10的示例性配置；图3示出了根据本专利技术实施例的学习装置100的操作流程；图4示出了在本专利技术的实施例中用于学习的时间序列数据和训练数据的结构的示例；图5示出了根据本专利技术实施例的学习装置100的第一修改例；图6示出了根据本专利技术实施例的模型10的修改；图7示出了根据本专利技术实施例的更新参数γi,l的时间变化的示例；图8示出了根据本专利技术实施例的更新参数αi,j,k的时间变化的示例；图9示出了根据本专利技术实施例的第一模型的示例性示意配置；图10示出了根据本专利技术实施例的第二模型的示例性示意配置；图11示出了根据本专利技术实施例的学习装置100使用第一模型和第二模型的执行学习处理的操作流程；图12示出了根据本专利技术实施例的计算机的示例性硬件配置。具体实施方式在下文中，将描述本专利技术的一些实施例。本专利技术的实施例不限制根据权利要求的本专利技术，并且本专利技术的实施例中描述的特征的所有组合不一定是本专利技术必不可少的。图1示出了根据本专利技术的实施例的学习装置100的示例性配置。学习装置100可以是用于学习与时间序列输入数据相对应的模型10的设备。学习装置100可被操作用于通过向模型的节点提供时间序列数据来基于玻尔兹曼机器学习模型。学习装置100包括获取部分110、供应部分120、存储部分130、计算部分140和学习处理部分150。获取部分110可被操作来用于获取时间序列输入数据。时间序列输入数据可以是例如沿时间轴排列多条数据的数据序列，例如运动图像数据。获取部分110可以连接到由用户操作的设备或者检测和输出时间序列数据的设备(传感器)，并且可以从这样的设备获取时序输入数据。或者，获取部分110可以以预定格式读取和获取存储在存储设备中的时间序列输入数据。或者，获取部分110可以连接到网络并经由网络获取时间序列输入数据。获取部分110还可以将所获取的时间序列输入数据存储在包括在学习装置100中存储设备中。供应部分120可被操作用于将对应于时间序列输入数据中的一个时间点的输入数据的多个输入值提供给模型的多个节点。供应部分120连接到获取部分110，并且可以在接收的时序输入数据中的一个时间点处理输入数据作为训练数据，并且在该一个时间点将输入值提供给模型的相应节点。在一个时间点的输入数据可以是用于学习的训练数据集中时间上的中间数据。或者，在一个时间点的输入数据可以是用于学习的训练数据集中的时间上的中间数据。也就是说，可以从时间序列数据中任意选择一个时间点的输入数据。存储部分130可被操作用于存储与时间序列输入数据中的多个时间点相对应的模型的隐藏节点的值。存储部分130可以对与一个时间点相对应的隐藏节点的值进行采样，并将这些值存储在与该时间点相对应的隐藏节点中。存储部分130可以将采样值分别存储在与每个时间点相对应的隐藏节点中。计算部分140可被操作用于在输入数据序列已经发生的条件下计算在一个时间点的每个输入值的条件概率。这里，在时间序列输入数据中，在一个时间点输入到模型的各个节点的数据被称为在一个时间点的输入值，并且在该一个时间点之前的时间点输入到各个节点的数据被称为输入数据序列。学习装置100使用的模型可以具有在(i)对应于输入数据序列中的该一个时间点之前的每个时间点处的输入数据的多个隐藏节点和多个输入值之间的权重参数和以及(ii)对应于该一个时间点的多个隐藏节点和多个输入节点之间的权重参数。计算部分140可被操作用于基于时间序列输入数据中的该一个时间点之前的输入数据序列、隐藏节点的存储值以及模型的权重参数来计算在一个时间点处的每个输入值的条件概率。此外，计算部分140可被操作用于基于在时间序列输入数据中的该一个时间点之前的输入数据序列和模型的权重参数在输入数据序列已经发生的条件下计算在一个时间点处每个隐藏节点的值的条件概率。学习处理部分150可被操作用于通过调整模型的权重参数来增本文档来自技高网...

【技术保护点】
1.一种方法，包括：基于用于通过从排列有包括多个输入值的多条输入数据的第一输入数据序列依次输入每条输入数据来执行学习处理的第一模型，通过以与第一模型中的顺序不同的顺序从排列有包括多个输入值的多条输入数据的第二输入数据序列输入每条输入数据来生成用于学习包括在所述第一模型中的第一学习目标参数的第二模型；使用所述第一模型和所述第二模型来执行学习处理；以及输出已被学习的所述第一模型。

【技术特征摘要】
【国外来华专利技术】2017.01.11 US 15/403,9861.一种方法，包括：基于用于通过从排列有包括多个输入值的多条输入数据的第一输入数据序列依次输入每条输入数据来执行学习处理的第一模型，通过以与第一模型中的顺序不同的顺序从排列有包括多个输入值的多条输入数据的第二输入数据序列输入每条输入数据来生成用于学习包括在所述第一模型中的第一学习目标参数的第二模型；使用所述第一模型和所述第二模型来执行学习处理；以及输出已被学习的所述第一模型。2.根据权利要求1的方法，其中：所述输出已被学习的所述第一模型包括删除已被学习的所述第二模型，并基于输入数据序列输出已被学习的所述第一模型作为预测模型。3.根据权利要求2的方法，其中所述生成所述第二模型包括通过以反向顺序输入来自所述第二输入数据序列的每条输入数据来生成用于学习所述学习目标参数的所述第二模型。4.根据权利要求3的方法，其中所述第一输入数据序列和所述第二输入数据序列是时间序列输入数据序列，所述第一模型按照从较旧的输入数据开始的顺序输入所述第一输入数据序列，以及所述第二模型按照从较新的输入数据开始的顺序输入所述第二输入数据序列。5.根据权利要求3的方法，其中所述第一模型和所述第二模型各自包括所述第一学习目标参数和第二学习目标参数，以及所述执行所述学习处理包括：通过使用所述第一模型学习所述第二学习目标参数而不改变所述第一学习目标参数，以及通过使用所述第二模型学习所述第一学习目标参数而不改变所述第二学习目标参数。6.根据权利要求5的方法，其中所述第一学习目标参数可被操作用于通过使用所述第二模型学习而不是使用所述第一模型学习而以更高的准确度被学习，以及所述第二学习目标参数可被操作用于通过使用所述第一模型学习而不是使用所述第二模型学习而以更高的准确度被学习。7.根据权利要求3的方法，其中所述第一输入数据序列和所述第二输入数据序列至少部分相同。8.根据权利要求3的方法，其中所述第一输入数据序列和所述第二输入数据序列是用于学习的输入数据序列，它们彼此不同并包括在用于学习的多个输入数据序列中。9.根据权利要求3的方法，其中所述执行学习处理包括用所述第一模型执行所述学习处理的次数比用所述第二模型执行所述学习处理的次数多。10...

【专利技术属性】
技术研发人员：恐神贵行，梶野洸，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：美国,US