【技术实现步骤摘要】
【国外来华专利技术】
技术介绍
1、神经网络用于机器学习和人工智能(ai)的领域中。神经网络包括多个节点，该多个节点通过有时被称为边的链接相互连接。一个或多个节点的输入边作为整个形成网络的输入，并且一个或多个其他节点的输出边作为整个形成网络的输出，然而网络内各种节点的输出边形成到其他节点的输入边。每个节点表示由相应的权重加权的其输入边的函数；结果在其输出边上被输出。权重可以在经验数据(例如训练数据)集合的基础上逐渐调节，以趋向于网络的输出在其中将输出针对给定输入的期望值的状态。
2、通常，节点被布置到至少有输入层和输出层的层中。“深度”神经网络包括输入层和输出层之间的一个或多个中间或“隐藏”层。神经网络可以获取输入数据，并通过网络的层传播输入数据以生成输出数据。网络内的某些节点在数据上执行操作，并且这些操作的结果被传递到其他节点，等等。
3、图1(a)给出了示例神经网络108的简化表示。示例神经网络包括节点104的多个层：输入层102i，一个或多个隐藏层102h和输出层102o。在实践中，每一层中可能有许多节点，但为了简单只示出了几个。每个节点被配置为通过对输入到该节点的值执行函数来生成输出。到一个或多个节点的输入形成神经网络的输入，一些节点的输出形成其他节点的输入，并且一个或多个节点的输出形成网络的输出。
4、在网络的一些或所有节点上，到该节点的输入由相应的权重加权。权重可以定义给定层中的节点与神经网络的下一层中的节点之间的连通性。权重可以采用标量或概率分布的形式。当权重由分布定义时，如在贝叶斯模型中，神经网络
5、网络通过以下来学习：在输入层的数据输入上进行操作，并且基于输入数据，调整由网络中某些或所有节点应用的权重。存在不同的学习方法，但一般而言，存在在图1(a)中从左到右通过网络前向传播，总体误差的计算，以及在图1(a)中从右到左通过网络的误差的反向传播。在下一个周期中，每个节点考虑反向传播的误差并产生修订的权重集合。在这种方式中，可以训练网络执行其所需的操作。
6、到网络的输入通常是向量，向量的每个元素表示不同的对应特征。例如，在图像识别的情况下，该特征向量的元素可以表示不同的像素值，或者在医疗应用中，不同的特征可以表示不同的症状。网络的输出可以是标量或向量。输出可以表示分类，例如图像中是否识别出诸如大象的某个对象的指示，或者医学示例中患者的诊断。
7、图1(c)示出了一种简单的布置，其中神经网络被布置为基于输入特征向量来预测分类。在训练阶段，包括大数目的输入数据点的经验数据被提供到神经网络，每个数据点包括针对特征向量的示例值集合，加标签有分类(例如大象或非大象)的相应对应的值。在许多这样的示例数据点上，学习算法调节权重以减少网络中的总体误差。一旦用合适的数目的数据点训练，目标特征向量继而可以输入到神经网络，而无需标签，并且网络可以基于输入特征值和被调节的权重来预测分类的值。
8、以这种方式训练有时被称为监督方法。其他方法也是可能的，诸如强化方法，其中网络每个数据点最初没有被加标签。学习算法通过猜测针对每个点的对应输出开始，并且继而被告诉是否正确，逐渐利用每个这样的反馈片段来调节权重。另一个示例是无监督方法，其中输入数据点完全没有被加标签，而是让学习算法在经验数据中去推断自己的结构。
技术实现思路
1、本公开认识到，通过在执行缺失值填补时理解变量之间的因果关系，可以确定变量之间的关系。还可以提高缺失值填补的准确性。此外，提供了一种可扩展的方式，以即使在某些变量的数据值未被观察的情况下，发现变量之间的因果关系。这例如在用于基于传感器数据来确定患者的状况或用于诊断设备(例如电气设备)的故障的医疗环境中可以是有用的。在示例中，确定了来自医疗传感器数据的生物测量之间的因果关系。
2、根据本文公开的一个方面，提供了机器学习的计算机实现的方法。方法包括接收输入向量，该输入向量包括变量的值。然后，方法包括使用第一神经网络以将输入向量的变量编码为多个隐向量。多个隐向量可以继而被输入到包括图神经网络的第二神经网络中，其中图神经网络由图参数化，该图包括指示变量之间因果关系的边概率，使得确定被计算的向量值。然后，方法包括调节图的边概率，第一神经网络的一个或多个参数和第二神经网络的一个或多个参数以最小化损失函数，其中损失函数包括输入向量和被计算向量值之间的差异的测量以及图的函数。
3、在一些示例中，输入向量的变量的值可能不被完全观察。这在现实世界的场景中很常见，其中值可能不针对输入向量的每个变量被获得。
4、方法可以优化示出输入信息的变量之间因果关系的图。方法还可以在一些示例中被使用以填补缺失值。
本文档来自技高网...【技术保护点】
1.一种计算机实现的方法，所述方法包括：
2.根据权利要求1所述的方法，其中权利要求1所述的方法针对多个另外的输入向量被重复，以提供以下项的进一步调节：所述图的所述边概率、所述第一神经网络的所述至少一个参数和所述第二神经网络的所述至少一个参数。
3.根据权利要求1或权利要求2所述的方法，其中所述方法包括：
4.根据前述权利要求中任一项所述的方法，其中在循环关系存在于所述图中时，所述图的所述函数增加所述损失函数的所述值。
5.根据前述权利要求中任一项所述的方法，其中所述图的所述函数包括两个分布之间的差异的测量，其中所述第一分布是所述图的后验函数的估计，并且所述第二分布是所述图的预定义用户函数。
6.根据前述权利要求中任一项所述的方法，其中所述损失函数仅在存在于所述输入向量中的变量上操作。
7.根据前述权利要求中任一项所述的方法，其中所述使用所述第一神经网络以将所述输入向量的所述变量的所述值编码为所述多个隐向量包括：
8.根据权利要求1至6中任一项所述的方法，包括：
9.根据权利要求8所述
10.根据前述权利要求中任一项所述的方法，其中所述变量包括至少一个数据值，所述至少一个数据值表示至少一个设备的至少一个传感器值。
11.根据权利要求10中所述的方法，其中：
12.根据权利要求10或权利要求11所述的方法，其中所述至少一个设备包括用于监测患者的健康监测设备，并且其中所述方法包括在调节所述图的所述边概率、所述第一神经网络的所述至少一个参数和所述第二神经网络的所述至少一个参数之后：
13.根据权利要求10所述的方法，其中所述调节所述图的所述边概率提供多个传感器测量之间的因果关系；并且其中所述方法包括：
14.根据权利要求10或权利要求13所述的方法，其中所述方法包括，在通过调节所述图的所述边概率、所述第一神经网络的所述至少一个参数和所述第二神经网络的所述至少一个参数来最小化所述损失函数之后：
15.一种被体现在计算机可读存储上的计算机程序，所述程序包括代码，所述代码被配置以便在至少一个处理器上运行时，执行前述权利要求中任一项所述的操作。
16.一种计算机系统，所述计算机系统包括：
...【技术特征摘要】
【国外来华专利技术】
1.一种计算机实现的方法，所述方法包括：
2.根据权利要求1所述的方法，其中权利要求1所述的方法针对多个另外的输入向量被重复，以提供以下项的进一步调节：所述图的所述边概率、所述第一神经网络的所述至少一个参数和所述第二神经网络的所述至少一个参数。
3.根据权利要求1或权利要求2所述的方法，其中所述方法包括：
4.根据前述权利要求中任一项所述的方法，其中在循环关系存在于所述图中时，所述图的所述函数增加所述损失函数的所述值。
5.根据前述权利要求中任一项所述的方法，其中所述图的所述函数包括两个分布之间的差异的测量，其中所述第一分布是所述图的后验函数的估计，并且所述第二分布是所述图的预定义用户函数。
6.根据前述权利要求中任一项所述的方法，其中所述损失函数仅在存在于所述输入向量中的变量上操作。
7.根据前述权利要求中任一项所述的方法，其中所述使用所述第一神经网络以将所述输入向量的所述变量的所述值编码为所述多个隐向量包括：
8.根据权利要求1至6中任一项所述的方法，包括：
9.根据权利要求8所述的方法，其中每个组包...
【专利技术属性】
技术研发人员：张成，M·阿拉马尼斯，S·L·佩顿·琼斯，A·J·兰姆，P·莫拉莱斯阿尔瓦雷斯，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。