一种数据处理方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种数据处理方法、装置、设备及存储介质，包括：在第一阶段，从数据处理系统的数据集中调用M个关联变量的取值以及N个目标变量在不同时刻的原始数据；在所述第一阶段，基于所述M个关联变量的取值，对所述N个目标变量的在不同时刻的原始数据进行映射变换，以去除所述M个关联变量对目标变量的影响，得到与所述N个目标变量一一对应的N个目标特征；在第二阶段，将所述N个目标特征输入至因果发现模型，基于所述因果发现模型的处理得到所述N个目标变量之间的因果关系。对于本申请的方案在确定目标变量的因果关系时，具有较高的准确度。确度。确度。

【技术实现步骤摘要】
一种数据处理方法、装置、设备及存储介质


[0001]本申请涉及数据处理
，涉及但不限于数据处理方法、装置、设备及存储介质。

技术介绍

[0002]随着数据处理技术的不断发展，工业、以及各种大型设备的应用也得到广泛发展。
[0003]在大型应用程序、自动化设备或者大型通讯网络中，由于网络规模巨大，设备类型多样，出现故障的概率较大，且单点故障极易引发规模相关故障事件。对于存在多处故障的情况下，通过人工难以对大量故障事件进行及时定位归因、响应。

技术实现思路

[0004]本申请提供一种数据处理方法及装置、设备、存储介质，对于本申请的方案，在确定目标变量的因果关系时，具有较高的准确度。
[0005]本申请的技术方案是这样实现的：
[0006]本申请提供了一种数据处理方法，所述方法包括：
[0007]在第一阶段，从数据处理系统的数据集中调用M个关联变量的取值以及N个目标变量在不同时刻的原始数据；其中，所述N为大于或等于2的整数；所述M大于或等于1的整数；所述目标变量为待确定因果关系的变量；所述关联变量为与所述目标变量相关的非目标变量；
[0008]在所述第一阶段，基于所述M个关联变量的取值，对所述N个目标变量的在不同时刻的原始数据进行映射变换，以去除所述M个关联变量对目标变量的影响，得到与所述N个目标变量一一对应的N个目标特征；
[0009]在第二阶段，将所述N个目标特征输入至因果发现模型，基于所述因果发现模型的处理得到所述N个目标变量之间的因果关系。/>[0010]本申请提供了一种数据处理装置，所述装置包括：
[0011]调用单元，用于在第一阶段，从数据处理系统的数据集中调用M个关联变量的取值以及N个目标变量的原始时间序列；其中，所述N为大于或等于2的整数；所述M大于或等于1的整数；所述目标变量为待确定因果关系的变量；所述关联变量为与所述目标变量相关的非目标变量；
[0012]映射变换单元，用于在所述第一阶段，基于所述M个关联变量的取值，对所述N个目标变量的在不同时刻的原始数据进行映射变换，以去除所述M个关联变量对目标变量的影响，得到与所述N个目标变量一一对应的N个目标特征；
[0013]因果发现单元，用于在第二阶段，将所述N个目标序列输入至因果发现模型，基于所述因果发现模型的处理得到所述N个目标变量之间的因果关系。
[0014]本申请还提供了一种电子设备，包括：存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述数据处理方法。
[0015]本申请还提供了一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述数据处理方法。
[0016]对于本申请的方案，将系统中的变量区分为目标变量与关联变量，在第一阶段，先基于关联变量的取值对目标变量的在不同时刻的原始数据进行映射变换，以去除关联变量对目标变量的影响，得到目标特征，再将目标特征输入至因果发现模型得到目标变量之间的因果关系。
[0017]可以看出：由于目标特征中去除了关联变量对于目标变量的影响；从而，在确定目标变量之间的因果关系时，去除了关联变量对于目标变量的因果关系的影响，提高了因果关系的准确度。
[0018]示例性的，在用于故障原因定位时，可以准确定位到多个故障之间的因果关系，从而确定出最终导致故障的节点，提高了故障定位的效率与准确度，进一步提高了运维效率，降低运维成本。
附图说明
[0019]图1为本申请实施例提供的数据处理系统的一种可选的结构示意图；
[0020]图2为本申请实施例提供的数据处理方法的一种可选的流程示意图；
[0021]图3为本申请实施例提供的数据处理方法的一种可选的流程示意图；
[0022]图4为本申请实施例提供的变量之间的因果关系一种可选的结构示意图；
[0023]图5为本申请实施例提供的预测网络处理的一种可选的结构示意图；
[0024]图6为本申请实施例提供的因果发现网络处理的一种可选的结构示意图；
[0025]图7为本申请实施例提供的FPR
‑
TPR曲线的一种可选的示意图；
[0026]图8为本申请实施例提供的数据处理装置的一种可选的结构示意图；
[0027]图9为本申请实施例提供的电子设备的一种可选的结构示意图。
具体实施方式
[0028]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对申请的具体技术方案做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。
[0029]在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
[0030]在以下的描述中，所涉及的术语“第一\第二\第三”仅是为例区别不同的对象，不代表针对对象的特定排序，不具有先后顺序的限定。可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
[0031]除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的
的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
[0032]本申请实施例可提供数据处理方法、装置、设备及存储介质。实际应用中，数据处
理方法可由数据处理装置实现，数据处理装置中的各功能实体可以由电子设备的硬件资源，如处理器等计算资源、通信资源(如用于支持实现光缆、蜂窝等各种方式通信)协同实现。
[0033]本申请实施例提供的数据处理方法应用于数据处理系统，数据处理系统包括：数据处理设备和数据库。其中，数据处理设备用于确定数据库中目标变量之间的因果关系。
[0034]数据库中存储了数据集，数据集包括多个变量的取值。例如，包括关联变量的取值，目标变量在不同时刻的原始数据。
[0035]具体的，数据处理设备用于执行：在第一阶段，从数据处理系统的数据集中调用M个关联变量的取值以及N个目标变量在不同时刻的原始数据；其中，所述N为大于或等于2的整数；所述M大于或等于1的整数；所述目标变量为待确定因果关系的变量；所述关联变量为与所述目标变量相关的非目标变量；在所述第一阶段，基于所述M个关联变量的取值，对所述N个目标变量的在不同时刻的原始数据进行映射变换，以去除所述M个关联变量对目标变量的影响，得到与所述N个目标变量一一对应的N个目标特征；在第二阶段，将所述N个目标特征输入至因果发现模型，基于所述因果发现模型的处理得到所述N个目标变量之间的因果关系。
[0036]需要说明的是，本申请实施例对数据处理设备和数据库的具体的部署方式不作限定，可以根据实际需求进行配置。
[0037]在一种可能的实施方式中，数据处理设备的存本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，所述方法包括：在第一阶段，从数据处理系统的数据集中调用M个关联变量的取值以及N个目标变量在不同时刻的原始数据；其中，所述N为大于或等于2的整数；所述M大于或等于1的整数；所述目标变量为待确定因果关系的变量；所述关联变量为与所述目标变量相关的非目标变量；在所述第一阶段，基于所述M个关联变量的取值，对所述N个目标变量的在不同时刻的原始数据进行映射变换，以去除所述M个关联变量对目标变量的影响，得到与所述N个目标变量一一对应的N个目标特征；在第二阶段，将所述N个目标特征输入至因果发现模型，基于所述因果发现模型的处理得到所述N个目标变量之间的因果关系。2.根据权利要求1所述的方法，所述在所述第一阶段，基于所述M个关联变量的取值，对所述N个目标变量的在不同时刻的原始数据进行映射变换，以去除所述M个关联变量对目标变量的影响，得到与所述N个目标变量一一对应的N个目标特征，包括：在所述第一阶段，针对所述N个目标变量中的每个所述目标变量，执行下述第一处理，得到与所述目标变量对应的目标特征；其中，所述第一处理包括：将所述M个关联变量的取值，输入至与所述目标变量对应的预测网络，通过所述预测网络的预测处理，得到所述目标变量在不同时刻的预测数据；基于所述目标变量的在不同时刻的原始数据以及所述目标变量在不同时刻的预测数据，确定与所述目标变量对应的目标特征。3.根据权利要求2所述的方法，所述基于所述目标变量的在不同时刻的原始数据以及所述目标变量在不同时刻的预测数据，确定与所述目标变量对应的目标特征，包括：将所述目标变量的在不同时刻的原始数据与所述目标变量在不同时刻的预测数据对应作差，得到所述目标变量对应的目标特征；或者，基于所述目标变量在不同时刻的预测数据确定所述目标变量的预测平均值；将所述目标变量的在不同时刻的原始数据与所述目标变量的预测平均值作差，得到所述目标变量对应的目标特征。4.根据权利要求2所述的方法，所述N个目标变量对应一个所述预测网络；或者，对于所述N个目标变量对应N个所述预测网络。5.根据权利要求1所述的方法，所述将所述N个目标特征输入至因果发现模型，通过所述因果发现模型的处理得到所述N个目标变量之间的因果关系，包括：将所述N个目标特征输入至因果发现模型，基于所述N个目标特征训练因果发现模型，得到目标因果发现模型；获得所述目标因果发现模型的第一层卷积核的输出向量；将所述输出向量进行标准化处理，得到N
×
N的因果矩阵；所述因果矩阵中的取值用于表征所述N个目标...

【专利技术属性】
技术研发人员：范晨晨，汪益新，欧阳文理，
申请(专利权)人：联想北京有限公司，
类型：发明
国别省市：