一种数据处理方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种数据处理方法、装置、电子设备及存储介质。该数据处理方法具体可以包括：获取待处理数据，并确定所述待处理数据对应的数据处理拓扑模型；将所述待处理数据输入至所述数据处理拓扑模型，以通过所述数据处理拓扑模型对所述待处理数据进行数据处理；其中，所述数据处理拓扑模型包括数据输入节点、数据处理节点、数据输出节点以及连接各节点的节点连线。本发明专利技术实施例的技术方案能够缩短待处理数据的处理耗时，提高待处理数据的处理效率，降低待处理数据的处理成本。降低待处理数据的处理成本。降低待处理数据的处理成本。

【技术实现步骤摘要】
一种数据处理方法、装置、电子设备及存储介质


[0001]本专利技术实施例涉及计算机
，尤其涉及一种数据处理方法、装置、电子设备及存储介质。

技术介绍

[0002]随着互联网技术的高速发展，产生的数据也越来越多。为了提高数据的利用价值，通常需要对各业务系统产生的数据进行数据分析。但是对数据进行分析之前，需要将分散、凌乱或标准不统一的数据进行数据处理，以得到便于进行数据分析的统一格式的数据。例如，可以通过对运维行业的监控数据进行数据分析以提高系统性能等，但是需要将结构各异的监控数据进行统一解析整合后，才能通过统一的监控平台进行数据分析。
[0003]现有的数据处理方法，通常是由运维人员根据数据的数据信息(如数据结构、业务类型等)编写代码，以通过代码实现数据处理。然而，不同的数据的数据处理过程不同，而且对于不同数据来源的数据，数据信息也不同，由此运维人员在编写代码时，需要熟悉各类不同的数据，而且在数据发生调整时(如业务调整、字段变更等)需要重新编写代码，从而导致现有的数据处理方法在对数据处理的过程中，数据处理耗时较长、效率较低，而且成本较高。

技术实现思路

[0004]本专利技术实施例提供一种数据处理方法、装置、电子设备及存储介质，能够缩短待处理数据的处理耗时，提高待处理数据的处理效率，降低待处理数据的处理成本。
[0005]根据本专利技术的一方面，提供了一种数据处理方法，包括：
[0006]获取待处理数据，并确定所述待处理数据对应的数据处理拓扑模型；
[0007]将所述待处理数据输入至所述数据处理拓扑模型，以通过所述数据处理拓扑模型对所述待处理数据进行数据处理；
[0008]其中，所述数据处理拓扑模型包括数据输入节点、数据处理节点、数据输出节点以及连接各节点的节点连线。
[0009]根据本专利技术的另一方面，提供了一种数据处理装置，包括：
[0010]数据处理拓扑模型确定模块，用于获取待处理数据，并确定所述待处理数据对应的数据处理拓扑模型；
[0011]数据处理模块，用于将所述待处理数据输入至所述数据处理拓扑模型，以通过所述数据处理拓扑模型对所述待处理数据进行数据处理；
[0012]其中，所述数据处理拓扑模型包括数据输入节点、数据处理节点、数据输出节点以及连接各节点的节点连线。
[0013]根据本专利技术的另一方面，提供了一种电子设备，所述电子设备包括：
[0014]至少一个处理器；以及
[0015]与所述至少一个处理器通信连接的存储器；其中，
[0016]所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例所述的数据处理方法。
[0017]根据本专利技术的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本专利技术任一实施例所述的数据处理方法。
[0018]本专利技术实施例的技术方案，通过获取待处理数据，并确定待处理数据对应的包括数据输入节点、数据处理节点、数据输出节点以及连接各节点的节点连线的数据处理拓扑模型，以将待处理数据输入至数据处理拓扑模型，从而通过数据处理拓扑模型对待处理数据进行数据处理，解决了现有数据处理方法的处理过程耗时较长、处理效率较低以及处理成本较高的问题，能够缩短待处理数据的处理耗时，提高待处理数据的处理效率，降低待处理数据的处理成本。
[0019]应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0020]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0021]图1是本专利技术实施例一提供的一种数据处理方法的流程图；
[0022]图2是本专利技术实施例二提供的一种数据处理方法的流程图；
[0023]图3是本专利技术实施例二提供的一种数据处理拓扑模型的架构示意图；
[0024]图4是本专利技术实施例二提供的一种模型校验的流程示意图；
[0025]图5是本专利技术实施例二提供的一种确定任务类型的示意图；
[0026]图6是本专利技术实施例二提供的一种数据处理方法的示例流程图；
[0027]图7是本专利技术实施例三提供的一种数据处理装置的示意图；
[0028]图8是实现本专利技术实施例的数据处理方法的电子设备的结构示意图。
具体实施方式
[0029]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0030]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0031]实施例一
[0032]图1是本专利技术实施例一提供的一种数据处理方法的流程图，本实施例可适用于提高数据处理效率的情况，该方法可以由数据处理装置执行，该装置可以通过软件和/或硬件的方式实现，并一般可以直接集成在执行本方法的电子设备中，该电子设备可以是终端设备，也可以是服务器设备，本专利技术实施例并不对执行数据处理方法的电子设备的类型进行限定。具体的，如图1所示，该数据处理方法具体可以包括如下步骤：
[0033]S110、获取待处理数据，并确定所述待处理数据对应的数据处理拓扑模型。
[0034]其中，所述数据处理拓扑模型包括数据输入节点、数据处理节点、数据输出节点以及连接各节点的节点连线。
[0035]其中，待处理数据可以是等待进行数据处理的任意数据。数据处理拓扑模型可以是用于对待处理数据进行数据处理的拓扑模型。数据输入节点可以是数据处理拓扑模型中用于接收待处理数据的节点。可以理解的是，数据输入节点可以连接外置数据源获取待处理数据，是数据处理拓扑模型中的第一个节点，在数据输入节点之前没有其他任意节点。
[0036]其中，数据处理节点可以是数据处理拓扑模型中用于处理待处理数据的节点。可以理解的是，数据处理节点可以对待处理数据进行任意数据处理，例如字段解析、行列转换、字符串操作函数、过滤、校验或字段类型转换等，本专利技术实施例对此并不进行限制。
[0037]其中，数据输出节点可以是数据处理拓扑本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取待处理数据，并确定所述待处理数据对应的数据处理拓扑模型；将所述待处理数据输入至所述数据处理拓扑模型，以通过所述数据处理拓扑模型对所述待处理数据进行数据处理；其中，所述数据处理拓扑模型包括数据输入节点、数据处理节点、数据输出节点以及连接各节点的节点连线。2.根据权利要求1所述的方法，其特征在于，所述确定所述待处理数据对应的数据处理拓扑模型，包括：确定所述待处理数据的数据来源信息，根据所述数据来源信息确定所述数据处理拓扑模型中的数据输入节点；确定所述待处理数据的数据处理需求信息，根据所述数据处理需求信息确定所述数据处理拓扑模型中的数据处理节点；确定所述待处理数据的数据去向信息，根据所述数据去向信息确定所述数据处理拓扑模型中的数据输出节点；确定所述待处理数据的数据流向信息，根据所述数据流向信息确定所述数据处理拓扑模型中的节点连线。3.根据权利要求1所述的方法，其特征在于，在所述确定所述待处理数据对应的数据处理拓扑模型之后，还包括：对所述数据处理拓扑模型进行模型校验；所述将所述待处理数据输入至所述数据处理拓扑模型，包括：在确定所述数据处理拓扑模型通过模型校验的情况下，将所述待处理数据输入至所述数据处理拓扑模型。4.根据权利要求3所述的方法，其特征在于，所述对所述数据处理拓扑模型进行模型校验，包括：确定所述数据处理拓扑模型中的模型节点数量、模型结构、模型节点类型以及模型无效元素；根据所述模型节点数量、所述模型结构、所述模型节点类型和所述模型无效元素，对所述数据处理拓扑模型进行模型校验。5.根据权利要求4所述的方法，其特征在于，所述确定所述数据处理拓扑模型通过模型校验，包括：在确定所述模型节点数量满足预设节点数量条件，所述模型结构满足预设结构条件，所述模型节点类型满足预设节点类型条件，且所述数据处理拓扑模型中不存在所述模型无效元素的情况下，确定所述数据处理拓扑模型通过模型校验。6.根据权利要求1所述的方法，其特征...

【专利技术属性】
技术研发人员：孟曦东，
申请(专利权)人：北京博睿宏远数据科技股份有限公司，
类型：发明
国别省市：