一种数据处理方法及系统技术方案

本发明专利技术提供了一种数据处理方法及装置，其中，该方法包括：判断是否满足数据事务启动的条件，数据事务是指通过数据处理工具来完成对数据的加工处理的过程；当满足数据事务启动的条件时，获取要执行的数据事务；加载数据事务所需的工具配置，将工具配置解析生成相应的一个或多个工具任务；依次执行工具任务；接收到数据事务的工具任务执行完成信号或终止信号时停止数据事务，将执行结果返回。本发明专利技术在加载数据事务所需的工具配置后，将工具配置解析成一个或多个工具任务，依次执行工具任务即可完成对数据的复杂处理，由此可见，实施本发明专利技术可以通过配置的方式实现对数据的复杂处理，减少了开发成本和建设成本。

【技术实现步骤摘要】
一种数据处理方法及系统
本专利技术涉及数据处理
，具体涉及一种数据处理方法及系统。
技术介绍
目前为了使企业数字化能更好落地，需要让更多的人才参与到业务系统建设中来，并使业务人员能够直接进行业务系统迭代建设，这已形成普遍认知，所以目前低代码/零代码开发平台已经成为一种新的趋势。要实现零代码开发，数据加工处理需要支持零代码配置方式来实现。目前现有的低代码/零代码开发平台对数据的采集、检索、排序等处理大部分都能满足，但在数据加工、分类、归并、计算、转换等处理上支撑粒度不足，对于多表复杂的数据加工计算处理，如多表多数据统计分析、递归计算等，需要第三方工具或通过代码编写算法来实现。通过第三方工具实现复杂计算时，低代码/零代码开发平台与第三方数据处理工具在交互上会有一定的延迟，并且，低代码/零代码开发平台需要向第三方开放数据库连接信息，导致低代码/零代码开发平台存在较大的安全隐患。若通过代码编写算法实现复杂计算，开发工作要求工作人员有较强的专业能力，且代码编写效率较低，低代码/零代码开发平台优势就在业务的快速实现与快速迭代上，二次开发的设计思路会降低新开发平台的优势，且当需求不确定或经常变更时，优势将越来越低。
技术实现思路
因此，本专利技术要解决的技术问题在于克服现有技术中的零代码开发平台无法实现对复杂数据的直接处理，从而提供一种数据处理方法及系统。本专利技术第一方面提供了一种数据处理方法，包括：判断是否满足数据事务启动的条件，数据事务是指通过数据处理工具来完成对数据的加工处理的过程；当满足数据事务启动的条件时，获取要执行的数据事务；加载数据事务所需的工具配置，将工具配置解析生成相应的一个或多个工具任务；根据数据事务对应的处理过程依次执行工具任务；接收到该数据事务的工具任务执行完成信号或终止信号时，停止数据事务，将执行结果返回。可选地，在本专利技术提供的数据处理方法中，数据事务启动的条件，包括：通过数据事件来进行触发式启动，或通过定时器定时来自动启动。可选地，在本专利技术提供的数据处理方法中，数据事件包括以下一种或多种：判断事件或分支事件：用于逻辑运算来决定是否执行事件的处理；编辑事件：用于对变更数据相关影响的数据进行增删改处理；补充事件：用于对变更数据体进行补充处理；接口事件：用于调用通知接口、数据事务接口或第三方接口中的一种或多种；日志事件：用于记录数据的变更历史信息。可选地，在本专利技术提供的数据处理方法中，通过数据事件来进行触发式启动，包括：获取变更数据，根据变更数据确定相关的数据事件，加载并解析配置，然后调用事件执行接口；根据参数配置对所需的参数进行参数数据值映射处理，参数数据值来源于变更数据及当前系统中的时间；根据配置条件，确定该变更数据是否需要启动数据事务；需要启动数据事务时，根据数据事务唯一编号调用相应的数据事务执行接口，将变更数据和变更时间作为接口中的参数传入。可选地，在本专利技术提供的数据处理方法中，若数据事务为多个，判断数据事务中是否有相同的一个或多个数据事务；当存在相同的数据事务时，将相同的数据事务合并处理。可选地，在本专利技术提供的数据处理方法中，依次执行工具任务，包括：工具任务对输入数据进行检查，满足预设条件时进行任务执行；获取任务执行中的处理信息；将计算的结果数据分发给下个工具任务；记录工具执行的状态信息并清空已处理的输入数据，并判断该工具任务是否完成，完成时则同时事务执行控制并释放空闲线程，未完成时则重新开始执行。可选地，在本专利技术提供的数据处理方法还包括：若数据事件存在相关事件，执行相关事件。本专利技术第二方面提供了一种数据处理装置，包括：判断模块，用于判断是否满足数据事务启动的条件，数据事务是指通过数据处理工具来完成对数据的加工处理的过程；数据事务获取模块，当满足数据事务启动的条件时，数据事务获取模块用于获取要执行的数据事务；工具任务生成模块，用于加载数据事务所需的工具配置，将工具配置解析生成相应的一个或多个工具任务；工具任务执行模块，用于根据数据事务对应的处理过程依次执行工具任务；执行结果反馈模块，接收到该数据事务的工具任务执行完成信号或终止信号时，执行结果反馈模块用于停止数据事务，将执行结果返回。本专利技术第三方面提供了一种计算机设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，从而执行如本专利技术第一方面提供的数据处理方法。本专利技术第四方面提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使计算机执行如本专利技术第一方面提供的数据处理方法。本专利技术技术方案，具有如下优点：本专利技术提供的数据处理方法及装置，在加载数据事务所需的工具配置后，将工具配置解析成一个或多个工具任务，相当于将复杂的数据处理过程拆分为多个工具任务，依次执行工具任务即可完成对数据的复杂处理，由此可见，实施本专利技术可以使零代码开发平台通过配置的方式实现对数据的复杂处理，不依赖于第三方工具，也无需专业人员编写代码，拓宽了零代码开发平台以零代码方式开发业务系统的场景范围，使零代码开发平台更利于支撑企业数字化建设，并能缩短企业数字化建设周期，同时也能减少开发成本和建设成本。附图说明为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例中数据处理方法的一个具体示例的流程图；图2为本专利技术实施例中数据事务的数据处理总体架构示意图；图3为本专利技术实施例中对数据处理的总体设计框架示意图；图4为本专利技术实施例中数据事件总体执行的流程图；图5为本专利技术实施例中通过数据事件调用数据事务时数据处理方法的一个具体示例的流程图；图6a为本专利技术实施例中事务调度执行的流程图；图6b为本专利技术实施例中数据事务的工具执行的流程图；图7为本专利技术实施例中出库明细数据发生变更后，重新统计当前月库存统计时执行数据事件的流程图；图8为本专利技术实施例中出库明细数据发生变更后，重新统计当前月库存统计时执行数据事务的流程图；图9为本专利技术实施例中数据处理装置的一个具体示例的示意框图；图10为本专利技术实施例中计算机设备的一个具体示例的示意框图。具体实施方式下面将结合附图对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。在本专利技术的描述中，需要说明的是，下面所描述的本专利技术不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。本专利技术实施例提供了一种数据处理方法，应用于零代码开本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n判断是否满足数据事务启动的条件，所述数据事务是指通过数据处理工具来完成对数据的加工处理的过程；/n当满足数据事务启动的条件时，获取要执行的数据事务；/n加载所述数据事务所需的工具配置，将所述工具配置解析生成相应的一个或多个工具任务；/n根据数据事务对应的处理过程依次执行所述工具任务；/n接收到所述数据事务的工具任务执行完成信号或终止信号时，停止所述数据事务，将执行结果返回。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
判断是否满足数据事务启动的条件，所述数据事务是指通过数据处理工具来完成对数据的加工处理的过程；
当满足数据事务启动的条件时，获取要执行的数据事务；
加载所述数据事务所需的工具配置，将所述工具配置解析生成相应的一个或多个工具任务；
根据数据事务对应的处理过程依次执行所述工具任务；
接收到所述数据事务的工具任务执行完成信号或终止信号时，停止所述数据事务，将执行结果返回。


2.根据权利要求1所述的方法，其特征在于，所述数据事务启动的条件，包括：
通过数据事件来进行触发式启动，或
通过定时器定时来自动启动。


3.根据权利要求2所述的方法，其特征在于，所述数据事件包括以下一种或多种：
判断事件或分支事件：用于逻辑运算来决定是否执行事件的处理；
编辑事件：用于对变更数据相关影响的数据进行增删改处理；
补充事件：用于对变更数据体进行补充处理；
接口事件：用于调用通知接口、数据事务接口或第三方接口中的一种或多种；
日志事件：用于记录数据的变更历史信息。


4.根据权利要求2所述的方法，其特征在于，所述通过数据事件来进行触发式启动，包括：
获取变更数据，根据所述变更数据确定相关的数据事件，加载并解析配置，然后调用事件执行接口；
根据参数配置对所需的参数进行参数数据值映射处理，所述参数数据值来源于变更数据及当前系统中的时间；
根据配置条件，确定该变更数据是否需要启动数据事务；
需要启动数据事务时，根据数据事务唯一编号调用相应的数据事务执行接口，将变更数据和变更时间作为接口中的参数传入。


5.根据权利要求1所述的方法，其特征在于，还包括：
若所述数据事务为多个，判断所述数据事务中是否有相同的一个或多个数据...

【专利技术属性】
技术研发人员：万勇，陈利，许志建，
申请(专利权)人：万维云网北京数据科技有限公司，
类型：发明
国别省市：北京;11