基于分布式系统的数据处理方法、装置、计算机设备制造方法及图纸

本申请涉及一种基于分布式系统的数据处理方法、装置、计算机设备和存储介质。所述方法包括：接收数据删除请求；所述数据删除请求中包含对应的数据过滤条件；利用消息列队分发所述数据过滤条件对应的数据删除任务至对应的至少两个线程；通过所述线程查询对应的删除数据；所述删除数据包含级联关系；根据所述级联关系，检测到所述级联关系对应的每一层级中的数据均不为空时，以所述最小层级为起点，逐层执行数据批量删除操作，直到将主表中的数据删除后，得到数据删除对应的处理结果，并将所述处理结果返回至所述数据删除请求的所在端。采用本方法能够高效稳定清除过期数据，节省存储资源，有效提高数据的处理效率，同时也提高了系统运行性能。

【技术实现步骤摘要】
基于分布式系统的数据处理方法、装置、计算机设备
本申请涉及计算机
，特别是涉及一种基于分布式系统的数据处理方法、装置、计算机设备和存储介质。
技术介绍
随着计算机技术的发展，互联网的出现给现代生活带来了极大的便利，在大型分布式集群系统中，通常需要对一些关系型数据进行持久化存储，例如，智能核算调度的执行记录数据。随着业务的扩展，系统中存储的执行记录数据量巨大，部分客户累计的数据量甚至过亿，导致的问题是过期无价值的执行记录会占用过多存储资源，使得客户打开调度执行记录表系统运行缓慢，无法查看近期系统执行记录的情况。然而，目前的数据处理方式中，针对上述过期无价值的执行记录占用过多存储资源的情况时，通常通过系统数据库管理人员对于过期无价值的执行记录数据进行人工备份迁移，当业务发生变化时，需要修改SQL脚本之后，定期执行SQL脚本清理缓存数据，这种人工处理的方式，需要进行大量的重复工作，容易导致数据处理的效率较低。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能够提高数据处理效率的基于分布式系统的数据处理方法、装置、计算机设备和存储介质。一种基于分布式系统的数据处理方法，所述方法包括：接收数据删除请求；所述数据删除请求中包含对应的数据过滤条件；利用消息列队分发所述数据过滤条件对应的数据删除任务至对应的至少两个线程；通过所述线程查询对应的删除数据；所述删除数据包含级联关系；根据所述级联关系，检测到所述级联关系对应的每一层级中的数据均不为空时，以所述最小层级为起点，逐层执行数据批量删除操作，直到将主表中的数据删除后，得到数据删除对应的处理结果，并将所述处理结果返回至所述数据删除请求的所在端。在其中一个实施例中，所述通过所述线程查询对应的删除数据包括：根据SQL语句中的查询条件，基于对象关系映射关系框架从数据库中查询对应的删除数据。在其中一个实施例中，所述数据过滤条件包括数据的类型、数据的时间以及数据的功能；所述根据SQL语句中的查询条件，基于对象关系映射关系框架从数据库中查询对应的删除数据，包括：根据所述数据的类型、数据的时间以及数据的功能，通过设置关键字的取值范围，利用物理分页从数据库中查询对应的删除数据。在其中一个实施例中，所述根据所述级联关系，检测到所述级联关系对应的每一层级中的数据均不为空时包括：根据所述级联关系，获取所述删除数据对应的主表标识，并判断所述主表标识对应的主表数据是否为空；当所述主表数据不为空时，则获取所述主表中预设数量的数据，并根据所述主表标识查询对应的第一分录子表数据是否为空；当所述第一分录子表数据不为空时，则获取所述第一分录子表数据中预设数量的数据，并判断所述第一分录子表数据对应的下一层级数据是否为空，直至所述级联关系对应的最小层级数据。在其中一个实施例中，所述当所述第一分录子表数据不为空时，则获取所述第一分录子表数据中预设数量的数据，并判断所述第一分录子表数据对应的下一层级数据是否为空，直至所述级联关系对应的最小层级数据之后，所述方法还包括：当检测所述最小层级数据不为空时，则对所述最小层级数据进行批量删除操作。在其中一个实施例中，所述以所述最小层级为起点，逐层执行数据批量删除操作，直到将主表中的数据删除后，得到数据删除对应的处理结果，并将所述处理结果返回至所述数据删除请求的所在端包括：在所述最小层级数据删除完成之后，对所述最小层级数据的上一层级数据进行删除操作，直到将主表中的数据删除完成之后，得到数据删除对应的处理结果，并将所述处理结果返回至所述数据删除请求所在端。在其中一个实施例中，当所述删除数据包含的级联关系为三层级联时；所述通过所述线程查询对应的删除数据之后，所述方法还包括：根据所述级联关系，获取所述删除数据对应的主表标识，并判断所述主表标识对应的主表数据是否为空；当所述主表数据不为空时，则获取所述主表中预设数量的数据，并根据所述主表标识查询对应的第一分录子表数据是否为空；当所述第一分录子表数据不为空时，则获取所述第一分录子表中预设数量的数据，并根据所述第一分录子表的标识查询第二分录子表数据是否为空；当所述第二分录子表数据不为空时，则对所述第二分录子表中预设数量的数据进行批量删除操作；当所述第二分录子表中的数据删除后，对所述第一分录子表中预设数量的数据进行删除操作；当所述第一分录子表中的数据删除后，对所述主表中预设数量的数据进行删除操作；当所述主表中数据删除后，得到数据删除对应的处理结果，并将所述处理结果返回至所述数据删除请求的所在端。一种基于分布式系统的数据处理装置，所述装置包括：接收模块，用于接收数据删除请求；所述数据删除请求中包含对应的数据过滤条件；分发模块，用于利用消息列队分发所述数据过滤条件对应的数据删除任务至对应的至少两个线程；查询模块，用于通过所述线程查询对应的删除数据；所述删除数据包含级联关系；数据处理模块，用于根据所述级联关系，检测到所述级联关系对应的每一层级中的数据均不为空时，以所述最小层级为起点，逐层执行数据批量删除操作，直到将主表中的数据删除后，得到数据删除对应的处理结果，并将所述处理结果返回至所述数据删除请求的所在端。一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：接收数据删除请求；所述数据删除请求中包含对应的数据过滤条件；利用消息列队分发所述数据过滤条件对应的数据删除任务至对应的至少两个线程；通过所述线程查询对应的删除数据；所述删除数据包含级联关系；根据所述级联关系，检测到所述级联关系对应的每一层级中的数据均不为空时，以所述最小层级为起点，逐层执行数据批量删除操作，直到将主表中的数据删除后，得到数据删除对应的处理结果，并将所述处理结果返回至所述数据删除请求的所在端。一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：接收数据删除请求；所述数据删除请求中包含对应的数据过滤条件；利用消息列队分发所述数据过滤条件对应的数据删除任务至对应的至少两个线程；通过所述线程查询对应的删除数据；所述删除数据包含级联关系；根据所述级联关系，检测到所述级联关系对应的每一层级中的数据均不为空时，以所述最小层级为起点，逐层执行数据批量删除操作，直到将主表中的数据删除后，得到数据删除对应的处理结果，并将所述处理结果返回至所述数据删除请求的所在端。上述基于分布式系统的数据处理方法、装置、计算机设备和存储介质，当系统中存储的执行记录数据量巨大，需要对过期无价值的数据进行删除时，服务器通过接收数据删除请求，数据删除请求中包含对应的数据过滤条件。服务器利用消息列队分发数据过滤条件对应的数据删除任务至对应的至少两个线程，并通过线程查询对应的删除数据，删除数据包含级本文档来自技高网...

【技术保护点】
1.一种基于分布式系统的数据处理方法，所述方法包括：/n接收数据删除请求；所述数据删除请求中包含对应的数据过滤条件；/n利用消息列队分发所述数据过滤条件对应的数据删除任务至对应的至少两个线程；/n通过所述线程查询对应的删除数据；所述删除数据包含级联关系；/n根据所述级联关系，检测到所述级联关系对应的每一层级中的数据均不为空时，以所述最小层级为起点，逐层执行数据批量删除操作，直到将主表中的数据删除后，得到数据删除对应的处理结果，并将所述处理结果返回至所述数据删除请求的所在端。/n

【技术特征摘要】
1.一种基于分布式系统的数据处理方法，所述方法包括：
接收数据删除请求；所述数据删除请求中包含对应的数据过滤条件；
利用消息列队分发所述数据过滤条件对应的数据删除任务至对应的至少两个线程；
通过所述线程查询对应的删除数据；所述删除数据包含级联关系；
根据所述级联关系，检测到所述级联关系对应的每一层级中的数据均不为空时，以所述最小层级为起点，逐层执行数据批量删除操作，直到将主表中的数据删除后，得到数据删除对应的处理结果，并将所述处理结果返回至所述数据删除请求的所在端。


2.根据权利要求1所述的方法，其特征在于，所述通过所述线程查询对应的删除数据包括：
根据SQL语句中的查询条件，基于对象关系映射关系框架从数据库中查询对应的删除数据。


3.根据权利要求2所述的方法，其特征在于，所述数据过滤条件包括数据的类型、数据的时间以及数据的功能；
所述根据SQL语句中的查询条件，基于对象关系映射关系框架从数据库中查询对应的删除数据，包括：
根据所述数据的类型、数据的时间以及数据的功能，通过设置关键字的取值范围，利用物理分页从数据库中查询对应的删除数据。


4.根据权利要求1所述的方法，其特征在于，所述根据所述级联关系，检测到所述级联关系对应的每一层级中的数据均不为空时包括：
根据所述级联关系，获取所述删除数据对应的主表标识，并判断所述主表标识对应的主表数据是否为空；
当所述主表数据不为空时，则获取所述主表中预设数量的数据，并根据所述主表标识查询对应的第一分录子表数据是否为空；
当所述第一分录子表数据不为空时，则获取所述第一分录子表数据中预设数量的数据，并判断所述第一分录子表数据对应的下一层级数据是否为空，直至所述级联关系对应的最小层级数据。


5.根据权利要求4所述的方法，其特征在于，所述当所述第一分录子表数据不为空时，则获取所述第一分录子表数据中预设数量的数据，并判断所述第一分录子表数据对应的下一层级数据是否为空，直至所述级联关系对应的最小层级数据之后，所述方法还包括：
当检测所述最小层级数据不为空时，则对所述最小层级数据进行批量删除操作。


6.根据权利要求5所述的方法，其特征在于，所述以所述最小层级为起点，逐层执行数据批量删除操作，直到将主表中的数据删除后，得到数据删除对应的处理结...

【专利技术属性】
技术研发人员：汪中华，涂克东，林志明，
申请(专利权)人：金蝶软件中国有限公司，
类型：发明
国别省市：广东;44