一种数据处理方法和装置制造方法及图纸

本发明专利技术公开了一种数据处理方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：根据获取到的并发配置信息获取多个应用的任务锁信息；按照与所述多个应用中各应用的任务锁信息对应的数据分片规则，获取所述各应用对应的分片数据；利用所述各应用对应的分片数据，按照所述各应用的业务逻辑进行数据处理。该实施方式能够在多应用并发执行时实现任务锁的正常获取记录，解决应用资源争抢的问题，保证资源的分配平均和资源高效利用，在数据量递增和突增的情况下，可以动态添加应用以及动态调整多应用启动的参数开启并发处理，有效提升处理效率。

【技术实现步骤摘要】
一种数据处理方法和装置
本专利技术涉及计算机
，尤其涉及一种数据处理方法和装置。
技术介绍
现有的数据同步过程中采用的定时任务调度。在发起任务执行命令时，假设有三台应用主机同时得到数据同步任务执行的命令，并通过获取应用执行锁来决定当前最快获取锁的应用来执行资产信息同步任务，其他应用结束本次任务执行。当前任务执行步骤如下：1、资产信息同步定时任务在规定时间触发执行；2、根据应用部署，假设有三台应用同时相应这个执行的任务；3、三台应用同时启动获取执行任务锁；4、获取到执行任务锁的应用进行任务的执行，其他两台应用任务结束。在实现本专利技术过程中，专利技术人发现现有技术中至少存在如下问题：对于多应用响应任务，存在任务锁的应用资源争抢问题；最终只有一台应用执行真正任务，导致其余应用的资源浪费；每天任务处理数据量递增的情况，单一应用处理存在效率瓶颈。
技术实现思路
有鉴于此，本专利技术实施例提供一种数据处理方法和装置，能够在多应用并发执行时实现任务锁的正常获取记录，解决应用资源争抢的问题，保证资源的分配平均和资源高效利用，在数据量递增和突增的情况下，可以动态添加应用以及动态调整多应用启动的参数本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：根据获取到的并发配置信息获取多个应用的任务锁信息；按照与所述多个应用中各应用的任务锁信息对应的数据分片规则，获取所述各应用对应的分片数据；利用所述各应用对应的分片数据，按照所述各应用的业务逻辑进行数据处理。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：根据获取到的并发配置信息获取多个应用的任务锁信息；按照与所述多个应用中各应用的任务锁信息对应的数据分片规则，获取所述各应用对应的分片数据；利用所述各应用对应的分片数据，按照所述各应用的业务逻辑进行数据处理。2.根据权利要求1所述的方法，其特征在于，从数据库参数配置或所述各应用的JVM参数配置中获取所述并发配置信息。3.根据权利要求1所述的方法，其特征在于，按照与所述多个应用中各应用的任务锁信息对应的数据分片规则，获取所述各应用对应的分片数据的步骤，包括：对每条数据按照主键ID进行如下的取模操作：该条数据对应的任务锁标识＝MOD(主键ID，任务并发度)；获取与所述各应用的任务锁标识对应的数据，以得到所述各应用对应的分片数据；其中，所述各应用的任务锁标识根据所述各应用的任务锁信息得到，所述任务并发度根据所述并发配置信息得到。4.根据权利要求1所述的方法，其特征在于，按照与所述多个应用中各应用的任务锁信息对应的数据分片规则，获取所述各应用对应的分片数据的步骤，包括：获取与所述各应用的任务锁信息对应的分片参数配置；根据所述分片参数配置和数据的主键ID进行数据切分，以确定每一分片数据的数据范围，所述每一数据范围对应一任务锁标识；根据与各应用的任务锁标识对应的数据范围，获取与所述各应用对应的分片数据，所述各应用的任务锁标识根据所述各应用的任务锁信息得到。5.一种数据处理装置，其特征在于，包括：任务锁信息获取模块，用于根据获取到的并发配置信息获取多个应用的任务锁信息；分片数据获取模块，用...

【专利技术属性】
技术研发人员：李启坤，
申请(专利权)人：北京京东金融科技控股有限公司，
类型：发明
国别省市：北京,11