一种基于springbatch对于大量数据进行分片处理的算法制造技术

本发明专利技术属于数据通信技术领域，具体的说是一种基于springbatch对于大量数据进行分片处理的算法，该数据分片处理的算法具体步骤如下：S1：定义我们用到的所有变量；S2：读取需要操作表的所有主键；S3：从数据库进行数据读取，每次读取readNum条数据；S4：数据处理，使用springbatch的多线程分片处理，将所有的数据分成多个片，使用多线程进行分片的处理操作；S5：数据处理完成，该过程中，通过分片处理的算法，从而可提高处理数据时的速度，降低处理数据时所花费的时间。

【技术实现步骤摘要】

本专利技术属于数据通信，具体的说是一种基于springbatch对于大量数据进行分片处理的算法。

技术介绍

1、在我们常用的金融系统交易处理中，常常需要对大量的数据进行更新、删除、插入数据的操作。

2、现有技术中金融系统交易数据处理的方式主要分为四个步骤，首先需要对数据进行整理收集，然后将其存储到指定的数据库中，之后在对这些存储的数据进行加工，加工完成后，在将加工完成后的数据传输至指定位置，从而即可完成对数据的处理。

3、但是现有技术中在对数据进行操作的过程中发现，需要花费大量的时间才能完成这些数据的处理，但同时在金融交易系统中我们对于账务的处理又有时限的要求，需要更快的处理完这些数据，为此，本专利技术提供一种基于springbatch对于大量数据进行分片处理的算法。

技术实现思路

1、为了弥补现有技术的不足，解决
技术介绍
中所提出的至少一个技术问题。

2、本专利技术解决其技术问题所采用的技术方案是：本专利技术所述的一种基于springbatch对于大量数据进行分片处理的算法本文档来自技高网...

【技术保护点】

1.一种基于springbatch对于大量数据进行分片处理的算法，其特征在于，该数据分片处理的算法具体步骤如下：

2.根据权利要求1所述的一种基于springbatch对于大量数据进行分片处理的算法，其特征在于：根据S1中所提出的定义我们用到的所有变量是指，start每次缓存读取的起始位置、allKeysSize每个分片要处理的allkey的大小、readNum每次读入缓存的数量、firstFlag第一次读取标识，默认为true，读取完以后修改为false；避免数据处理失败时，重新拉起批量处理数据时，数据的重复处理、currentitemCount当前处理到的第几条数据，每处...

【技术特征摘要】

1.一种基于springbatch对于大量数据进行分片处理的算法，其特征在于，该数据分片处理的算法具体步骤如下：

2.根据权利要求1所述的一种基于springbatch对于大量数据进行分片处理的算法，其特征在于：根据s1中所提出的定义我们用到的所有变量是指，start每次缓存读取的起始位置、allkeyssize每个分片要处理的allkey的大小、readnum每次读入缓存的数量、firstflag第一次读取标识，默认为true，读取完以后修改为false；避免数据处理失败时，重新拉起批量处理数据时，数据的重复处理、currentitemcount当前处理到的第几条数据，每处理完一条数据加1。

3.根据权利要求1所述的一种基于springbatch对于大量数据进行分片处理的算法，其特征在于：根据s2中所提出的操作表的所有主键是指，根据数据库主键获取所有的key值allkeys、定义分片变量、firstflag为true，表示第一次读取数据、设置allkeyssize的值为allkeys/gridsize作为每个分片要处理的数据量、第一次读取完，firstflag置为false、start设置为0，表示从第一条数据开始。

4.根据权利...

【专利技术属性】
技术研发人员：高磊，
申请(专利权)人：上海通联金融服务有限公司，
类型：发明
国别省市：