一种数据处理方法及系统技术方案

本申请公开了一种数据处理方法及系统，属于计算机领域。所述数据处理方法包括：获取待处理任务数据的凭证分组代码以及所述凭证分组代码对应的分布式锁；在所述凭证分组代码对应的分布式锁获取成功的情况下，判断所述待处理任务数据的数据量是否大于阈值；在所述待处理数据的数据量大于阈值的情况下，根据所述待处理任务数据的数据量，确定所述待处理任务数据的批次数目N；根据目标分类规则，所述待处理数据分类为N批数据；对所述N批数据并行执行处理操作，得到处理结果。得到处理结果。得到处理结果。

【技术实现步骤摘要】
一种数据处理方法及系统


[0001]本申请属于计算机领域，具体涉及一种数据处理方法及系统。

技术介绍

[0002]随着信息技术的不断发展，待处理分类的数据也越来越多，如保险领域，在保险公司内部的财务核算过程中，需要将各项业务交易的原始凭证，按照会计原则和会计规范进行分类、分录、审核、调整和汇总，最终形成会计凭证，以反映公司的财务状况和经营成果。
[0003]以保险行业为例，相关技术往往采用Oracle数据库，通过一种由一系列的SQL语句和PL/SQL代码组成的预编译的程序进行存储，按照会计原则和会计规范进行分类合并汇总所有数据。
[0004]由于直接通过Oracle数据库处理所有数据，容易存在效率较低的问题。

技术实现思路

[0005]本申请实施例提供一种数据处理方法及系统，能够解决相关技术中存在的效率较低的问题。
[0006]第一方面，本申请实施例提供了一种数据处理方法，该方法包括：
[0007]获取待处理任务数据的凭证分组代码以及所述凭证分组代码对应的分布式锁；
[0008]在所述凭证分组代码对应的分布式锁获取成功的情况下，判断所述待处理任务数据的数据量是否大于阈值；
[0009]在所述待处理数据的数据量大于阈值的情况下，根据所述待处理任务数据的数据量，确定所述待处理任务数据的批次数目N；
[0010]根据目标分类规则，所述待处理数据分类为N批数据；
[0011]对所述N批数据并行执行处理操作，得到处理结果。
[0012]第二方面，本申请实施例提供了一种数据处理系统，包括：获取模块、判断模块以及处理模块；
[0013]获取模块，用于获取待处理任务数据的凭证分组代码以及所述凭证分组代码对应的分布式锁；
[0014]判断模块，用于在所述凭证分组代码对应的分布式锁获取成功的情况下，判断所述待处理任务数据的数据量是否大于阈值；
[0015]处理模块，用于在所述待处理数据的数据量大于阈值的情况下，根据所述待处理任务数据的数据量，确定所述待处理任务数据的批次数目N；根据目标分类规则，所述待处理数据分类为N批数据；对所述N批数据并行执行处理操作，得到处理结果。
[0016]在本申请实施例中，获取待处理任务数据的凭证分组代码以及所述凭证分组代码对应的分布式锁；在所述凭证分组代码对应的分布式锁获取成功的情况下，判断所述待处理任务数据的数据量是否大于阈值；在所述待处理数据的数据量大于阈值的情况下，根据所述待处理任务数据的数据量，确定所述待处理任务数据的批次数目N；根据目标分类规
则，所述待处理数据分类为N批数据；对所述N批数据并行执行处理操作，得到处理结果。如此，通过将待处理任务数据的数据量与阈值进行判断，在所述待处理数据的数据量大于阈值的情况下，根据目标分类规则，将所述待处理数据分类为N批数据，并对所述N批数据并行执行处理操作得到操作结果。通过将所述待处理数据进行分类，并对N批数据并行处理，解决了相关技术直接通过Oracle数据库处理所有数据，容易存在效率较低的问题。
附图说明
[0017]图1是本申请实施例提供的一种数据处理方法的流程图；
[0018]图2是本申请实施例提供的数据计算引擎的总体架构的示意图；
[0019]图3是本申请实施例提供的一种数据处理方法的流程图；
[0020]图4是本申请实施例提供的一种数据处理方法的流程图；
[0021]图5是本申请实施例提供的一种数据处理方法的流程图；
[0022]图6是本申请实施例提供的一种数据处理方法的流程图；
[0023]图7是本申请实施例提供的一种数据处理系统的结构图。
具体实施方式
[0024]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
[0025]本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
[0026]随着信息技术的不断发展，待处理分类的数据也越来越多，如保险领域，在保险公司内部的财务核算过程中，需要将各项业务交易的原始凭证，按照会计原则和会计规范进行分类、分录、审核、调整和汇总，最终形成会计凭证，以反映公司的财务状况和经营成果。
[0027]以保险行业为例，相关技术往往采用Oracle数据库，通过一种由一系列的SQL语句和PL/SQL代码组成的预编译的程序进行存储，按照会计原则和会计规范进行分类合并汇总所有数据。当待处理数据较多时，例如百万级明细需耗时10
‑
12个小时甚至异常退出，导致无法满足财务过账的时效要求，并消耗大量数据库服务器资源影响系统其他正常业务的处理，出现资源利用率低，性能较差的问题。
[0028]同时，由于存储过程是在数据库服务器上运行的，因此带来了一些对于数据库服务器的影响。例如调试和测试存储过程需要连接到数据库服务器，间接增加了调试和测试的难度。并因为存储过程占用较多的服务器资源，如果存储过程不优化或者设计不合理，可能会对数据库性能产生负面影响，且存储过程的维护成本较高，需要数据库管理员或专业的开发人员来维护和管理。甚至可能出现安全问题，如果存储过程没有得到充分的保护，可能会导致安全问题，如SQL注入攻击等。
[0029]本申请提出的数据处理方法，获取待处理任务数据的凭证分组代码以及所述凭证分组代码对应的分布式锁；在所述凭证分组代码对应的分布式锁获取成功的情况下，判断所述待处理任务数据的数据量是否大于阈值；在所述待处理数据的数据量大于阈值的情况下，根据所述待处理任务数据的数据量，确定所述待处理任务数据的批次数目N；根据目标分类规则，所述待处理数据分类为N批数据；对所述N批数据并行执行处理操作，得到处理结果。如此，通过将待处理任务数据的数据量与阈值进行判断，在所述待处理数据的数据量大于阈值的情况下，根据目标分类规则，将所述待处理数据分类为N批数据，并对所述N批数据并行执行处理操作得到操作结果。通过将所述待处理数据进行分类，并对N批数据并行处理，解决了相关技术直接通过Oracle数据库处理所有数据，容易存在效率较低的问题。
[0030]同时，本申请实施例提供的数据处理方法可应用Actor模型。下面对Actor模型进行简要介绍。
[0031]在使用Java进行并发编程时需要特别的关注锁和内存原子性等一系列线程问题，而Actor模型内部的状态由本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取待处理任务数据的凭证分组代码以及所述凭证分组代码对应的分布式锁；在所述凭证分组代码对应的分布式锁获取成功的情况下，判断所述待处理任务数据的数据量是否大于阈值；在所述待处理数据的数据量大于阈值的情况下，根据所述待处理任务数据的数据量，确定所述待处理任务数据的批次数目N；根据目标分类规则，所述待处理数据分类为N批数据；对所述N批数据并行执行处理操作，得到处理结果。2.根据权利要求1所述的方法，其特征在于，所述方法由第一Actor计算单元执行，在所述判断所述待处理任务数据的数据量是否大于阈值之前，所述方法还包括：从第二Actor计算单元获取所述阈值。3.根据权利要求2所述的方法，其特征在于，所述获取待处理任务数据的凭证分组代码包括：从第三Actor计算单元接收待处理任务数据的凭证分组代码。4.根据权利要求1项所述的方法，其特征在于，所述待处理任务数据为保险领域的会计任务数据；所述根据目标分类规则，所述待处理数据分类为N批数据，包括：根据所述会计任务数据的费用标识，将所述会计任务数据分类为N批数据。5.根据权利要求4所述的方法，其特征在于，在所述将所述会计任务数据分类为N批数据之后，所述方法还包括：针对所述N批数据中的每批数据，获取费用列表，得到N个费用列表；将所述N个费用列表和所述N个费用列表对应的N个批标识保存到数据库中；其中，所述N个批标识中的每一个批标识用于唯一标识一批数据。6.根据权利要求1所述的方法，其特征在于，所述对所述N批数据并行执行处理操作，得到处理结果，包括：针对每一批数据，执行以下操作：确定子任务是...

【专利技术属性】
技术研发人员：李凯，宋磊，
申请(专利权)人：人保信息科技有限公司，
类型：发明
国别省市：