大批量数据处理方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种大批量数据处理方法、装置、计算机设备及存储介质。本发明专利技术应用于大数据中的数据更新领域。该方法包括：从预设数据库中获取所有待处理批次数据并对每个待处理批次数据分配批次号；将其中一个批次号的待处理批次数据作为目标批次数据，对目标批次数据添加排他锁并处理目标批次数据；若目标批次数据处理完成，获取目标批次数据中的初始预设字段值并根据初始预设字段值将目标批次数据提交至预设数据库以释放排他锁；根据批次号将下一批次号的待处理批次数据作为目标批次数据进行处理直至所有批次号的待处理批次数据全部处理完成。通过实施本发明专利技术实施例的方法可实现保证数据不会重复抓取以及漏处理，提高大批量数据的处理速度。

Mass data processing methods, devices, computer equipment and storage media

【技术实现步骤摘要】
大批量数据处理方法、装置、计算机设备及存储介质
本专利技术涉及数据处理
，尤其涉及一种大批量数据处理方法、装置、计算机设备及存储介质。
技术介绍
随着经济与技术的发展，数据呈爆发式的增长，每天都会产生巨量的数据，每天都需要处理巨量的数据。特别是在催收领域中，催收数据具有数量级大、更新变化非常频繁的特点，通过策略引擎对动态更新的催收数据进行处理可有效地控制风险。因此，现有的催收系统每日都需要处理大批量的数据，然而大批量的数据在数据库中的读写耗时长，对服务器的压力大，容易导致出现重复抓取数据以及漏处理数据的情况。
技术实现思路
本专利技术实施例提供了一种大批量数据处理方法、装置、计算机设备及存储介质，旨在解决处理大批量数据耗时长，且出现重复抓取以及漏处理的问题。第一方面，本专利技术实施例提供了一种大批量数据处理方法，其包括：从预设数据库中获取所有待处理批次数据并对每个所述待处理批次数据分配批次号；将其中一个批次号的所述待处理批次数据作为目标批次数据，对所述目标批次数据添加排他锁并处理所述目标批次数据；若所述目标批次数据处理完成，获取所述目标批次数据中的初始预设字段值并根据所述初始预设字段值将所述目标批次数据提交至所述预设数据库以释放所述排他锁；根据所述批次号将下一批次号的所述待处理批次数据作为目标批次数据进行处理直至所有批次号的所述待处理批次数据全部处理完成。第二方面，本专利技术实施例还提供了一种大批量数据处理装置，其包括：分配单元，用于从预设数据库中获取所有待处理批次数据并对每个所述待处理批次数据分配批次号；排他单元，用于将其中一个批次号的所述待处理批次数据作为目标批次数据，对所述目标批次数据添加排他锁并处理所述目标批次数据；释放单元，用于若所述目标批次数据处理完成，获取所述目标批次数据中的初始预设字段值并根据所述初始预设字段值将所述目标批次数据提交至所述预设数据库以释放所述排他锁；处理单元，用于根据所述批次号将下一批次号的所述待处理批次数据作为目标批次数据进行处理直至所有批次号的所述待处理批次数据全部处理完成。第三方面，本专利技术实施例还提供了一种计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法。第四方面，本专利技术实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时可实现上述方法。本专利技术实施例提供了一种大批量数据处理方法、装置、计算机设备及存储介质。其中，所述方法包括：从预设数据库中获取所有待处理批次数据并对每个所述待处理批次数据分配批次号；将其中一个批次号的所述待处理批次数据作为目标批次数据，对所述目标批次数据添加排他锁并处理所述目标批次数据；若所述目标批次数据处理完成，获取所述目标批次数据中的初始预设字段值并根据所述初始预设字段值将所述目标批次数据提交至所述预设数据库以释放所述排他锁；根据所述批次号将下一批次号的所述待处理批次数据作为目标批次数据进行处理直至所有批次号的所述待处理批次数据全部处理完成。本专利技术实施例由于对待处理批次数据分配批次号并添加排他锁，可实现保证数据不会重复抓取以及漏处理，提高大批量数据的处理速度。附图说明为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的大批量数据处理方法的流程示意图；图2为本专利技术实施例提供的大批量数据处理方法的子流程示意图；图3为本专利技术实施例提供的大批量数据处理方法的子流程示意图；图4为本专利技术实施例提供的大批量数据处理方法的子流程示意图；图5为本专利技术实施例提供的大批量数据处理方法的子流程示意图；图6为本专利技术实施例提供的大批量数据处理装置的示意性框图；图7为本专利技术实施例提供的大批量数据处理装置的具体单元的示意性框图；以及图8为本专利技术实施例提供的计算机设备的示意性框图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。还应当理解，在此本专利技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本专利技术。如在本专利技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本专利技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。请参阅图1，图1为本专利技术实施例提供的大批量数据处理方法的示意性流程图。该大批量数据处理方法可应用于催收系统中，在服务器中实现。催收系统是借贷公司用于管控借贷数据的信息系统，该系统中包括有大量的与催收相关的数据，且随着每日催收数据的变化，催收系统每日需要处理大批量的催收数据。现有的数据库在处理写操作较少的数据时，通常采用乐观锁来操作数据，通过乐观锁来操作数据时默认其他线程不会修改数据，因此不会对数据上锁，只是在更新数据前判断其他线程在此期间是否修改过数据，采用乐观锁操作数据效率高，但是产生的并发冲突多，降低性能；现有的数据库在处理写操作较多的数据时，通常采用悲观锁来操作数据，通过悲观锁处理数据时默认其他线程会修改数据，因此在操作数据之前先对数据上锁，上锁后的数据其他线程就不能对其进行操作，采用悲观锁操作数据并发冲突少，但是上锁的开销大，耗费资源，且线程时常需要挂起等待，降低性能。对于催收系统来说，每日都需要处理大批量的催收数据，催收数据不仅数据量级大，而且更新频繁。因此，采用本专利技术的大批量数据处理方法，通过乐观锁与悲观锁相结合的方式，可快速高效地处理大批量数据的同时，保证数据不会重复抓取以及漏处理。图1是本专利技术实施例提供的大批量数据处理方法的流程示意图。如图所示，该方法包括以下步骤S110-S140。S110、从预设数据库中获取所有待处理批次数据并对每个所述待处理批次数据分配批次号。在一实施例中，预设数据库指的是催收系统的数据库，预设数据库中存储催收系统的催收数据。待处理批次数据指的是需要处理的以批次为单位的催收数据，待处理批次数据的批次根据数据大小预先划分好，例如，待处理批次数据的数据大小一共100G，以1G为一个批次划分为100个批次的待处理批次数据。批次号指的是分配给所述待处理批次数据的编号，每一批次的待处理数据均分配有一批次号，例如，Dataprocessing001。通过批次号来处理所述待处理批次数据，可以保证不会遗漏处理。在一实施例中，如图2所示，所述步骤S110可包括步骤S111-S113。S111、从预设数据库中获取所有待处理批次数据。S111、根据所本文档来自技高网...

【技术保护点】
1.一种大批量数据处理方法，其特征在于，包括：从预设数据库中获取所有待处理批次数据并对每个所述待处理批次数据分配批次号；将其中一个批次号的所述待处理批次数据作为目标批次数据，对所述目标批次数据添加排他锁并处理所述目标批次数据；若所述目标批次数据处理完成，获取所述目标批次数据中的初始预设字段值并根据所述初始预设字段值将所述目标批次数据提交至所述预设数据库以释放所述排他锁；根据所述批次号将下一批次号的所述待处理批次数据作为目标批次数据进行处理直至所有批次号的所述待处理批次数据全部处理完成。

【技术特征摘要】
1.一种大批量数据处理方法，其特征在于，包括：从预设数据库中获取所有待处理批次数据并对每个所述待处理批次数据分配批次号；将其中一个批次号的所述待处理批次数据作为目标批次数据，对所述目标批次数据添加排他锁并处理所述目标批次数据；若所述目标批次数据处理完成，获取所述目标批次数据中的初始预设字段值并根据所述初始预设字段值将所述目标批次数据提交至所述预设数据库以释放所述排他锁；根据所述批次号将下一批次号的所述待处理批次数据作为目标批次数据进行处理直至所有批次号的所述待处理批次数据全部处理完成。2.根据权利要求1所述的大批量数据处理方法，其特征在于，所述从预设数据库中获取所有待处理批次数据并对每个所述待处理批次数据分配批次号，包括：从预设数据库中获取所有待处理批次数据；根据所述待处理批次数据的批次数量分配批次号；根据所述批次号按照由小到大对所述待处理批次数据进行排序。3.根据权利要求1所述的大批量数据处理方法，其特征在于，所述将其中一个批次号的所述待处理批次数据作为目标批次数据，对所述目标批次数据添加排他锁并处理所述目标批次数据，包括：将其中一个批次号的所述待处理批次数据作为目标批次数据；调用所述预设数据库的排他锁机制对所述目标批次数据添加排他锁；对已添加所述排他锁的所述目标批次数据进行处理；对处理完成的所述目标批次数据添加处理标记。4.根据权利要求1所述的大批量数据处理方法，其特征在于，所述获取所述目标批次数据中的初始预设字段值并根据所述初始预设字段值将所述目标批次数据提交至所述预设数据库以释放所述排他锁，包括：从所述目标批次数据中获取初始预设字段值；从所述预设数据库中获取所述目标批次数据的当前预设字段值；将所述初始预设字段值与所述当前预设字段值进行对比；若所述初始预设字段值与所述当前预设字段值相同，则提交所述目标批次数据至所述预设数据库以释放所述排他锁。5.根据权利要求3所述的大批量数据处理方法，其特征在于，所述根据所述批次号将下一批次号的所述待处理批次数据作为目标批次数据...

【专利技术属性】
技术研发人员：孙强，唐龙，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东,44