数据处理方法、装置、介质及电子设备制造方法及图纸

本发明专利技术提供了一种数据处理方法，包括：获取线程池中每个线程的数据集；根据所述每个线程的业务逻辑对所述每个线程的数据集进行处理：当处理结果显示所述数据集中存在数据异常时，按照预设规则对所述数据集进行拆分处理，得到所述数据集的异常数据，并对所述异常数据进行标注；按照预设的数据库操作类型将处理后的数据集的数据分别添加到相应的队列，这样可以准确快速的定位到数据集的异常数据，有效地避免了如果吞掉异常数据，则难保证数据的一致性，并且会对整个该队列批量提交的数据产生影响的缺陷。本发明专利技术还提供了一种数据处理装置、介质以及电子设备。

【技术实现步骤摘要】
数据处理方法、装置、介质及电子设备
本专利技术涉及数据处理的
，具体而言，涉及一种数据处理方法、装置、介质及电子设备。
技术介绍
目前，多线程处理框架在大数据量的CPU密集型数据处理场景下可以发挥其并行运算能力，提高数据处理时效，同时在线程内部对关系型数据库存储采用批量提交机制可以更加充分地使用数据库资源，降低I/O等待时间，高效完成数据提交。根据目前的多次试验结果显示批量数据提交模式要比逐条数据处理效率至少提高5倍左右。在高并发中关系型数据库I/O等待是制约数据库性能的瓶颈之一，因此，将批量数据的提交模式集成到多线程处理框架中可以更有效地缓解多线程处理中对数据库的压力、弥补关系型数据库无法横向扩展的不足。然而批量数据提交集中的事务异常管理是非常重要，如何在效率和异常捕获之间找到平衡是目前使用批量提交的一大难点。在批量数据提交机制中一条数据的异常会导致整个批量的数据单元集事务回滚，如果吞掉异常数据，则难保证数据的一致性，并且会对整个队列批量提交的数据产生影响，进而提高运维的难度和成本。需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本专利技术的背景的理解，因此可以包括不构本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，该方法包括：获取线程池中每个线程的数据集；根据所述每个线程的业务逻辑对所述每个线程的数据集进行处理；当处理结果显示所述数据集中存在数据异常时，按照预设规则对所述数据集进行拆分处理，得到所述数据集的异常数据，并对所述异常数据进行标注；按照预设的数据库操作类型将处理后的数据集的数据分别添加到相应的队列。

【技术特征摘要】
1.一种数据处理方法，其特征在于，该方法包括：获取线程池中每个线程的数据集；根据所述每个线程的业务逻辑对所述每个线程的数据集进行处理；当处理结果显示所述数据集中存在数据异常时，按照预设规则对所述数据集进行拆分处理，得到所述数据集的异常数据，并对所述异常数据进行标注；按照预设的数据库操作类型将处理后的数据集的数据分别添加到相应的队列。2.根据权利要求1所述的方法，其特征在于，当处理结果显示所述数据集中存在数据异常时，按照预设规则对所述数据集进行拆分处理，得到所述数据集的异常数据包括：当处理结果显示所述数据集中存在数据异常时，按照预设规则对所述数据集进行拆分，得到所述数据集的子数据集；根据所述每个线程的业务逻辑对所述数据集的每个子数据集进行处理；循环执行上述两个步骤直到定位到所述数据集的异常数据为止。3.根据权利要求1所述的方法，其特征在于，在获取线程池中每个线程的数据集之前，该方法还包括：判断所述线程池中线程的数量是否大于预设阈值；如果大于，则停止向所述线程池内添加新的线程。4.根据权利要求1所述的方法，其特征在于，该方法还包括：按照业务类型对所述线程池中的每个线程进行分类，以确保所述线程池中的多个线程之间在处理数据时相互独立。5.根据权利要求4所述的方法，其特征在于，所述获取线程池中每个线程的数据集包括：在多线程控制层分发线程时，判断所述线程池中是否存在与即将执行处理任务的线程类型相同的线程；如果存在，且该线程处于运行状态时，按照预设时长校验该线程已处理数据量的变化；根据校验...

【专利技术属性】
技术研发人员：杨旺明，
申请(专利权)人：泰康保险集团股份有限公司，
类型：发明
国别省市：北京,11