一种处理excel大数据导入的任务切分执行方法技术

本发明专利技术公开了一种处理excel大数据导入的任务切分执行方法，步骤S1：将所有的excel数据自动切分为多个子任务，并且，把各子任务封装到JDK的Future对象中，其是根据操作系统的核数来切分所有的excel数据为对应的子任务数量，将要处理的数据量平均分给每一子任务；步骤S2：由线程池ThreadPool并发执行子任务的业务校验及其他业务操作。本发明专利技术由于对子任务数做了自动切分且切分数量与CPU一致，保证了各子任务全部可以并发同时执行，更能充分的利用CPU资源的使用，且对任务数线程数的管理也减少了上下文切换，减少IO请求数据库的次数，因此性能达到很大的提升。此性能达到很大的提升。

【技术实现步骤摘要】
一种处理excel大数据导入的任务切分执行方法


[0001]本专利技术涉及计算机软件领域，尤其涉及的是一种处理excel大数据导入的任务切分执行方法。

技术介绍

[0002]导入的excel数据上万甚至几十万条数据时，由于要对每一行数据做各种业务校验，然后返回所有不规范的数据提示客户，校验通过则批量导入数据到数据库，处理时间会较慢，慢至几十分钟甚至更久，处理时间太长除了体验差，还会存在系统隐患，长期占用大量内存可能使系统崩溃。
[0003]现有常规方法是单线程循环对每一条数据做校验并记录错误信息，最后汇总一并提示；缺点：速度很慢，耗时间。
[0004]改进方法有改为多线程处理每一行数据并做汇总。
[0005]缺点：多线程处理多个任务，任务数量随导入数据量而变化，可能使得有些任务需要等待CPU的时间分片来执行，未能智能的切分任务以充分利用CPU资源，容易造成过多的上下文切换导致性能欠佳。
[0006]因此，现有技术存在缺陷，需要改进。

技术实现思路

[0007]本专利技术所要解决的技术问题是：提供一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种处理excel大数据导入的任务切分执行方法，其特征在于，包括如下步骤：步骤S1：将所有的excel数据自动切分为多个子任务，并且，把各子任务封装到JDK的Future对象中；其中，是根据操作系统的核数来切分所有的excel数据为对应的子任务数量，并且，将要处理的数据量平均分给每一子任务；步骤S2：由线程池ThreadPool并发同时执行子任务的业务校验及其他业务操作。...

【专利技术属性】
技术研发人员：王伟，
申请(专利权)人：深圳前海环融联易信息科技服务有限公司，
类型：发明
国别省市：