数据处理方法和装置、电子设备及计算机可读存储介质制造方法及图纸

本申请实施例提供的数据处理方法和装置、电子设备及计算机可读存储介质，涉及数据处理技术领域。首先，根据多个线程的线程IO时间、线程CPU时间和对应的CPU数目，计算得到包括所述多个线程的线程池大小。其次，根据所述线程池大小对所述多个线程进行异步处理。通过上述方法，可以提高数据处理的效率。

Data processing methods and devices, electronic equipment and computer readable storage medium

【技术实现步骤摘要】
数据处理方法和装置、电子设备及计算机可读存储介质
本申请涉及数据处理
，具体而言，涉及一种数据处理方法和装置、电子设备及计算机可读存储介质。
技术介绍
在绝大多数的软件项目中都有定时生成报表、文件、计算结果等批处理任务，在业务逻辑复杂或业务链较长时，数据库查询并行执行等待时间较久，系统性能闲置比较严重，在数据量巨大的情况下可能会出现周期内处理不完的情况。因此，经专利技术人研究发现，在现有技术中进行同步查询资源闲置严重，从而存在着数据处理的效率低的问题。
技术实现思路
有鉴于此，本申请的目的在于提供一种数据处理方法和装置、电子设备及计算机可读存储介质，以改善现有技术中存在的问题。为实现上述目的，本申请实施例采用如下技术方案：一种数据处理方法，包括：根据多个线程的线程IO时间、线程CPU时间和对应的CPU数目，计算得到包括所述多个线程的线程池大小；根据所述线程池大小对所述多个线程进行异步处理。在本申请实施例较佳的选择中，所述根据所述线程池大小对所述多个线程进行异步处理的步骤，本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n根据多个线程的线程IO时间、线程CPU时间和对应的CPU数目，计算得到包括所述多个线程的线程池大小；/n根据所述线程池大小对所述多个线程进行异步处理。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
根据多个线程的线程IO时间、线程CPU时间和对应的CPU数目，计算得到包括所述多个线程的线程池大小；
根据所述线程池大小对所述多个线程进行异步处理。


2.如权利要求1所述的数据处理方法，其特征在于，所述根据所述线程池大小对所述多个线程进行异步处理的步骤，包括：
根据所述线程池大小计算得到进行线程处理的数量阈值；
根据所述数量阈值对所述多个线程分别进行异步处理。


3.如权利要求2所述的数据处理方法，其特征在于，所述根据所述数量阈值对所述多个线程分别进行异步处理的步骤，包括：
判断所述多个线程的数量是否大于所述数量阈值；
若所述多个线程的数量大于所述数量阈值，则根据所述数量阈值对所述多个线程进行分组处理，得到多个线程组，并分别对每个线程组进行异步处理；
若所述多个线程的数量不大于所述数量阈值，则直接对所述多个线程进行异步处理。


4.如权利要求1所述的数据处理方法，其特征在于，所述根据所述线程池大小对所述多个线程进行异步处理的步骤，包括：
通过预设的Future模型和CountDownLatch组件根据所述线程池大小对所述多个线程进行异步处理。


5.如权利要求1所述的数据处理方法，其特征在于，所述根据多个线程的线程IO时间、线程CPU时间和对应的CPU数目，计算得到包括所述多个线程的线程...

【专利技术属性】
技术研发人员：刘波，苏颖，王江飞，
申请(专利权)人：恩亿科北京数据科技有限公司，
类型：发明
国别省市：北京;11