数据处理方法和装置、电子设备及计算机可读存储介质制造方法及图纸

本申请实施例提供的数据处理方法和装置、电子设备及计算机可读存储介质，涉及数据处理技术领域。首先，根据多个线程的线程IO时间、线程CPU时间和对应的CPU数目，计算得到包括所述多个线程的线程池大小。其次，根据所述线程池大小对所述多个线程进行异步处理。通过上述方法，可以提高数据处理的效率。

Data processing methods and devices, electronic equipment and computer readable storage medium

【技术实现步骤摘要】
数据处理方法和装置、电子设备及计算机可读存储介质
本申请涉及数据处理
，具体而言，涉及一种数据处理方法和装置、电子设备及计算机可读存储介质。
技术介绍
在绝大多数的软件项目中都有定时生成报表、文件、计算结果等批处理任务，在业务逻辑复杂或业务链较长时，数据库查询并行执行等待时间较久，系统性能闲置比较严重，在数据量巨大的情况下可能会出现周期内处理不完的情况。因此，经专利技术人研究发现，在现有技术中进行同步查询资源闲置严重，从而存在着数据处理的效率低的问题。
技术实现思路
有鉴于此，本申请的目的在于提供一种数据处理方法和装置、电子设备及计算机可读存储介质，以改善现有技术中存在的问题。为实现上述目的，本申请实施例采用如下技术方案：一种数据处理方法，包括：根据多个线程的线程IO时间、线程CPU时间和对应的CPU数目，计算得到包括所述多个线程的线程池大小；根据所述线程池大小对所述多个线程进行异步处理。在本申请实施例较佳的选择中，所述根据所述线程池大小对所述多个线程进行异步处理的步骤，包括：根据所述线程池大小计算得到进行线程处理的数量阈值；根据所述数量阈值对所述多个线程分别进行异步处理。在本申请实施例较佳的选择中，所述根据所述数量阈值对所述多个线程分别进行异步处理的步骤，包括：判断所述多个线程的数量是否大于所述数量阈值；若所述多个线程的数量大于所述数量阈值，则根据所述数量阈值对所述多个线程进行分组处理，得到多个线程组，并分别对每个线程组进行异步处理；若所述多个线程的数量不大于所述数量阈值，则直接对所述多个线程进行异步处理。在本申请实施例较佳的选择中，所述根据所述线程池大小对所述多个线程进行异步处理的步骤，包括：通过预设的Future模型和CountDownLatch组件根据所述线程池大小对所述多个线程进行异步处理。在本申请实施例较佳的选择中，所述根据多个线程的线程IO时间、线程CPU时间和对应的CPU数目，计算得到包括所述多个线程的线程池大小的步骤，包括：根据多个线程的线程IO时间平均值、线程CPU时间平均值和对应的CPU数目，计算得到包括所述多个线程的线程池大小。在本申请实施例较佳的选择中，所述多个线程包括第一线程，所述根据多个线程的线程IO时间、线程CPU时间和对应的CPU数目，计算得到包括所述多个线程的线程池大小的步骤，包括：根据所述第一线程的线程IO时间、线程CPU时间和多个线程对应的CPU数目，计算得到包括所述多个线程的线程池大小。在本申请实施例较佳的选择中，在计算得到包括所述多个线程的线程池大小之前，所述数据处理方法还包括：获取多个线程的线程IO时间、线程CPU时间和对应的CPU数目。本申请实施例还提供了一种数据处理装置，包括：线程池计算模块，用于根据多个线程的线程IO时间、线程CPU时间和对应的CPU数目，计算得到包括所述多个线程的线程池大小；线程处理模块，用于根据所述线程池大小对所述多个线程进行异步处理。本申请实施例还提供了一种电子设备，包括存储器和处理器，所述处理器用于执行所述存储器中存储的可执行的计算机程序，以实现上述的数据处理方法。本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被执行时实现上述数据处理方法的步骤。本申请实施例提供的数据处理方法和装置、电子设备及计算机可读存储介质，根据多个线程的线程IO时间、线程CPU时间和对应的CPU数目，计算得到包括所述多个线程的线程池大小，以对所述多个线程进行异步处理，从而避免了现有技术中进行同步查询资源闲置严重，所导致的数据处理的效率低的问题。附图说明为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1为本申请实施例提供的电子设备的结构框图。图2为本申请实施例提供的数据处理方法的流程示意图。图3为本申请实施例提供的数据处理方法的另一流程示意图。图4为本申请实施例提供的数据处理装置的结构框图。图标：10-电子设备；12-存储器；14-处理器；100-数据处理装置；110-线程池计算模块；120-线程处理模块。具体实施方式为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。如图1所示，本申请实施例提供了一种电子设备10。其中，所述电子设备10可以包括存储器12、处理器14和数据处理装置100。详细地，所述存储器12和处理器14之间直接或间接地电性连接，以实现数据的传输或交互。例如，相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述数据处理装置100包括至少一个可以软件或固件(firmware)的形式存储于所述存储器12中的软件功能模块。所述处理器14用于执行所述存储器12中存储的可执行的计算机程序，例如，所述数据处理装置100所包括的软件功能模块及计算机程序等，以实现数据处理方法。其中，所述存储器12可以是，但不限于，随机存取存储器(RandomAccessMemory，RAM)，只读存储器(ReadOnlyMemory，ROM)，可编程只读存储器(ProgrammableRead-OnlyMemory，PROM)，可擦除只读存储器(ErasableProgrammableRead-OnlyMemory，EPROM)，电可擦除只读存储器(ElectricErasableProgrammableRead-OnlyMemory，EEPROM)等。所述处理器14可能是一种集成电路芯片，具有信号的处理能力。上述的处理器14可以是通用处理器，包括中央处理器(CentralProcessingUnit，CPU)、网络处理器(NetworkProcessor，NP)、片上系统(SystemonChip，SoC)等。可以理解，图1所示的结构仅为示意，所述电子设备10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n根据多个线程的线程IO时间、线程CPU时间和对应的CPU数目，计算得到包括所述多个线程的线程池大小；/n根据所述线程池大小对所述多个线程进行异步处理。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
根据多个线程的线程IO时间、线程CPU时间和对应的CPU数目，计算得到包括所述多个线程的线程池大小；
根据所述线程池大小对所述多个线程进行异步处理。


2.如权利要求1所述的数据处理方法，其特征在于，所述根据所述线程池大小对所述多个线程进行异步处理的步骤，包括：
根据所述线程池大小计算得到进行线程处理的数量阈值；
根据所述数量阈值对所述多个线程分别进行异步处理。


3.如权利要求2所述的数据处理方法，其特征在于，所述根据所述数量阈值对所述多个线程分别进行异步处理的步骤，包括：
判断所述多个线程的数量是否大于所述数量阈值；
若所述多个线程的数量大于所述数量阈值，则根据所述数量阈值对所述多个线程进行分组处理，得到多个线程组，并分别对每个线程组进行异步处理；
若所述多个线程的数量不大于所述数量阈值，则直接对所述多个线程进行异步处理。


4.如权利要求1所述的数据处理方法，其特征在于，所述根据所述线程池大小对所述多个线程进行异步处理的步骤，包括：
通过预设的Future模型和CountDownLatch组件根据所述线程池大小对所述多个线程进行异步处理。


5.如权利要求1所述的数据处理方法，其特征在于，所述根据多个线程的线程IO时间、线程CPU时间和对应的CPU数目，计算得到包括所述多个线程的线程...

【专利技术属性】
技术研发人员：刘波，苏颖，王江飞，
申请(专利权)人：恩亿科北京数据科技有限公司，
类型：发明
国别省市：北京;11