导数据方法、装置、计算机设备、存储介质和产品制造方法及图纸

本申请涉及一种导数据方法、装置、计算机设备、存储介质和产品。所述方法包括：当任务队列中存在待执行的多个导数据任务，任务线程池中空闲状态的多个任务线程并发地从任务队列取出相对应的导数据任务，将取出的每个导数据任务所指示的待导数据，存入每个任务线程相对应的数据队列中；任务线程池中任务线程的总数量不超过预先设定的数量；每个任务线程各自在工作线程池中绑定的多个工作线程，按照相应的任务线程相对应的导数据任务，并发地对相应的任务线程相对应的数据队列中的待导数据进行导数据处理。采用本方法能够提高系统资源利用率。率。率。

【技术实现步骤摘要】
导数据方法、装置、计算机设备、存储介质和产品


[0001]本申请涉及数据处理
，特别是涉及一种导数据方法、装置、计算机设备、存储介质和产品。

技术介绍

[0002]随着计算机技术的发展，信息系统的应用越来越广泛，而在各类信息系统中，导数据功能是使用较为频繁的功能。导数据包括数据导入和数据导出，数据导入是指将数据从信息系统外部(例如本地磁盘中的文件)导入信息系统内部(例如信息系统的数据库)，数据导出是指将数据从信息系统内部导出信息系统外部。导数据时需要进行数据处理，以符合信息系统内外不同的数据格式的要求。通常，信息系统的服务器在执行导数据任务时，将导数据任务的待导数据一次性读取到内存后，再进行数据处理。
[0003]然而，当待导数据的数据量较大，数据处理耗时较长，将待导数据一次性读取到内存后再进行数据处理方法，占用系统资源多，导致系统资源利用率低。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够提高系统资源利用率的导数据方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种导数据方法，其特征在于，所述方法包括：当任务队列中存在待执行的多个导数据任务，任务线程池中空闲状态的多个任务线程并发地从所述任务队列取出相对应的所述导数据任务，将取出的每个所述导数据任务所指示的待导数据，存入每个所述任务线程相对应的数据队列中；所述任务线程池中任务线程的总数量不超过预先设定的数量；每个所述任务线程各自在工作线程池中绑定的多个工作线程，按照相应的所述任务线程相对应的所述导数据任务，并发地对相应的所述任务线程相对应的所述数据队列中的所述待导数据进行导数据处理。2.根据权利要求1所述的方法，其特征在于，所述任务线程池中空闲状态的多个任务线程并发地从所述任务队列取出相对应的所述导数据任务，将取出的每个所述导数据任务所指示的待导数据，存入每个所述任务线程相对应的数据队列中，包括：任务线程池中空闲状态的多个任务线程，分别从所述任务队列当前的队首取出所述导数据任务；确定与取出所述导数据任务的目标任务线程相对应的数据队列；分批次地从所述目标任务线程取出的所述导数据任务所指示的数据来源中，读取所述导数据任务所指示的待导数据；将所读取的所述待导数据存入确定的所述数据队列，以在所述确定的所述数据队列中形成多个数据块。3.根据权利要求2所述的方法，其特征在于，所述每个所述任务线程各自在工作线程池中绑定的多个工作线程，按照相应的所述任务线程相对应的所述导数据任务，并发地对相应的所述任务线程相对应的所述数据队列中的所述待导数据进行导数据处理，包括：每个所述任务线程各自在工作线程池中绑定的多个工作线程，按照相应的所述任务线程相对应的所述导数据任务，以数据块为单位，并发地对相应的所述任务线程相对应的所述数据队列中所述数据块中的待导数据进行导数据处理。4.根据权利要求1所述的方法，其特征在于，所述每个所述任务线程各自在工作线程池中绑定的多个工作线程，按照相应的所述任务线程相对应的所述导数据任务，并发地对相应的所述任务线程相对应的所述数据队列中的所述待导数据进行导数据处理之前，所述方法还包括：所述任务线程池中空闲状态的所述多个任务线程，分别从工作线程池中确定处于空闲状态的预设数量的工作线程；所述多个任务线程...

【专利技术属性】
技术研发人员：胡明星，
申请(专利权)人：深圳前海百递网络有限公司，
类型：发明
国别省市：