一种任务并行处理方法和处理系统技术方案
【技术实现步骤摘要】
一种任务并行处理方法和处理系统
本专利技术涉及数据处理领域，特别涉及一种任务并行处理方法和处理系统。
技术介绍
数据(Data)是对事实、概念或指令的一种表达形式，可由人工或自动化装置进行处理。数据经过解释并赋予一定的意义之后，便成为信息。在计算机系统中，数据以二进制信息单元0,1的形式表示。数据在近年来变得越来越重要，尤其是大数据技术的兴起，让数据越来越成为一种战略资源。而数据处理(dataprocessing)是对数据的采集、存储、检索、加工、变换和传输。数据处理的基本目的是从大量的、可能是杂乱无章的、难以理解的数据中抽取并推导出对于某些特定的人们来说是有价值、有意义的数据。数据处理贯穿于社会生产和社会生活的各个领域。例如，企业的生产和经营便离不开数据和数据处理，与此同时，随着业务不断扩展，一个系统内部的数据可能难以满足业务高速增长的需求，往往需要从外部获取数据，并经过处理存储到本地数据仓库。但是外部系统的数据一般都是以访问接口的形式提供，并且出于安全和稳定等因素考虑，对于一次读取的数据量大小有着严格的限制，此外，后续读取操作通常需要依赖前一次的读取结果。因而...
【技术保护点】
一种任务并行处理方法，其特征在于，包括：循环接收从外部接口发送的数据；当接收所述数据成功时，将所述数据添加到第一任务队列的第一子任务中；所述第一任务队列将所述数据输送至第二任务队列的第二子任务执行数据处理操作，以使所述数据处理后得到数据结果；检测所述第二任务队列中第二子任务执行的所述数据处理操作是否完成，若是，则保存所述数据结果；根据未输送所述数据的所述第一子任务个数和临界值之间的大小关系，为所述第二任务队列创建新的第二子任务，以及所述新的第二子任务对从未输送所述数据的所述第一子任务中接收的所述数据执行所述数据处理操作；其中，由同一进程控制所述第一任务队列、所述第二任务队列和保存所述数据结果。
【技术特征摘要】
1.一种任务并行处理方法，其特征在于，包括：循环接收从外部接口发送的数据；当接收所述数据成功时，将所述数据添加到第一任务队列的第一子任务中；所述第一任务队列将所述数据输送至第二任务队列的第二子任务执行数据处理操作，以使所述数据处理后得到数据结果；检测所述第二任务队列中第二子任务执行的所述数据处理操作是否完成，若是，则保存所述数据结果；根据未输送所述数据的所述第一子任务个数和临界值之间的大小关系，为所述第二任务队列创建新的第二子任务，以及所述新的第二子任务对从未输送所述数据的所述第一子任务中接收的所述数据执行所述数据处理操作；其中，由同一进程控制所述第一任务队列、所述第二任务队列和保存所述数据结果。2.如权利要求1所述的一种任务并行处理方法，其特征在于，所述循环接收从外部接口发送的数据之间存在依赖关系，且将具有所述依赖关系的所述数据先后添加在不同的所述第一子任务中。3.如权利要求1所述的一种任务并行处理方法，其特征在于，根据未输送所述数据的所述第一子任务个数和临界值之间的大小关系，为所述第二任务队列创建新的第二子任务中，具体包括：循环检测所述第一子任务中是否存在所述数据，若是，则对所述第一子任务的个数累计计数；在所述数据处理操作未完成时，若累计计数后的累计值超过临界值，则创建所述新的第二子任务，其中，所述新的第二子任务个数不大于所述累计值和所述临界值之间的差值；创建所述新的第二子任务后重新对所述第一子任务的个数累计计数。4.如权利要求1或3所述的一种任务并行处理方法，其特征在于，循环检测所述第一子任务中是否存在所述数据，若是，则对所述第一子任务的个数累计计数，具体包括：监测在所述第一任务队列中添加所述数据的次数和输出所述数据的次数；根据添加所述数据的次数和输出所述数据的次数之间的差值，确定未输送所述数据的所述第一子任务个数。5.如权利要求1-3任一所述的一种任务并行处理方法，其特征在于，当存在所述第二子任务执行所述数据处理操作完成时，根据所述第二子任务中的前一个所述第二子任务执行所述数据处理操作的消耗时间和后一个所述第二子任务执行所述数据处理操作的消耗时长之间的比值确定所述临界值。6.如权利要求5所述的一种任务并行处理方法，其特征在于，以预设的容错值修改所述比值，且以修改所述比值后的修改值确定所述临界值。7.如权利要求1-3任...
【专利技术属性】
技术研发人员：栗军涛，
申请(专利权)人：聚好看科技股份有限公司，
类型：发明
国别省市：山东,37
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。