【技术实现步骤摘要】
一种数据并行处理方法
本专利技术属于并行处理领域,尤其涉及一种数据并行处理方法。
技术介绍
云计算平台也称为云平台。云计算平台可以划分为3类:以数据存储为主的存储型云平台,以数据处理为主的计算型云平台以及计算和数据存储处理兼顾的综合云计算平台。对于以数据处理为主的计算型云平台而言,在进行大量的数据处理运算时,需要对云计算资源进行调度,以达到充分利用云计算资源的目的,使构成云计算资源的每个计算单元都得到充分的利用,同时提高运算效率。基上述诸多问题,现在亟需一种新的数据并行处理方法,本专利技术能够综合考虑可用执行资源的能力,将用户需求和所述可用执行能力进行全方位比较,从而寻找适合大部分用户需求的可用执行资源,以及适合用进行结果接收的可用执行资源,从而大大的提高了并行处理的能力。
技术实现思路
为了解决现有技术中的上述问题,本专利技术提出了一种数据并行处理方法,该方法包括如下步骤:S1:获取用户需求;S2:中控单元对用户需求进行通用分配并创建需求请求。进一步的,所述步骤S2具 ...
【技术保护点】
1.一种数据并行处理方法,其特征在于,该方法包括如下步骤:/nS1:获取用户需求;/nS2:中控单元对用户需求进行通用分配并创建需求请求。/n
【技术特征摘要】
1.一种数据并行处理方法,其特征在于,该方法包括如下步骤:
S1:获取用户需求;
S2:中控单元对用户需求进行通用分配并创建需求请求。
2.根据权利要求1所述的数据并行处理方法,其特征在于,所述步骤S2具体为:将所述用户需求划分一个或者多个子用户需求,基于所述一个或者多个子用户需求创建子需求请求。
3.根据权利要求2所述的数据并行处理方法,其特征在于,所述将所述用户需求划分一个或者多个子用户需求,具体为:获取所述用户需求中的所有操作类型的数量,获取数量排名前N位的操作类型,如果所述排名前N位的操作类型占全部操作数量的百分比超过第一百分比阈值,则从所有可用执行资源中选择2个可用执行资源,基于所述2个可用执行资源将所述用户需求划分成2个子用户需求,将所述2个子用户需求分配给所述2个可用执行资源,并相应的创建子需求请求;否则,直接从现有可用执行资源中选择等待队列最短的可用执行资源,并将所述用户需求直接分配给所述可用执行资源,并相应的创建需求请求。
4.根据权利要求3所述的数据并行处理方法,其特征在于,通过聚类的方法获取所述用户需求中的所有操作类型的数量。
5.根据权利要求4所述的数据并行处理方法,其特征在于,所述第一百分比阈值为预设值。
6.根据权利要求5所述的数据并行处理方法,其特征在于,所述从所有可用执行资源中选择2个可用执行资源,具体为:计算所有可用执...
【专利技术属性】
技术研发人员:薛宁静,杨战海,牛永洁,杨东风,曹军梅,姜宁,杨晓雁,
申请(专利权)人:延安大学,
类型:发明
国别省市:陕西;61
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。