一种基于大数据分析的任务分发系统技术方案

本发明专利技术公开了一种基于大数据分析的任务分发系统，涉及信息技术领域，包括：任务汇集器，汇集从各任务请求端上传的待处理任务，附上任务类型标识；任务类型统计模块，提取待处理任务的任务类型标识，统计出各任务类型的数量和占比，并将待处理任务投递到消息队列中；消息队列，提供临时存储待处理任务的缓冲区；任务执行装置，执行待处理任务；性能测试模块，测试各个任务执行装置对不同任务类型的处理能力，将任务执行装置按照等比例分类为对应的装置类型；负载均衡器，将消息队列中的待处理任务，分配至对应类型的任务执行装置中。本发明专利技术基于任务处理装置对不同类型的任务的处理能力强弱予以区分，使整体系统的性能达到最优。

【技术实现步骤摘要】
一种基于大数据分析的任务分发系统
本专利技术涉及信息
，尤其涉及一种基于大数据分析的任务分发系统。
技术介绍
随着移动互联网技术的迅速发展和网络的不断升级，面临大数据量的任务处理时，如果采用串行任务的处理方式就会拉长任务的处理时间，所以一般会对任务采用并行处理方式，为了提高任务分发处理的效果也对并行处理能力提出了更高的要求。如公开号为CN103186418A的专利技术专利便公开了一种任务分发方法及系统，其设置多个任务处理装置只有在闲置状态下才会领取任务，当任务数量大于任务处理装置个数后，每个任务处理装置都在处理任务，而没有闲置的任务处理装置，因此可以认为任务的分配满足了各个任务处理装置负载均衡的要求。该方法虽然从原理性上满足了负载均衡的要求，但其任务处理器中每次仅存一个待处理的任务，在同一个任务处理器处理任意相邻两次任务处理之间都要与消息目录发生交互，在这过程中必然会导致任务处理的中断，导致任务处理整体效率的降低。另外，现有的技术中仅考虑任务处理装置的整体性能，但本领域技术人员都知道，任务分为不同的类型，比如在智慧园区的领域中便包括了人脸识别、计费、导航、统计等等不同类型的任务，而对于不同的任务处理装置来说不同类型任务的处理能力不尽相同，因此，在分布式系统中，想要使任务分发系统的整体性能达到最优，急需一种能够考虑每个任务处理装置对不同类型的处理能力的任务分发系统。
技术实现思路
本专利技术的目的在于提供一种基于大数据分析的任务分发系统，基于任务处理装置对不同类型的任务的处理能力强弱予以区分，使整体系统的性能达到最优。为实现上述目的，本专利技术提供如下技术方案：一种基于大数据分析的任务分发系统，包括任务汇集器，汇集从各任务请求端上传的待处理任务，并根据任务请求端为所述待处理任务附上任务类型标识；任务类型统计模块，提取待处理任务的任务类型标识，统计出各任务类型的数量和占比，并将待处理任务投递到消息队列中；消息队列，提供临时存储待处理任务的缓冲区；任务执行装置，数量若干，执行待处理任务；性能测试模块，测试各个任务执行装置对不同任务类型的处理能力，并结合任务类型的优先级和统计出来的各任务类型的占比，将任务执行装置按照等比例分类为对应的装置类型；负载均衡器，将消息队列中的待处理任务，分配至对应类型的任务执行装置中。进一步的，所述性能测试模块中，对不同任务类别的处理能力的测试方法如下：针对每一种任务类型，生成包含一定数量的测试任务的测试任务集，并将该测试任务集分别分发至各任务执行装置中，统计每一任务执行装置完成该测试任务集的时间，计算出每一任务执行装置在单位时间内完成该任务类型的任务量作为该任务执行装置对该任务类型的处理能力。进一步的，所述性能测试模块中，任务执行装置的分类方法为按照任务类型的优先级从高到低的顺序依次进行如下处理：求当前优先级的任务类型的占比与任务执行装置总数量的乘积作为对应的装置类型的数量k，取未标识装置类型的任务执行装置中对该优先级的任务类型的处理能力最强的前k个任务执行装置，附上相应的装置类型标识。进一步的，所述性能测试模块在进行装置类型分类的时候，分配至少一个备用任务处理装置。进一步的，所述备用任务处理装置的生成方法如下：KX1，在求解数量k的时候进行取整；KX2，分配完所有装置类型后，余下若干未分配的任务执行装置；KX3，将未分配的任务执行装置与预先设定的备用任务处理装置数量进行比较；若未分配的任务执行装置大于预先设定的备用任务处理装置数量，则进入KX4；若未分配的任务执行装置小于预先设定的备用任务处理装置数量，则进入KX5；KX4，按照任务类型的优先级从高到低的顺序，依次轮询将未分配的任务执行装置中对应任务类型的处理能力最强的附上相应的装置类型标识直至未分配的任务执行装置等于预先设定的备用任务处理装置数量；KX5，按照任务类型的优先级从高到低的顺序，依次轮询从已标记装置类型的任务执行装置选取对应任务类型的处理能力最弱的去除其标识直至未分配的任务执行装置等于预先设定的备用任务处理装置数量；KX6，为未分配的任务执行装置附上备用标识。进一步的，所述负载均衡器的分配步骤如下：FP1，针对同一装置类型，计算各任务执行装置的处理能力占该装置类型的任务执行装置的总处理能力的占比；FP2，针对与该装置类型对应的任务类型，以待处理任务中该任务类型的数量与FP1中求得的占比的乘积作为该任务执行装置处理该批次任务的任务量上限；FP3，负载均衡器每从消息队列提取待处理任务后，根据任务类型，将其依次轮询分配至对应装置类型并且未达到任务量上限的不同任务执行装置中，当某一任务执行装置达到任务量上限时，将其从轮询分配的队列中剔除。进一步的，所述任务执行装置每处理完一个任务后，经负载均衡器向消息队列回发反馈，消息队列收到反馈后，删除对应的待执行任务。进一步的，所述负载均衡器监测每一任务执行装置的完成情况，当某一任务执行装置完成所有待处理任务后，从同一装置类别的任务执行装置抓取待处理任务。进一步的，从同一装置类别的任务执行装置抓取待处理任务的方法如下：计算同一装置类别中存在待处理任务的任务执行装置中的预计剩余完成时间，将预计剩余完成时间与设定的第一时间阈值相比较，若存在某一个或几个任务执行装置的预计剩余完成时间大于第一时间阈值，则按照预计剩余完成时间从大到小的顺序将对应的任务执行装置中的待处理任务转移至已完成所有待处理任务的任务执行装置中，直至已完成所有待处理任务的任务执行装置的预计剩余完成时间达到第一时间阈值。与现有技术相比，本专利技术的有益效果是：本专利技术在进行任务的负载均衡的时候，充分考虑到了不同任务执行装置对于不同类型的任务的处理能力，并按照设定的任务优先级从高到低选择出最优的均衡方案，避免了任务执行装置的性能浪费，使系统的整体性能达到了进一步的提升。附图说明图1为本专利技术的系统框架图。图2为本专利技术一实施例的备用任务处理装置的生成方法流程图。图3为本专利技术一实施例的消息队列中的待处理任务的分配方法流程图。图4为本专利技术一实施例的抓取待处理任务的方法流程图。具体实施方式下面对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参阅图1，本专利技术提供一种基于大数据分析的任务分发系统，包括任务汇集器，汇集从各任务请求端上传的待处理任务，并根据任务请求端为所述待处理任务附上任务类型标识。如在应用于智慧园区时，在园区入口处设置有人脸识别、指纹识别等打卡机，车牌识别摄像头，园区出口处设置有相应的车辆停车计费系统等等，都会生成各式各样的任务，通常来说每一任务请求端生成的任务类型为同一种类，本文档来自技高网...

【技术保护点】
1.一种基于大数据分析的任务分发系统，其特征在于，包括/n任务汇集器，汇集从各任务请求端上传的待处理任务，并根据任务请求端为所述待处理任务附上任务类型标识；/n任务类型统计模块，提取待处理任务的任务类型标识，统计出各任务类型的数量和占比，并将待处理任务投递到消息队列中；/n消息队列，提供临时存储待处理任务的缓冲区；/n任务执行装置，数量若干，执行待处理任务；/n性能测试模块，测试各个任务执行装置对不同任务类型的处理能力，并结合任务类型的优先级和统计出来的各任务类型的占比，将任务执行装置按照等比例分类为对应的装置类型；/n负载均衡器，将消息队列中的待处理任务，分配至对应类型的任务执行装置中。/n

【技术特征摘要】
1.一种基于大数据分析的任务分发系统，其特征在于，包括
任务汇集器，汇集从各任务请求端上传的待处理任务，并根据任务请求端为所述待处理任务附上任务类型标识；
任务类型统计模块，提取待处理任务的任务类型标识，统计出各任务类型的数量和占比，并将待处理任务投递到消息队列中；
消息队列，提供临时存储待处理任务的缓冲区；
任务执行装置，数量若干，执行待处理任务；
性能测试模块，测试各个任务执行装置对不同任务类型的处理能力，并结合任务类型的优先级和统计出来的各任务类型的占比，将任务执行装置按照等比例分类为对应的装置类型；
负载均衡器，将消息队列中的待处理任务，分配至对应类型的任务执行装置中。


2.根据权利要求1所述的基于大数据分析的任务分发系统，其特征在于，所述性能测试模块中，对不同任务类别的处理能力的测试方法如下：
针对每一种任务类型，生成包含一定数量的测试任务的测试任务集，并将该测试任务集分别分发至各任务执行装置中，统计每一任务执行装置完成该测试任务集的时间，计算出每一任务执行装置在单位时间内完成该任务类型的任务量作为该任务执行装置对该任务类型的处理能力。


3.根据权利要求2所述的基于大数据分析的任务分发系统，其特征在于，所述性能测试模块中，任务执行装置的分类方法为按照任务类型的优先级从高到低的顺序依次进行如下处理：
求当前优先级的任务类型的占比与任务执行装置总数量的乘积作为对应的装置类型的数量k，取未标识装置类型的任务执行装置中对该优先级的任务类型的处理能力最强的前k个任务执行装置，附上相应的装置类型标识。


4.根据权利要求3所述的基于大数据分析的任务分发系统，其特征在于，所述性能测试模块在进行装置类型分类的时候，分配至少一个备用任务处理装置。


5.根据权利要求4所述的基于大数据分析的任务分发系统，其特征在于，所述备用任务处理装置的生成方法如下：
KX1，在求解数量k的时候进行取整；
KX2，分配完所有装置类型后，余下若干未分配的任务执行装置；
KX3，将未分配的任务执行装置与预先设定的备用任务处理装置数量进行比较；若未分配的任务执行装置大于预先设定的备用任务处理装置数量，则进入KX4；若未分配的任务执行装置小...

【专利技术属性】
技术研发人员：杨国水，
申请(专利权)人：杭州绿城信息技术有限公司，
类型：发明
国别省市：浙江;33