一种最优点个数约束的数据流处理系统多目标优化方法技术方案

一种最优点个数约束的数据流处理系统多目标优化方法，属于计算机应用的实时大数据分析领域。根据用户所指定的响应延迟的上下界以及吞吐率的上下界，给出不确定区域面积；基于缩小不确定区域面积这一目标，将不确定区域一分为二，继续探测面积最大的不确定区域，直到迭代上限，进而高效地得到一组具有典型代表意义的帕累托最优解，且最大化的降低了整体的不确定区域面积，为用户在响应延迟和吞吐率上提供选择空间。针对数据流处理系统多目标优化问题，能够避免帕累托最优解随机的缺陷，高效地得到一组用户给定数量且具有典型代表意义的帕累托最优解，为用户在响应延迟和吞吐率上提供选择空间。

【技术实现步骤摘要】
一种最优点个数约束的数据流处理系统多目标优化方法
本专利技术涉及一种用于数据流处理系统的多目标优化方法，尤其涉及一种最优点个数约束的数据流处理系统多目标优化方法，属于计算机应用技术以及实时大数据分析领域。
技术介绍
近年来涌现出大量实时性大数据分析应用，比如社交网络动态分析、智能交通数据分析、大规模数据中心监控、基因数据分析等。这类应用不但数据量大而且数据持续快速产生或更新，要求数据分析系统持续并实时的返回或更新分析结果，我们称之为实时大数据(Big&fastdata)分析。此类应用对实时大数据分析系统具有迫切需求，需要系统对响应延迟、吞吐率方面给出量化保证。实时大数据分析系统的多目标优化对于提供有服务质量保障的实时大数据分析云服务、为国家关键行业及重要监控应用提供实时大数据分析平台及优化框架具有重要意义。目前，实时大数据分析应用中用户对响应延迟以及吞吐率的要求，依赖于历史经验，由IT人员为数据流处理系统中的分析作业手工配置合适的执行计划，缺乏对实时大数据分析响应延迟和吞吐率的量化保证；即使经验丰富的IT人员也不能保证配置了较优的执行计划，从而导致分析作业运行效率低下，无法满本文档来自技高网...

【技术保护点】
一种最优点个数约束的数据流处理系统多目标优化方法，其特征在于：要解决的技术问题是：针对数据流处理系统多目标优化问题，能够避免帕累托最优解随机的缺陷，高效地得到一组用户给定数量且具有典型代表意义的帕累托最优解，为用户在响应延迟和吞吐率上提供选择空间；具体根据用户所指定的响应延迟的上下界以及吞吐率的上下界，给出不确定区域面积；基于缩小不确定区域面积这一目标，将不确定区域一分为二，继续探测面积最大的不确定区域，直到迭代上限，进而高效地得到一组具有典型代表意义的帕累托最优解，且最大化的降低了整体的不确定区域面积，为用户在响应延迟和吞吐率上提供选择空间；包括如下步骤：步骤1：输入当前响应延迟的上界、当前...

【技术特征摘要】
1.一种最优点个数约束的数据流处理系统多目标优化方法，其特征在于：要解决的技术问题是：针对数据流处理系统多目标优化问题，能够避免帕累托最优解随机的缺陷，高效地得到一组用户给定数量且具有典型代表意义的帕累托最优解，为用户在响应延迟和吞吐率上提供选择空间；具体根据用户所指定的响应延迟的上下界以及吞吐率的上下界，给出不确定区域面积；基于缩小不确定区域面积这一目标，将不确定区域一分为二，继续探测面积最大的不确定区域，直到迭代上限，进而高效地得到一组具有典型代表意义的帕累托最优解，且最大化的降低了整体的不确定区域面积，为用户在响应延迟和吞吐率上提供选择空间；包括如下步骤：步骤1：输入当前响应延迟的上界、当前响应延迟的下界以及帕累托最优点个数上限，初始化当前迭代步数、不确定区域集合以及初始化最终探测结果组；步骤2：分别根据步骤1的当前响应延迟的上界和当前延迟的下界计算当前吞吐率的上界和下界；步骤3：分别根据当前响应延迟的上界和当前响应延迟的下界计算当前的探测响应延迟、最大探测吞吐率以及最大探测吞吐率的具体系统配置；步骤4：计算当前探测结果组，并与最终探测结果组合并；步骤5：根据当前的响应延迟的上界和当前的响应延迟的下界、吞吐率的上界和吞吐率的下界、探测响应延迟以及最大探测吞吐率分别计算当前左半部分和右半部分的不确定区域面积；步骤6：根据步骤5输出的当前左半部分和右半部分的不确定区域面积计算所对应的不确定区域，并将不确定区域存储在不确定区域集合中；步骤7：在步骤6输出的不确定区域集合中，寻找不确定区域面积最大的不确定区域，并将此不确定区域面积最大的不确定区域从不确定区域集合中移除；步骤8：将当前迭代步数加1；步骤9：判断是否达到帕累托最优点个数上限，决定是否继续进行迭代探测；至此，从步骤1到步骤9，完成了一种最优点个数约束的数据流处理系统多目标优化方法。2.根据权利要求1所述的一种最优点个数约束的数据流处理系统多目标优化方法，其特征在于：步骤1中，当前响应延迟的上界，记为Lupper；当前响应延迟的下界，记为Llower；帕累托最优点个数上限，记为Stepmax；当前迭代步数，记为Stepnow，初始化为0，表达式为公式(1)；不确定区域集合，记为Setarea，初始化为空集合，表达式为公式(2)；最终探测结果组，记为plan，初始化为空集合，表达式为公式(3)：Stepnow＝0；(1)3.根据权利要求1所述的一种最优点个数约束的数据流处理系统多目标优化方法，其特征在于：步骤2，具体为：步骤2.1：根据当前响应延迟的上界计算当前吞吐率的上界，具体通过如下公式(4)计算：其中，当前吞吐率的上界，即Tupper，s.t.代表约束；c代表具体系统配置；λ代表实时的输入数据率；Γ(c,λ)代表具体系统的参数配置c和实时的输入数据率λ条件下的吞吐率；ψ(c,λ)代表具体系统的参数配置c和实时的输入数据率λ条件下的响应延迟；公式(4)反映的是给定输入数据率λ，在满足响应延迟ψ(c,λ)小于当前响应延迟的上界Lupper的一组具体系统的参数配置c中，寻求能使吞吐率Γ(c,λ)最大化的具体系统配置c，即公式(4)中的代表此寻求过程，并记录最大吞吐率为Tupper，表示当前吞吐率的上界；步骤2.2：根据当前响应延迟的下界计算当前吞吐率的下界，具体通过如下公式(5)计算如下：其中，当前吞吐率的下界，记为Tlower，公式(5)反映的是给定输入数据率λ，在满足响应延迟ψ(c,λ)小于当前响应延迟的下界Llower的一组具体系统的参数配置c中，寻求能使吞吐率Γ(c,λ)最大化的具体系统配置c，即公式(5)中的代表此寻求过程，并记录最大吞吐率为Tlower，表示当前吞吐率的下界。4.根据权利要求1所述的一种最优点个数约束的数据流处理系统多目标优化方法，其特征在于：步骤3，具体为：步骤3.1：根据Lupper和Llower，计算当前探测响应延迟，记为Lmiddle，具体通过如下公式(6)计算：Lmiddle＝(Llower+Lupper)/2；(6)步骤3.2：根据步骤3.1计算出的当前探测响应延迟计算当前探测响应延迟的最大探测吞吐率和最大探测吞吐率的具体系统配置，分别记为Tmiddle、cmiddle，具体通过如下公式(7)计算：其中，公式(7)反映的是给定输入数据率λ，在满足响应延迟ψ(c,λ)小于等于当前探测延迟Lmiddle的一组具体系统的参数配置c中，寻求能使吞吐率Γ(c,λ)最大化的具体系统配置c，即公式(7)中的代表此寻求过程，并记录探测响应的最大探测吞吐率为Tmiddle，以及最大化的具体系统配置cmiddle。5.根据权利要...

【专利技术属性】
技术研发人员：曹朝，盛伟，曲大成，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京,11