决策能力约束下多源网络流数据预测方法和装置制造方法及图纸

本申请涉及一种决策能力约束下多源网络流数据预测方法和装置。所述方法包括：在网络流数据源部署预训练分类器池，每一个数据源，将预测结果置信度小于阈值的网络流数据作为样本和模型预测结果传输至多源主动学习模型，若当前时刻多源主动学习模型接收到两个以上的网络数据流的样本，通过预构建的多臂老虎机的多源主动学习模型，选择一个样本进行标注，构建评估分类器，利用评估分类器对多源主动学习模型标注的网络数据流样本进行评估，当评估指标大于阈值时，采用样本和真实标签训练在线分类器。采用本方法能够实现专家资源的合理分配。配。配。

【技术实现步骤摘要】
决策能力约束下多源网络流数据预测方法和装置


[0001]本申请涉及网络流量分析
，特别是涉及一种决策能力约束下多源网络流数据预测方法和装置。

技术介绍

[0002]在线主动学习方法都是通过多个学习模型进行查询并进行选择，当模型都采用同一个数据源进行集成学习时，这种选择方法可以通过规模化的决策缩小随机误差,并且有可能达成共识，但是在多源流数据问题中，不同的数据源上部署的模型所报告的样本必然是不同的，并且在网络流量分析问题的背景下，数据源所捕获的信息的重要程度也会有所不同，理想情况下当然是在所有数据源都可以分析所有模型报告的样本，但是专家决策能力是有限的，导致传统主动学习方法无法对多源流数据进行主动学习。

技术实现思路

[0003]基于此，有必要针对上述技术问题，提供一种能够实现多源流数据进行主动学习的决策能力约束下多源网络流数据预测方法和装置。
[0004]一种决策能力约束下多源网络流数据预测方法，所述方法包括：
[0005]在网络流数据源部署预训练分类器池；其中所述分类器池包括多个训练好的在线分类器，每个网络流数据源中部署一个训练好的在线分类器；
[0006]对于每一个数据源，接收当前时刻的多源网络流数据，通过所述在线分类器对所述多源网络流数据进行预测，并且将预测结果置信度小于阈值的网络流数据作为样本和模型预测结果传输至多源主动学习模型；
[0007]若当前时刻多源主动学习模型没有接收到网络数据流的样本，则进行到下一时刻，若当前时刻多源主动学习模型接收到一个网络数据流的样本，则对该网络数据流的样本进行标注，若当前时刻多源主动学习模型接收到两个以上的网络数据流的样本，通过预构建的多臂老虎机的多源主动学习模型，选择一个样本进行标注；
[0008]构建评估分类器，利用评估分类器对多源主动学习模型标注的网络数据流样本进行评估，当所述评估指标大于阈值时，采用样本和真实标签训练在线分类器。
[0009]在其中一个实施例中，还包括：采用增量更新方式训练分类器池，将训练好的所述分类器池中的分类器部署在每个网络流数据源以接收骨干网或者路由器流向的网络数据，并且对所述网络数据进行分类。
[0010]在其中一个实施例中，还包括：若当前时刻多源主动学习模型接收到两个以上的网络数据流的样本，通过预构建的多臂老虎机的多源主动学习模型确定主动选择样本的最优化策略问题；
[0011]根据UCB1策略求解所述最优化策略问题，得到当前时刻的样本选择策略；
[0012]根据所述样本选择策略，选择一个样本进行标注。
[0013]在其中一个实施例中，还包括：
[0014]通过多源主动学习模型确定单个分类器的最优决策边界为：
[0015][0016]其中，h
l*
表示最优决策边界，h
l
表示分类器的决策边界，D表示决策边界的假设空间，(x
t
,y
t
)表示分类器的输入和输出，loss表示损失；
[0017]根据所述最优决策边界，确定单个分类器的误差值为：
[0018][0019]其中，表示实际模型与最优模型之间的误差值；
[0020]根据所述误差值，确定多源主动学习模型中所有分类器的误差值为：
[0021][0022]根据所有分类器的误差值，确定多源主动学习模型在进行主动学习时的选定策略，根据所述选择策略，构建最优化策略问题的目标函数为：
[0023][0024]其中，表示奖励差值，表示最优策略的奖励值，表示待求解策略的奖励值；
[0025]根据所述目标函数，得到最优化策略问题为：
[0026][0027][0028]其中，Ψ
k
为多源部署的第k个分类器，h
k
为分类器的决策边界，q
k
为单个分类器推荐的网络数据流的样本，o(q
k
)为推荐样本的真实标签，MAB为多臂老虎机算法。
[0029]在其中一个实施例中，还包括：
[0030]根据UCB1策略，构建最小遗憾界为：
[0031][0032]其中，b为最小遗憾界，l表示分类器池{1,
…
,L}中的分类器，r
k
表示第k次选择策略；
[0033]根据所述最小遗憾界，得到当前时刻的样本选择策略。
[0034]在其中一个实施例中，还包括：构建评估分类器，将多源主动学习模型输出的标注和多源网络流数据作为样本输入至所述评估分类器以对所述评估分类器进行训练，得到当
前步预测性能；
[0035]根据当前步预测性能和上一步预测性能，确定模型奖励值；
[0036]当所述模型奖励值大于性能阈值时，输出所述样本和所述标注，根据所述样本和所述标注训练所述分类器池的在线分类器。
[0037]一种决策能力约束下多源网络流数据预测装置，所述装置包括：
[0038]分类器设置模块，用于在网络流数据源部署预训练分类器池；其中所述分类器池包括多个训练好的在线分类器，每个网络流数据源中部署一个训练好的在线分类器；
[0039]流量预测模块，用于对于每一个数据源，接收当前时刻的多源网络流数据，通过所述在线分类器对所述多源网络流数据进行预测，并且将预测结果置信度小于阈值的网络流数据作为样本和模型预测结果传输至多源主动学习模型；
[0040]样本标注模块，用于若当前时刻多源主动学习模型没有接收到网络数据流的样本，则进行到下一时刻，若当前时刻多源主动学习模型接收到一个网络数据流的样本，则对该网络数据流的样本进行标注，若当前时刻多源主动学习模型接收到两个以上的网络数据流的样本，通过预构建的多臂老虎机的多源主动学习模型，选择一个样本进行标注；
[0041]更新模块，用于构建评估分类器，利用评估分类器对多源主动学习模型标注的网络数据流样本进行评估，当所述评估指标大于阈值时，采用样本和真实标签训练在线分类器。
[0042]在其中一个实施例中，所述分类器设置模块还用于采用增量更新方式训练分类器池，将训练好的所述分类器池中的分类器部署在每个网络流数据源以接收骨干网或者路由器流向的网络数据，并且对所述网络数据进行分类。
[0043]在其中一个实施例中，所述样本标注模块还用于若当前时刻多源主动学习模型接收到两个以上的网络数据流的样本，通过预构建的多臂老虎机的多源主动学习模型确定主动选择样本的最优化策略问题；根据UCB1策略求解所述最优化策略问题，得到当前时刻的样本选择策略；根据所述样本选择策略，选择一个样本进行标注。
[0044]在其中一个实施例中，所述样本标注模块还用于通过多源主动学习模型确定单个分类器的最优决策边界为：
[0045][0046]其中，h
l*
表示最优决策边界，h
l
表示分类器的决策边界，D表示决策边界的假设空间，(x
t
,y
t
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种决策能力约束下多源网络流数据预测方法，其特征在于，所述方法包括：在网络流数据源部署预训练分类器池；其中所述分类器池包括多个训练好的在线分类器，每个网络流数据源中部署一个训练好的在线分类器；对于每一个数据源，接收当前时刻的多源网络流数据，通过所述在线分类器对所述多源网络流数据进行预测，并且将预测结果置信度小于阈值的网络流数据作为样本和模型预测结果传输至多源主动学习模型；若当前时刻多源主动学习模型没有接收到网络数据流的样本，则进行到下一时刻，若当前时刻多源主动学习模型接收到一个网络数据流的样本，则对该网络数据流的样本进行标注，获得样本的真实标签，若当前时刻多源主动学习模型接收到两个以上的网络数据流的样本，通过预构建的多臂老虎机的多源主动学习模型，选择一个样本进行标注；构建评估分类器，利用评估分类器对多源主动学习模型标注的网络数据流样本进行评估，当所述评估指标大于阈值时，采用样本和真实标签训练在线分类器。2.根据权利要求1所述的方法，其特征在于，所述在网络流数据源部署预训练分类器池，包括：采用增量更新方式训练分类器池，将训练好的所述分类器池中的分类器部署在每个网络流数据源，接收流经路由器或终端的网络数据，并且对所述网络数据进行分类。3.根据权利要求1所述的方法，其特征在于，若当前时刻多源主动学习模型接收到两个以上的网络数据的样本，通过预构建的多臂老虎机的多源主动学习模型，选择一个样本进行标注，包括：若当前时刻多源主动学习模型接收到两个以上的网络数据流的样本，通过预构建的多臂老虎机的多源主动学习模型确定主动选择样本的最优化策略问题；根据UCB1策略求解所述最优化策略问题，得到当前时刻的样本选择策略；根据所述样本选择策略，选择一个样本进行标注。4.根据权利要求3所述的方法，其特征在于，所述通过预构建的多臂老虎机的多源主动学习模型确定主动选择样本的最优化策略问题，包括：通过多源主动学习模型确定单个分类器的最优决策边界为：其中，h
l*
表示最优决策边界，h
l
表示分类器的决策边界，D表示决策边界的假设空间，(x
t
,y
t
)表示分类器的输入和输出，loss表示损失；根据所述最优决策边界，确定单个分类器的误差值为：其中，表示实际模型与最优模型之间的误差值；根据所述误差值，确定多源主动学习模型中所有分类器的误差值为：
根据所有分类器的误差值，确定多源主动学习模型在进行主动学习时的选定策略，根据所述选择策略，构建最优化策略问题的目标函数为：其中，表示奖励差值，表示最优策略的奖励值，表示待求解策略的奖励值；根据所述目标函数，得到最优化策略问题为：根据所述目标函数，得到最优化策略问题为：其中，Ψ
k
为多源部署的第k个分类器，h
k
为分类器的决策边界，q
k
为单个分类器推荐的网络数据流的样本，o(q
k
)为推荐样本的真实标签，MAB为多臂老虎机算法策略。5.根据权利要求4所述的方法，其特征在于，所述根据UCB1策略求解所述多臂老虎机优化问题，得到当前时刻的样本选择策略，包括：根据UCB1策略，构建最小遗憾界为：其中，b为最小遗憾界，l表示分类器池{1,
…
,L}中的分类器，r
k
表示第k次选择策略；根据所述最小遗憾界，得到当前时刻的样本选择策略。6.根据权利要...

【专利技术属性】
技术研发人员：丁兆云，张航，曹得琪，刘蔚柯，周鋆，刘斌，刘毅，朱先强，朱承，黄松平，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：