黑灰产众包流量预测装置及方法制造方法及图纸

本申请公开了一种黑灰产众包流量预测装置，包括基于Informer的长时预测模型，基于Informer的长时预测模型包括：编码器，包括改进的多头主动稀疏自我注意机制模块和蒸馏机制模块；解码器，包括改进的多头主动稀疏自我注意机制模块和多头注意力机制模块；全连接层，与解码器连接；采集黑灰产众包流量历史数据，将黑灰产众包流量历史数据作为编码器输入，截取黑灰产众包流量历史数据中的至少部分作为解码器输入；编码器输入通过编码器生成特征映射图；解码器接收特征映射图和解码器输入，并通过改进的多头主动稀疏自我注意机制模块和多头注意力机制模块获得解码器输出；全连接层接收解码器输出，并最终输出黑灰产众包流量预测结果。量预测结果。量预测结果。

【技术实现步骤摘要】
黑灰产众包流量预测装置及方法


[0001]本申请属于数据处理
，特别涉及黑灰产众包流量预测装置及方法。

技术介绍

[0002]近年来，随着数字化产业的发展，利用互联网新技术产生的各类网络犯罪形式层出不穷。在巨额利益的驱动下，网络黑灰产已达到规模化发展的产业形态。为了在黑灰产对企业产生实际利益损失前预判黑灰产众包用户，需要设计一种黑灰产众包流量预测算法，精准地预测网络流量变化趋势，以此提前判定并阻止黑灰产众包用户行为，减少企业损失。
[0003]目前，常见的流量异常预测算法有基于RNN(Recurrent Neural Network)、LSTM(Long Short
‑
Term Memory)和GRU(Gate Recurrent Unit)的预测算法，这些算法仅仅依赖于网络过去的隐藏状态来捕获先前序列的知识，容易欠拟合，且循环网络固有的顺序属性阻碍了训练样本间的并行化，对于长序列，内存限制将阻碍对训练样本的批量处理，拖慢了训练速度。
[0004]黑灰产的众包流量数据属于长时监测数据，因此采用上述算法预测黑灰产异常流量模型能力不足。基于Transformer的预测算法避免了上述算法的循环模型结构，完全依赖于注意力机制对输入输出的全局依赖关系进行建模，提高了模型对长时序列的预测能力，但其自注意力机制的二次计算，导致每层的时间复杂度和内存使用量均较大，在数据量较大时，模型的训练速度仍然不理想。
[0005]因此，为了实现大量复杂长时黑灰产众包流量的及时预测，需要设计一个预测能力强且训练速度快的预测模型。

技术实现思路

[0006]本申请目的是提供一种黑灰产众包流量预测方法及装置，解决现有技术中流量异常预测模型时间复杂度和空间复杂度高引起的模型训练速度慢的问题。
[0007]本申请提供一种黑灰产众包流量预测装置，所述装置包括基于Informer的长时预测模型，所述基于Informer的长时预测模型包括：编码器，所述编码器包括改进的多头主动稀疏自我注意机制模块和蒸馏机制模块；解码器，与所述编码器连接，所述解码器包括改进的多头主动稀疏自我注意机制模块和多头注意力机制模块；全连接层，与所述解码器连接；采集黑灰产众包流量历史数据，将所述黑灰产众包流量历史数据作为编码器输入，截取所述黑灰产众包流量历史数据中的至少部分作为解码器输入；所述编码器输入通过所述编码器生成特征映射图；所述解码器接收所述特征映射图和所述解码器输入，并通过所述改进的多头主动稀疏自我注意机制模块和所述多头注意力机制模块获得解码器输出；
所述全连接层接收所述解码器输出，并最终输出黑灰产众包流量预测结果。
[0008]进一步的，所述改进的多头主动稀疏自我注意机制模块基于多头主动稀疏自我注意机制，根据所述黑灰产众包流量历史数据生成Query向量、Key向量和Value向量，并通过线性层分别转换为Query矩阵、Key矩阵和Value矩阵，所述改进的多头主动稀疏自我注意机制模块包括基于对称性指标的多角度度量稀疏单元和多头双重全局注意力机制单元；所述基于对称性指标的多角度度量稀疏单元包括：多分布融合差异评分标准组件，通过KL散度度量Query向量的注意系数概率分布分别与均匀分布、正态分布、指数分布的差异；基于对称性度量指标的稀疏偏差矫正组件，用于在度量Query向量的注意系数概率分布与各个种类分布的KL散度时引入对称性度量指标PSI，矫正KL散度，获得优化的稀疏标准，并根据优化的稀疏标准将Query矩阵转换为稀疏Query矩阵，稀疏Query矩阵包括稀疏Query向量；所述多头双重全局注意力机制单元包括：注意力全局参数设定组件，统筹全局信息获得所述稀疏Query向量与所述Key向量之间的交互信息，以及，所述Key向量与所述Value向量之间的交互信息；双重加性注意组件，用于将所述稀疏Query矩阵通过加性注意转换为全局稀疏Query向量，将所述Key向量与所述全局稀疏Query向量相结合，并通过加性注意转换为全局Key向量；将所述Value矩阵与所述全局Key向量相结合，并结合所述稀疏Query矩阵，最终获得所述改进的多头主动稀疏自我注意机制模块的输出矩阵。
[0009]进一步的，所述多分布融合差异评分标准组件通过KL散度度量所述Query向量的注意系数概率分布分别与均匀分布、正态分布、指数分布的差异，所述差异表示如下：其中, p表示Query向量的注意系数概率分布，i表示Query向量的项数,t表示均匀分布，KL(t||p)表示Query向量的注意系数概率分布与均匀分布的差异，m表示均匀分布，KL(m||p)表示Query向量的注意系数概率分布与正态分布的差异，n表示均匀分布，KL(n||p)表示Query向量的注意系数概率分布与指数分布的差异。
[0010]进一步的，所述基于对称性度量指标的稀疏偏差矫正组件分别对各个KL散度进行矫正，矫正KL散度表示如下：
其中， p表示Query向量的注意系数概率分布，i表示Query向量的项数,t表示均匀分布，(t||p)表示Query向量的注意系数概率分布与均匀分布矫正后的差异，m表示均匀分布， (m||p)表示Query向量的注意系数概率分布与正态分布矫正后的差异，n表示均匀分布，(n||p)表示Query向量的注意系数概率分布与指数分布矫正后的差异。
[0011]进一步的，所述优化的稀疏标准表示如下：其中，a、b、c代表各矫正KL散度的权重，通过训练获得，q
i
表示第i个Query向量。
[0012]进一步的，根据所述优化的稀疏标准，选择至少部分Query向量作为稀疏Query向量，各个所述稀疏Query向量组合构成所述稀疏Query矩阵。
[0013]进一步的，所述全局稀疏Query向量表示如下：其中， q
i
表示稀疏Query矩阵中第i个稀疏Query向量，α
i
表示第i个稀疏Query向量的注意权值，对全局稀疏Query向量与Key向量之间的交互进行建模，在全局稀疏Query向量和每个Key向量之间执行元素级乘积，计算全局稀疏Query向量与Key向量之间的交互向量，并将全局稀疏Query向量与Key向量之间的交互向量组合成Key矩阵，Key矩阵中的第i个向量表示如下：，其中，d
i
表示Key矩阵中的第i个向量，
∗
表示元素级乘积，q表示全局稀疏Query向量，k
i
表示第i个Key向量；所述全局Key向量表示如下：
其中，d
i
表示Key矩阵中的第i个Key向量，β
i
代表第i个Key向量的注意权值；最后，对Value矩阵与全局Key向量之间的交互作用进行了建模，在全局Key向量和每个Value向量之间执行元素乘积，计算全局Key向量与Value向量之间的交互向量u
i
，全局Key向量与Value向量之间的交互向量表示如下：其中，u
i...

【技术保护点】

【技术特征摘要】
1.一种黑灰产众包流量预测装置，其特征在于，所述装置包括基于Informer的长时预测模型，所述基于Informer的长时预测模型包括：编码器，所述编码器包括改进的多头主动稀疏自我注意机制模块和蒸馏机制模块；解码器，与所述编码器连接，所述解码器包括改进的多头主动稀疏自我注意机制模块和多头注意力机制模块；全连接层，与所述解码器连接；采集黑灰产众包流量历史数据，将所述黑灰产众包流量历史数据作为编码器输入，截取所述黑灰产众包流量历史数据中的至少部分作为解码器输入；所述编码器输入通过所述编码器生成特征映射图；所述解码器接收所述特征映射图和所述解码器输入，并通过所述改进的多头主动稀疏自我注意机制模块和所述多头注意力机制模块获得解码器输出；所述全连接层接收所述解码器输出，并最终输出黑灰产众包流量预测结果。2.根据权利要求1所述的黑灰产众包流量预测装置，其特征在于，所述改进的多头主动稀疏自我注意机制模块基于多头主动稀疏自我注意机制，根据所述黑灰产众包流量历史数据生成Query向量、Key向量和Value向量，并通过线性层分别转换为Query矩阵、Key矩阵和Value矩阵，所述改进的多头主动稀疏自我注意机制模块包括基于对称性指标的多角度度量稀疏单元和多头双重全局注意力机制单元；所述基于对称性指标的多角度度量稀疏单元包括：多分布融合差异评分标准组件，通过KL散度度量Query向量的注意系数概率分布分别与均匀分布、正态分布、指数分布的差异；基于对称性度量指标的稀疏偏差矫正组件，用于在度量Query向量的注意系数概率分布与各个种类分布的KL散度时引入对称性度量指标PSI，矫正KL散度，获得优化的稀疏标准，并根据优化的稀疏标准将Query矩阵转换为稀疏Query矩阵，稀疏Query矩阵包括稀疏Query向量；所述多头双重全局注意力机制单元包括：注意力全局参数设定组件，统筹全局信息获得所述稀疏Query向量与所述Key向量之间的交互信息，以及，所述Key向量与所述Value向量之间的交互信息；双重加性注意组件，用于将所述稀疏Query矩阵通过加性注意转换为全局稀疏Query向量，将所述Key向量与所述全局稀疏Query向量相结合，并通过加性注意转换为全局Key向量；将所述Value矩阵与所述全局Key向量相结合，并结合所述稀疏Query矩阵，最终获得所述改进的多头主动稀疏自我注意机制模块的输出矩阵。3.根据权利要求2所述的黑灰产众包流量预测装置，其特征在于，所述多分布融合差异评分标准组件通过KL散度度量所述Query向量的注意系数概率分布分别与均匀分布、正态分布、指数分布的差异，所述差异表示如下：
其中, p表示Query向量的注意系数概率分布，i表示Query向量的项数,t表示均匀分布，KL(t||p)表示Query向量的注意系数概率分布与均匀分布的差异，m表示均匀分布，KL(m||p)表示Query向量的注意系数概率分布与正态分布的差异，n表示均匀分布，KL(n||p)表示Query向量的注意系数概率分布与指数分布的差异。4.根据权利要求3所述的黑灰产众包流量预测装置，其特征在于，所述基于对称性度量指标的稀疏偏差矫正组件分别对各个KL散度进行矫正，矫正KL散度表示如下：其中， p表示Query向量的注意系数概率分布，i表示Query向量的项数,t表示均匀分布，(t||p)表示Query向量的注意系数概率分布与均匀分布矫正后的差异，m表示均匀分布， (m||p)表示Query向量的注意系数概率分布与正态分布矫正后的差异，n表示均匀分布，(n||p)表示Query向量的注意系数概率分布与指数分布矫正后的差异。5.根据权利要求4所述的黑灰产众包流量预测装置，其特征在于，所述优化的稀疏标准表示如下：其中，a、b、c代表各矫正KL散度的权重，通过训练获得，q
i
表示第i个Query向量。6.根据权利要求5所述的黑灰产众包流量预测装置，其特征在于，根据所述优化的稀疏标准，选择至少部分Query向量作为稀疏Query向量，各个所述稀疏Query向量组合构成所述稀疏Query矩阵。7.根据权利要求6所述的黑灰产众包流量预测装置，其特征在于，所述全局稀疏Query向...

【专利技术属性】
技术研发人员：韩蒙，陈唯，林昶廷，戴强，乔通，黄步添，王滨，
申请(专利权)人：浙江君同智能科技有限责任公司，
类型：发明
国别省市：