一种基于时序特征学习的数据流分类方法及装置制造方法及图纸

本发明专利技术提供了一种基于时序特征学习的数据流分类方法及装置。当缓存中的待分类数据流的数量较少时，采用开启部分特征提取线程的第一设定方式提取所述缓存中的待分类数据流的时序特征。这样，可以为LSTM神经网络对应的识别线程分配较多的时间片资源，从而减少确定识别标签的耗时，进而及时地对待检测数据流进行分类。当缓存中的待分类数据流的数量较多时，采用开启全部特征提取线程的第二设定方式提取所述缓存中的待分类数据流的时序特征。通过开启全部特征提取线程，能够确保对缓存中的每个待分类数据流进行时序特征提取，避免遗漏对缓存中的部分待分类数据流的时序特征提取。这样，能够确保通过LSTM神经网络对获取到的所有待分类数据流进行分类。

A data flow classification method and device based on time series feature learning

【技术实现步骤摘要】
一种基于时序特征学习的数据流分类方法及装置
本专利技术涉及大数据数据分类
，具体而言，涉及一种基于时序特征学习的数据流分类方法及装置。
技术介绍
随着大数据技术的不断发展，各类服务器面临的数据处理需求日益增多，这对服务器的数据处理能力提出了新的挑战。服务器在进行海量数据的处理时，数据分类是一个常见的步骤。通过对海量数据进行分类，能够提高服务器的数据处理效率并节省时间成本。然而，随着数据规模的扩大以及数据种类的增加，服务器难以高效地应对大数据的数据流分类需求。
技术实现思路
为了改善上述问题，本专利技术提供了一种基于时序特征学习的数据流分类方法及装置。本专利技术实施例的第一方面，提供了一种基于时序特征学习的数据流分类方法，包括：依次将获取到的待分类数据流导入缓存；根据所述缓存的剩余存储容量按照第一设定方式或者第二设定方式提取所述缓存中的待分类数据流的时序特征；将每个时序特征输入预先训练完成的LSTM神经网络进行识别，得到每个时序特征的识别标签；将所述缓存中与所述识别标签对应的待分类本文档来自技高网...

【技术保护点】
1.一种基于时序特征学习的数据流分类方法，其特征在于，包括：/n依次将获取到的待分类数据流导入缓存；/n根据所述缓存的剩余存储容量按照第一设定方式或者第二设定方式提取所述缓存中的待分类数据流的时序特征；/n将每个时序特征输入预先训练完成的LSTM神经网络进行识别，得到每个时序特征的识别标签；/n将所述缓存中与所述识别标签对应的待分类数据流存入与所述识别标签对应的数据存储区，并将所述识别标签对应的待分类数据流从所述缓存中删除；/n其中：/n按照所述第一设定方式提取所述缓存中的待分类数据流的时序特征，具体包括：若所述剩余存储容量大于或等于设定容量，按照第一设定方式提取所述缓存中的待分类数量流的时序...

【技术特征摘要】
1.一种基于时序特征学习的数据流分类方法，其特征在于，包括：
依次将获取到的待分类数据流导入缓存；
根据所述缓存的剩余存储容量按照第一设定方式或者第二设定方式提取所述缓存中的待分类数据流的时序特征；
将每个时序特征输入预先训练完成的LSTM神经网络进行识别，得到每个时序特征的识别标签；
将所述缓存中与所述识别标签对应的待分类数据流存入与所述识别标签对应的数据存储区，并将所述识别标签对应的待分类数据流从所述缓存中删除；
其中：
按照所述第一设定方式提取所述缓存中的待分类数据流的时序特征，具体包括：若所述剩余存储容量大于或等于设定容量，按照第一设定方式提取所述缓存中的待分类数量流的时序特征，则确定所述缓存中的待分类数据流所占用的目标存储容量与所述缓存的额定存储容量的比值；根据所述比值启动多个预设的特征提取线程；采用启动的所述特征提取线程对所述待分类数据流进行特征提取，得到所述待分类数据流对应的时序特征；
按照所述第二设定方式提取所述缓存中的待分类数据流的时序特征，具体包括：若所述剩余存储容量小于设定容量，按照第二设定方式提取所述缓存中的待分类数量流的时序特征，启动预设的多个特征提取线程中的每个特征提取线程，对所述待分类数据流进行特征提取，得到所述待分类数据流对应的时序特征。


2.如权利要求1所述的数据流分类方法，其特征在于，对所述待分类数据流进行特征提取，得到所述待分类数据流对应的时序特征，包括：
通过所述特征提取线程解析所述待分类数据流，得到所述待分类数据流的第一数据字节序列和第二数据字节序列；
确定所述第一数据字节序列中用于表征所述第一数据字节序列的起点的第一字节以及用于表征所述第一数据字节序列的终点的第二字节；
获取所述第一字节对应的第一时刻以及所述第二字节对应的第二时刻；其中，所述第一时刻是接收到所述第一字节的时刻，所述第二时刻是接收到所述第二字节的时刻；
获取将所述第一字节导入所述缓存的第三时刻以及将所述第二字节导入所述缓存的第四时刻；
根据所述第一时刻和所述第二时刻确定第一时段并根据所述第三时刻和所述第四时刻确定第二时段；
确定所述第一数据字节序列中的每个第一字节分段标识在所述第一时段中的第一相对位置以及所述第二数据字节序列中的每个第二字节分段标识在所述第二时段中的第二相对位置；
按照所述特征提取线程所分配的特征权重对所述第一字节、所述第二字节、所述第一时刻、所述第二时刻、所述第三时刻、所述第四时刻、每个第一字节分段标识、每个第一相对位置、每个第二字节分段标识以及每个第二相对位置进行排序得到排序序列；
根据所述排序序列确定所述待分类数据流对应的时序特征。


3.如权利要求2所述的数据流分类方法，其特征在于，将每个时序特征输入预先训练完成的LSTM神经网络进行识别，得到每个时序特征的识别标签，包括：
通过所述LSTM神经网络判断每个时序特征中的第一目标向量值的第一向量权重与该时序特征中的第二目标向量值的第二向量权重的差值是否超过设定阈值；
若是，删除该时序特征中的所述第一目标向量；
若否，保留该时序特征中的所述第一目标向量；
通过所述LSTM神经网络确定每个时序特征的向量值加权和；
确定每个向量值加权和落入的数值区间，该数值区间为预设的多个数值区间的其中之一；
根据所述数值区间...

【专利技术属性】
技术研发人员：杨贻宏，
申请(专利权)人：上海飞旗网络技术股份有限公司，
类型：发明
国别省市：上海;31